Dotaz a analýza přírůstkových aktualizací
Data Microsoft Dataverse (včetně dat z aplikací Dynamics 365 a finančních a provozních operací) se mohou neustále měnit prostřednictvím transakcí vytváření, aktualizace a odstraňování. Pomocí možnosti přírůstkové aktualizace můžete vytvořit přírůstkové datové kanály, které tyto změny použijí na podřízené systémy a databáze. Synapse Link pro Dataverse exportuje přírůstková data ve složkách s časovým razítkem, které obsahují změny dat v časových intervalech zadaných uživatelem.
Funkci přírůstkové aktualizace můžete využít v několika scénářích:
Aktualizujte podřízené úložiště dat nebo datový sklad. Možná budete muset použít změny z dat Power Apps a Dynamics 365 do podřízeného úložiště dat. Přírůstková aktualizace je standardní funkcí ve většině nástrojů pro transformaci dat, jako je Azure Data Factory. Aby však funkce přírůstkové aktualizace fungovala, je nutné identifikovat záznamy, které se změnily ve zdrojových tabulkách. Funkce přírůstkové aktualizace poskytuje změněná data jako sadu souborů, takže nemusíte zjišťovat změny porovnáním obrázků tabulek před a po.
Analyzujte změny ve velkých datových sadách. Pokud potřebujete analyzovat změny ve velkých datových sadách, funkce přírůstkové aktualizace poskytuje nepřetržitý datový proud dat v malých dávkách, takže nemusíte ukládat všechna data. Pomocí této možnosti můžete vyřadit zastaralá a stagnující data, abyste ušetřili náklady na úložiště dat a také sledovali změny dat relevantní pro uživatelem zadané časové období.
Azure Synapse Link for Dataverse také poskytuje možnost exportovat a udržovat repliku tabulek v úložišti Azure Data Lake (Gen 2). Kromě exportu repliky tabulek můžete nakonfigurovat Azure Synapse Link pro export přírůstkových dat. Každá konfigurace (označovaná jako profil Synapse Link) může exportovat tabulky nebo přírůstková data. I když můžete vytvořit více profilů, nemůžete nakonfigurovat tabulky i přírůstkové aktualizace v rámci stejného profilu.
Důležité
Počáteční složka s časovým razítkem se vytvoří, když povolíte tuto funkci s kopií vašich dat. Následné složky časových razítek a tabulek se vytvářejí pouze v případě, že během uživatelem zadaného časového intervalu dochází k aktualizaci dat.
Po vytvoření profilu Synapse Link s funkcí přírůstkové aktualizace se konfigurace vztahuje na všechny vybrané tabulky v profilu Synapse Link.
Tuto funkci nelze aktivovat pomocí možnosti: Připojit k Azure Synapse Workspace. Pro zákazníky, kteří vyžadují přístup k Azure Synapse, nastavte odkaz podle těchto pokynů: Vytvoření Azure Synapse Link for Dataverse s Azure Synapse Workspace
Tato funkce je ekvivalentní funkci Kanály změn v exportu do datového jezera, která je integrována do finančních a provozních aplikací Dynamics 365. Zákazníci, kteří používají funkci Kanály změn, mají možnost povolit profil Synapse Link se změnovými daty, aniž by museli exportovat data tabulky.
Předpoklady
Tato příručka předpokládá, že jste již splnili předpoklady pro vytvoření souboru Azure Synapse Link. Více informací: Vytvoření Azure Synapse Link for Dataverse s Azure Data Lake
Vytvoření profilu Synapse Link pro export přírůstkových dat
Přihlaste se do Power Apps a zvolte své prostředí.
V levém navigačním podokně vyberte Azure Synapse Link. Pokud se položka nenachází v bočním podokně, vyberte možnost …Více a poté vyberte požadovanou položku.
Na panelu příkazů zvolte tlačítko + Nový odkaz.
Vyberte Předplatné, Skupinu zdrojů a Účet úložiště. Vyberte Další.
Nevybírejte možnost Připojit k pracovnímu prostoru Azure Synapse workspace. Pokud zvolíte tuto možnost, funkce přírůstkové aktualizace bude zakázána.
Přidejte tabulky, které chcete exportovat. Pokud máte prostředí Dataverse propojené s finančními a provozními aplikacemi, můžete také vybírat tabulky z finančních a provozních aplikací.
Vyberte Rozšířené.
Zapněte Zobrazit pokročilá nastavení konfigurace a Povolit strukturu složek přírůstkové aktualizace.
Zadejte časový interval (v minutách), jak často mají být přírůstkové aktualizace zachycovány, a poté vyberte Uložit
Poznámka:
Minimální časový interval je 5 min. To znamená, že složka přírůstkové aktualizace je vytvořena každých pět minut a obsahuje změny, ke kterým došlo během časového intervalu. Toto nastavení lze také konfigurovat po vytvoření propojení pomocí Spravovat tabulky. Maximální časový interval je 1140 minut (nebo 24 hodin).
Ujistěte se, že na první stránce nastavení není zaškrtnuta možnost Připojit k Azure Synapse Workspace Azure Synapse Workspace.
Přírůstková data ve složkách s časovým razítkem jsou uložena jako textové soubory s hodnotami oddělenými čárkami (soubory CSV). Funkci rozdílové konverzace nemůžete použít pro přírůstková data a získat přírůstkové soubory ve formátu Delta Parquet.
Zobrazení přírůstkové složky v úložišti Microsoft Azure
Když vytvoříte profil Synapse Link s přírůstkovými daty, systém vytvoří počáteční kopii všech tabulek a uloží ji do první složky přírůstkové aktualizace. Jakmile je vytvořena počáteční kopie, systém vytvoří další aktualizační složky se změněnými daty. Pokud v žádné z vybraných tabulek nedojde k žádným změnám, neuvidíte přírůstkové datové složky.
Zobrazení přírůstkových datových složek v účtu úložiště:
Vyberte požadovaný Azure Synapse Link a pak na panelu příkazů vyberte Přejít na datové jezero Azure.
Vyberte Kontejnery pod Úložiště dat.
Vyberte dataverse-environmentName-organizationUniqueName. Složky přírůstkových aktualizací jsou pojmenovány podle časového razítka vytvoření ("rrrr-MM-dd'T'HH:mm:ss.SSSz") v UTC. Všimněte si, že časový rozdíl mezi složkami s časovým razítkem je časový interval, který jste zadali v rozšířených nastaveních.
V každé složce s časovým razítkem jsou složky pro každou tabulku. Ne všechny vybrané tabulky se mohly během časového intervalu změnit a zobrazí se pouze složky odpovídající tabulkám, jejichž data se změnila.
Poznámka:
Vzhledem k funkcím mechanismu opakování může být během uživatelem zadaného časového intervalu vytvořena další prázdná složka časových razítek.
Využívání přírůstkových dat
Přírůstková data můžete zkopírovat do Azure SQL Database nebo datového skladu pomocí nástrojů pro integraci dat, jako jsou kanály Azure Data Factory nebo Azure Synapse Analytics. Poskytujeme vzorový datový kanál, který lze k tomuto účelu použít. Další informace:Kopírování dat Dataverse do Azure SQL.
Pokud jste zákazníkem finančních a operačních aplikací Dynamics 365 a přecházíte z funkce kanálů změn, můžete pomocí ukázkových nástrojů integrace dat, které jsou k dispozici na GitHubu, aktualizovat stávající datové kanály používané s funkcí kanálů změn.
Můžete si také vytvořit vlastní datový kanál, který bude využívat přírůstková data. Při navrhování vlastního kanálu ale musíte vzít v úvahu následující osvědčené postupy:
- Využívat pouze data z předchozích složek s časovým razítkem: Tímto způsobem se můžete vyhnout konfliktům čtení a zápisu se službou Synapse Link, která může průběžně aktualizovat data v aktuální složce. Aktuální složku najdete v souboru Changelog/changelog.info. Tento soubor je soubor jen pro čtení, který obsahuje jeden řádek s názvem složky, která je aktuálně aktualizována. Tento soubor byste neměli aktualizovat, protože to může způsobit nestabilitu systému.
- Můžete zobrazit soubor model.json umístěný v každé složce s časovým razítkem a číst metadata, jako jsou názvy sloupců pro data obsažená ve složkách tabulek. Všimněte si, že každý model.json soubor ve složce umístěné ve složkách s časovým razítkem obsahuje metadata pro všechny tabulky, nejen pro tabulky obsažené ve složce s časovým razítkem.
- Nepoužívejte jiné soubory protokolu, například soubor Synapse.log. Tento soubor se používá pro interní účely a nemusí odrážet přesné údaje.
- Po dokončení zpracování zvažte odstranění zastaralých přírůstkových složek z Azure Data Lake. V současné době Synapse Link udržuje zapůjčení těchto souborů v Azure Storage, aby se zotavil z případných selhání. Systém může zapůjčení po nějaké době uvolnit.
