Kopírování dat pomocí aktivity kopírování
V datovém kanálu můžete pomocí aktivita Copy kopírovat data mezi úložišti dat umístěnými v cloudu.
Po zkopírování dat můžete pomocí dalších aktivit data data dále transformovat a analyzovat. Pomocí aktivita Copy můžete také publikovat výsledky transformace a analýzy pro business intelligence (BI) a spotřebu aplikací.
Pokud chcete kopírovat data ze zdroje do cíle, služba, která spouští aktivita Copy provádí tyto kroky:
- Čte data ze zdrojového úložiště dat.
- Provádí serializaci/deserializaci, kompresi/dekompresi, mapování sloupců atd. Provádí tyto operace na základě konfigurace.
- Zapíše data do cílového úložiště dat.
Požadavky
Abyste mohli začít, musíte splnit následující požadavky:
Účet tenanta Microsoft Fabric s aktivním předplatným. Vytvoření účtu zdarma
Ujistěte se, že máte povolený pracovní prostor Microsoft Fabric.
Přidání aktivity kopírování pomocí pomocníka pro kopírování
Podle těchto kroků nastavte aktivitu kopírování pomocí pomocníka pro kopírování.
Začínáme s pomocníkem pro kopírování
Otevřete existující datový kanál nebo vytvořte nový datový kanál.
Začněte tím, že vyberete Kopírovat data na plátně a otevřete nástroj Copy Assistant . Nebo v rozevíracím seznamu Kopírovat data na pásu karet vyberte Použít pomocníka pro kopírování dat.
Konfigurace zdroje
Vyberte typ zdroje dat z kategorie. Jako příklad použijete Azure Blob Storage. Vyberte Azure Blob Storage a pak vyberte Další.
Výběrem možnosti Vytvořit nové připojení vytvořte připojení ke zdroji dat.
Po výběru možnosti Vytvořit nové připojení vyplňte požadované informace o připojení a pak vyberte Další. Podrobnosti o vytvoření připojení pro každý typ zdroje dat najdete v jednotlivých článcích o konektoru.
Pokud máte existující připojení, můžete vybrat Existující připojení a v rozevíracím seznamu vybrat připojení.
Zvolte soubor nebo složku, které chcete zkopírovat v tomto kroku konfigurace zdroje, a pak vyberte Další.
Konfigurace cíle
Vyberte typ zdroje dat z kategorie. Jako příklad použijete Azure Blob Storage. Můžete vytvořit nové připojení, které odkazuje na nový účet služby Azure Blob Storage, a to pomocí kroků v předchozí části, nebo použít existující připojení z rozevíracího seznamu připojení. Možnosti testovacího připojení a úpravy jsou k dispozici pro každé vybrané připojení.
Nakonfigurujte a namapujte zdrojová data na cíl. Potom výběrem možnosti Další dokončete konfiguraci cíle.
Poznámka:
Ve stejné aktivita Copy můžete použít jenom jednu místní bránu dat. Pokud jsou zdrojem i jímkou místní zdroje dat, musí používat stejnou bránu. Pokud chcete přesouvat data mezi místními zdroji dat s různými bránami, musíte zkopírovat první bránu do zprostředkujícího cloudového zdroje v jednom aktivita Copy. Potom můžete pomocí jiného aktivita Copy zkopírovat zprostředkujícího cloudového zdroje pomocí druhé brány.
Kontrola a vytvoření aktivity kopírování
Zkontrolujte nastavení aktivity kopírování v předchozích krocích a kliknutím na TLAČÍTKO OK dokončete. Nebo se můžete vrátit k předchozím krokům a upravit nastavení v případě potřeby v nástroji.
Po dokončení se aktivita kopírování přidá na plátno datového kanálu. Všechna nastavení, včetně upřesňujících nastavení pro tuto aktivitu kopírování, jsou při výběru dostupná na kartách.
Teď můžete buď uložit datový kanál s touto aktivitou s jednou kopií, nebo pokračovat v návrhu datového kanálu.
Přímé přidání aktivity kopírování
Pokud chcete aktivitu kopírování přidat přímo, postupujte podle těchto kroků.
Přidání aktivity kopírování
Otevřete existující datový kanál nebo vytvořte nový datový kanál.
Aktivitu kopírování můžete přidat výběrem možnosti Přidat aktivitu> kanálu aktivita Copy nebo výběrem možnosti Kopírovat data>přidat na plátno na kartě Aktivity.
Konfigurace obecných nastavení na kartě Obecné
Informace o konfiguraci obecných nastavení najdete v tématu Obecné.
Konfigurace zdroje na kartě Zdroj
Vyberte + Nový vedle připojení a vytvořte připojení ke zdroji dat.
V automaticky otevíraných otevíraných oknech zvolte typ zdroje dat. Jako příklad použijete Azure SQL Database. Vyberte Azure SQL Database a pak vyberte Pokračovat.
Přejde na stránku pro vytvoření připojení. Na panelu vyplňte požadované informace o připojení a pak vyberte Vytvořit. Podrobnosti o vytvoření připojení pro každý typ zdroje dat najdete v jednotlivých článcích o konektoru.
Po úspěšném vytvoření připojení se vrátíte na stránku datového kanálu. Potom výběrem možnosti Aktualizovat načtěte připojení, které jste vytvořili z rozevíracího seznamu. V rozevíracím seznamu můžete také zvolit existující připojení ke službě Azure SQL Database přímo v případě, že jste ho už vytvořili. Možnosti testovacího připojení a úpravy jsou k dispozici pro každé vybrané připojení. Pak vyberte Azure SQL Database v typu připojení .
Zadejte tabulku, která se má zkopírovat. Výběrem možnosti Náhled dat zobrazíte náhled zdrojové tabulky. Ke čtení dat ze zdroje můžete použít také dotaz a uloženou proceduru.
Rozbalením možnosti Upřesnit zobrazíte pokročilejší nastavení.
Konfigurace cíle na kartě Cíl
Zvolte typ cíle. Může to být interní úložiště dat první třídy z vašeho pracovního prostoru, například Lakehouse, nebo externí úložiště dat. Jako příklad použijete Lakehouse.
Zvolte použití Lakehouse v typu úložiště dat pracovního prostoru. Vyberte + Nový a přejdete na stránku pro vytvoření Lakehouse. Zadejte název Lakehouse a pak vyberte Vytvořit.
Po úspěšném vytvoření připojení se vrátíte na stránku datového kanálu. Potom výběrem možnosti Aktualizovat načtěte připojení, které jste vytvořili z rozevíracího seznamu. Existující připojení Lakehouse můžete také zvolit přímo z rozevíracího seznamu, pokud jste ho už vytvořili.
Zadejte tabulku nebo nastavte cestu k souboru pro definování souboru nebo složky jako cíle. Tady vyberte Tabulky a zadejte tabulku pro zápis dat.
Rozbalením možnosti Upřesnit zobrazíte pokročilejší nastavení.
Teď můžete buď uložit datový kanál s touto aktivitou s jednou kopií, nebo pokračovat v návrhu datového kanálu.
Konfigurace mapování na kartě mapování
Pokud konektor, který používáte, podporuje mapování, můžete přejít na kartu Mapování a nakonfigurovat mapování.
Vyberte Importovat schémata pro import schématu dat.
Zobrazí se automatické mapování. Zadejte sloupec Zdroj a Cílový sloupec. Pokud v cíli vytvoříte novou tabulku, můžete zde přizpůsobit název cílového sloupce. Pokud chcete zapisovat data do existující cílové tabulky, nemůžete změnit název existujícího cílového sloupce. Můžete také zobrazit typ zdrojového a cílového sloupce.
Kromě toho můžete vybrat + Nové mapování přidat nové mapování, výběrem možnosti Vymazat vymazat všechna nastavení mapování a výběrem možnosti Obnovit obnovit všechny sloupce zdroj mapování.
Konfigurace dalších nastavení na kartě Nastavení
Karta Nastavení obsahuje nastavení výkonu, přípravy atd.
Popis jednotlivých nastavení najdete v následující tabulce.
| Nastavení | Popis | Vlastnost skriptu JSON |
|---|---|---|
| Optimalizace inteligentní propustnosti | Určete, jak optimalizovat propustnost. Můžete si vybrat z: • Automaticky • Standardní • Vyvážená • Maximum Když zvolíte Možnost Automaticky, optimální nastavení se dynamicky použije na základě vašeho páru a vzoru dat cíle zdroje. Propustnost můžete také přizpůsobit a vlastní hodnota může být 2–256, zatímco vyšší hodnota znamená další zisky. |
dataIntegrationUnits |
| Stupeň paralelismu kopírování | Zadejte stupeň paralelismu, který by načítání dat používalo. | parallelCopies |
| Odolnost proti chybám | Při výběru této možnosti můžete ignorovat některé chyby, ke kterým došlo uprostřed procesu kopírování. Například nekompatibilní řádky mezi zdrojovým a cílovým úložištěm, odstraněním souboru během přesunu dat atd. | • enableSkipIncompatibleRow • skipErrorFile: fileMissing fileForbidden invalidFileName |
| Povolení protokolování | Při výběru této možnosti můžete protokolovat zkopírované soubory, přeskočené soubory a řádky. | / |
| Povolení přípravy | Určete, zda se mají kopírovat data prostřednictvím dočasného přípravného úložiště. Povolte přípravu pouze pro vhodné scénáře. | enableStaging |
| Typ úložiště dat | Při povolování přípravy můžete jako typ úložiště dat zvolit Pracovní prostor a Externí . | / |
| Pro pracovní prostor | ||
| Pracovní prostor | Určete, že se má použít předdefinované přípravné úložiště. | / |
| Pro externí | ||
| Připojení k pracovnímu účtu | Zadejte připojení služby Azure Blob Storage nebo Azure Data Lake Storage Gen2, která odkazuje na instanci služby Storage, kterou používáte jako dočasné pracovní úložiště. Pokud ho nemáte, vytvořte přípravné připojení. | připojení (v části externalReferences) |
| Cesta k úložišti | Zadejte cestu, kterou chcete obsahovat fázovaná data. Pokud nezadáte cestu, služba vytvoří kontejner pro ukládání dočasných dat. Zadejte cestu pouze v případě, že používáte Storage se sdíleným přístupovým podpisem nebo potřebujete, aby dočasná data byla v určitém umístění. | path |
| Povolení komprese | Určuje, jestli se mají data před zkopírováním do cíle komprimovat. Toto nastavení snižuje objem přenášených dat. | enableCompression |
| Udržovat | Určete, jestli se mají během kopírování dat zachovat metadata nebo seznamy ACL. | udržovat |
Poznámka:
Pokud použijete fázovanou kopii s povolenou kompresí, ověřování instančního objektu pro přípravné připojení objektů blob se nepodporuje.
Konfigurace parametrů v aktivitě kopírování
Parametry lze použít k řízení chování kanálu a jeho aktivit. Pomocí možnosti Přidat dynamický obsah můžete zadat parametry vlastností aktivity kopírování. Pojďme jako příklad určit databázi Lakehouse, Data Warehouse nebo KQL a podívat se, jak ji používat.
Ve zdroji nebo cíli vyberte Po výběru pracovního prostoru jako typu úložiště dat a zadání databáze KQL služby Lakehouse/Data Warehouse/jako typu úložiště dat pracovního prostoru vyberte v rozevíracím seznamu Lakehouse nebo Data Warehouse nebo KQL Database dynamický obsah.
V automaticky otevírané nabídce Přidat dynamický obsah na kartě Parametry vyberte +.
Zadejte název parametru a v případě potřeby zadejte výchozí hodnotu, nebo můžete zadat hodnotu parametru po výběru možnosti Spustit v kanálu.
Všimněte si, že hodnota parametru by měla být ID databázového objektu Lakehouse/Data Warehouse/KQL. Pokud chcete získat ID databázového objektu Lakehouse/Data Warehouse/KQL, otevřete databázi Lakehouse/Data Warehouse/KQL v pracovním prostoru a ID je za
/lakehouses/nebo/datawarehouses//databases/v adrese URL.ID objektu Lakehouse:
ID objektu datového skladu:
ID databázového objektu KQL:
Výběrem možnosti Uložit se vrátíte do podokna Přidat dynamický obsah . Pak vyberte parametr, aby se zobrazil v poli výrazu. Pak vyberte OK. Vrátíte se na stránku kanálu a uvidíte, že je výraz parametru zadaný po ID objektu Data Warehouse ID/objektu Lakehouse ID/objektu KQL Database ID.
