Sdílet prostřednictvím

Jak importovat data do Azure Fabric pomocí aktivity kopírování služby Azure Data Factory

  • Článek

Konektor Microsoft Fabric Lakehouse ve službě Azure Data Factory (ADF) a Azure Synapse Analytics umožňuje operace čtení i zápisu do Microsoft Fabric Lakehouse (pro tabulky i soubory). Tento konektor vám umožňuje používat vaše stávající kanály ADF a Synapse a mapovací toky dat pro interakci s Fabric Lakehouses. Tento článek vám pomůže nakonfigurovat Microsoft Fabric tak, aby umožňoval ověřování služebního principálu, a poté demonstruje konektor Lakehouse pro čtení i zápis do Fabric Lakehouse.

Další informace o Microsoft Fabric Lakehouse najdete v tématu Co je lakehouse?

Konektor Azure Data Factory Lakehouse

Nový konektor propojené služby Lakehouse a dva nové datové sady jsou nyní k dispozici zákazníkům, kteří chtějí začít číst a psát do Microsoft Fabric Lakehouse. Kompletního průvodce konektorem Lakehouse najdete v části Microsoft Fabric Lakehouse Files (Preview) Kopírování a transformace dat.

Autentizace

Propojená služba Azure Data Factory

Konektor Microsoft Fabric Lakehouse vyžaduje pro ověření identifikátor služby (SPN) nebo registraci aplikace. Abyste mohli začít, musíte vytvořit nový název hlavní služby (SPN) nebo použít existující. Microsoft Fabric umožňuje přístup SPN ke konkrétním skupinám zabezpečení nebo pro celou organizaci. Pokud vaše organizace používá konkrétní skupinu zabezpečení, musí hlavní název služby (SPN) použitý v konektoru Lakehouse patřit do bezpečnostní skupiny, která je přidána do seznamu povolených.

Poznámka

Oprávnění rozhraní API Power BI (delegovaná) nejsou potřeba.

Přístup k rozhraním API Power BI

Na portálu pro správu Power BI musí správce tenantu Power BI povolit Povolit služebním principálům používat rozhraní API Power BI. Skupinu zabezpečení je nutné zadat v části Povolit služebním klientům používat rozhraní API Power BI nastavení nebo je můžete povolit pro celou organizaci.

Kompletní průvodce najdete v tématu Vložení obsahu Power BI do vložené analytické aplikace s instančním objektem a tajným kódem aplikace.

Poznámka

Při přiřazování skupiny zabezpečení k pracovnímu prostoru může dojít ke zpoždění udělení přístupu pro služební objekt, protože se oprávnění ukládají do mezipaměti v Azure. Pokud potřebujete okamžitý přístup, můžete pomocí PowerShellu vynutit aktualizaci oprávnění uživatele. Uděláte to tak, že otevřete PowerShell jako správce a pak spustíte následující příkazy:

Install-Module -Name MicrosoftPowerBIMgmt
Connect-PowerBIServiceAccount -Tenant '<TENANT ID>' -ServicePrincipal -Credential (Get-Credential)
Get-PowerBIWorkspace
Invoke-PowerBIRestMethod -URL 'https://api.powerbi.com/v1.0/myorg/RefreshUserPermissions' -Method Post -Body ''
Get-PowerBIWorkspace

Přístup k pracovnímu prostoru

Po přidání skupiny zabezpečení musí být tato skupina zabezpečení nebo služební uživatel také přidány do každého pracovního prostoru jako člen, přispěvatel nebo správce. Další podrobnosti najdete v tématu Poskytnutí přístupu uživatelům k pracovním prostorům.

Ukázka: Nastavení ověřování

Hlavní služba pro registraci aplikace

Vytvoření nebo použití existujícího instančního objektu registrace aplikace (SPN). Postupujte podle pokynů v Zaregistrujte aplikaci pomocí Microsoft Entra ID a vytvořte instanční objekt.

Poznámka

Identifikátor URI přesměrování není nutné přiřazovat.

snímek obrazovky s podrobnostmi o novém instančním objektu

Skupina zabezpečení

Vytvořte novou skupinu zabezpečení Microsoft Entra nebo použijte existující skupinu zabezpečení a pak do ní přidejte SPN. Postupujte podle pokynů v tématu Vytvoření základní skupiny a přidání členů k vytvoření skupiny zabezpečení Microsoft Entra.

snímek obrazovky ukazující, kam přidat členy do skupiny zabezpečení

Portál pro správu Power BI

Na portálu pro správu Power BIpřejděte do nastavení pro vývojáře, vyberte Povolit služebním principálům používat rozhraní API Power BIa poté tuto možnost povolte. Potom přidejte skupinu zabezpečení z předchozího kroku. Další informace o nastavení tenanta portálu pro správu Power BI najdete v tématu Nastavení tenanta.

snímek obrazovky s portálem pro správu Power BI, kde je rozbalená a povolená možnost Povolit service principalům používat rozhraní API Power BI

Poznámka

Ujistěte se, že nastavení Uživatelé mají přístup k datům uloženým v OneLake pomocí externích aplikací k Fabric je povoleno. Viz Povolit aplikacím spuštěným mimo platformu přístup k datům přes OneLake.

Pracovní plocha

Přidejte SPN nebo skupinu služeb do pracovního prostoru s přístupem člena , přispěvatele nebo správce .

Azure Data Factory: Propojená služba

Ze služby Azure Data Factoryvytvořte novou propojenou službu Microsoft Fabric Lakehouse.

Poznámka

Pokud chcete najít ID pracovního prostoru a ID Lakehouse, přejděte na svůj Fabric Lakehouse a identifikujte je z adresy URL. Příklad: https://.../groups/<ID pracovního prostoru>>/lakehouses/<ID Lakehouse>

Azure Data Factory: Datová sada

Vytvořte datovou sadu, která odkazuje na propojenou službu Microsoft Fabric Lakehouse.

Poznámka

Vyberte Žádná pro možnost Importovat schéma, pokud tabulka ještě neexistuje a ručně zadáte nový název tabulky.

Snímek obrazovky zobrazující dialogové okno Nová datová sada s vybraným typem datové sady Microsoft Fabric Lakehouse Table.

Snímek obrazovky s dialogovým oknem Nastavit vlastnosti datové sady s možností Importovat schéma nastavenou na Hodnotu Žádné

Ukázka: Zápis do tabulky Fabric Lakehouse pomocí potrubí ADF

Zdroj

Vytvořte nový datový tok a přidejte aktivitu Kopírování na plátno datového toku. Na kartě Zdroj aktivity Kopírování vyberte zdrojovou datovou sadu, kterou chcete přesunout do tabulky Lakehouse. V tomto příkladu odkazujeme na soubor .csv z účtu Azure Data Lake Storage (ADLS) Gen2.

Snímek obrazovky znázorňující konfiguraci karty Nastavení zdroje s vybranou .csv pro zdrojovou datovou sadu aktivity kopírování

Dřez

Přejděte na kartu jímky kopírování a vyberte datovou sadu Fabric Lakehouse, která byla vytvořena dříve.

Snímek obrazovky, který znázorňuje výběr datové sady Fabric Lakehouse vytvořené dříve.

Spustit potrubí

Spuštěním pipeline přesuňte data .csv do tabulky Fabric Lakehouse.

Snímek obrazovky znázorňující výsledek spuštění pipeline.

Ukázka: Čtení z tabulky Fabric Lakehouse s potrubím ADF

V předchozí části jsme si ukázali, jak použít ADF k zápisu do tabulky Fabric Lakehouse. Nyní načtěme z tabulky Fabric Lakehouse a zapišme do souboru Parquet v Azure Data Lake Storage (ADLS) Gen2 s podobným pracovním postupem.

Zdroj

Vytvořte nový datový tok a přidejte kopírovací aktivitu na plátno datového toku. Na záložce Zdroj aktivity kopírování vyberte datovou sadu Fabric Lakehouse, která byla vytvořena dříve.

Snímek obrazovky znázorňující výběr a náhled zdroje dat Lakehouse vytvořeného dříve

Dřez

Přejděte na kartu cíle kopírování a vyberte cílovou datovou sadu. V tomto příkladu je cílovým umístěním úložiště Azure Data Lake Storage (Gen2) ve formátu souboru Parquet.

snímek obrazovky znázorňující výběr jímky ADLS Gen2

Spuštění kanálu

Spuštěním kanálu přesuňte data z tabulky Fabric Lakehouse do souboru Parquet v ADLS Gen2.

snímek obrazovky znázorňující výsledek spuštění kanálu pro import dat do ADLS Gen2 z Fabric Lakehouse

Kontrola souboru Parquet v ADLS Gen2

Data z tabulky Fabric Lakehouse jsou teď dostupná v ADLS Gen2 jako soubor ve formátu Parquet.

Snímek obrazovky ukazující soubor Parquet vygenerovaný pomocí datového kanálu.

Shrnutí

V této části jsme prozkoumali požadavky na konektor Lakehouse pomocí ověřování pomocí služebního principu do Microsoft Fabric Lakehouse, a poté jsme si prošli příklad čtení i zápisu do Lakehouse z datového toku Azure Data Factory. Tento konektor a jeho funkce jsou také k dispozici v mapovacích tocích dat služby Azure Data Factory, v systému Azure Synapse Analytics, a také v jeho mapovacích tocích dat.

Související obsah

Dokumentace ke službě Azure Data Factory