Připojení k ADLS a transformace dat pomocí Azure Databricks

Článek
12/06/2023

V této příručce:

Vytvořte tabulku Delta v účtu Azure Data Lake Storage (ADLS) Gen2 pomocí Azure Databricks.
Vytvořte zástupce OneLake tabulky Delta v ADLS.
Pomocí Power BI můžete analyzovat data prostřednictvím zástupce ADLS.

Požadavky

Než začnete, musíte mít:

Pracovní prostor s položkou Lakehouse
Pracovní prostor Azure Databricks
Účet ADLS Gen2 pro ukládání tabulek Delta

Vytvoření tabulky Delta, vytvoření zástupce a analýza dat

Pomocí poznámkového bloku Azure Databricks vytvořte v účtu ADLS Gen2 tabulku Delta.

 # Replace the path below to refer to your sample parquet data with this syntax "abfss://<storage name>@<container name>.dfs.core.windows.net/<filepath>"

 # Read Parquet files from an ADLS account
 df = spark.read.format('Parquet').load("abfss://datasetsv1@olsdemo.dfs.core.windows.net/demo/full/dimension_city/")

 # Write Delta tables to ADLS account
 df.write.mode("overwrite").format("delta").save("abfss://datasetsv1@olsdemo.dfs.core.windows.net/demo/adb_dim_city_delta/")

V jezeře vyberte tři tečky (...) vedle tabulky a pak vyberte Nová zkratka.
Na obrazovce Nová zkratka vyberte dlaždici Azure Data Lake Storage Gen2.
Zadejte podrobnosti o připojení pro zástupce a vyberte Další.
Zadejte podrobnosti zástupce. Zadejte podrobnosti o názvu zástupce a dílčí cestě a pak vyberte Vytvořit. Podřízená cesta by měla odkazovat na adresář, ve kterém se nachází tabulka Delta.
Zástupce se zobrazí jako tabulka Delta v části Tabulky.

Teď můžete tato data dotazovat přímo z poznámkového bloku.

df = spark.sql("SELECT * FROM lakehouse1.adls_shortcut_adb_dim_city_delta LIMIT 1000")
display(df)

Pokud chcete získat přístup k této tabulce Delta a analyzovat ji prostřednictvím Power BI, vyberte Nový sémantický model Power BI.
Vyberte zástupce a pak vyberte Potvrdit.
Po publikování dat vyberte Začít od začátku.
V prostředí pro vytváření sestav se zástupce data zobrazí jako tabulka spolu se všemi jeho atributy.
Pokud chcete vytvořit sestavu Power BI, přetáhněte atributy do podokna na levé straně.