Connettersi ad ADLS e trasformare i dati con Azure Databricks

Questa guida illustra le procedure per:

• Creare una tabella Delta nell'account Azure Data Lake Storage (ADLS) Gen2 usando Azure Databricks.

• Creare un collegamento OneLake a una tabella Delta su ADLS.

• Usare Power BI per analizzare i dati sfruttando il collegamento ADLS.

Prerequisiti

Prima di iniziare, è necessario avere:

• Un'area di lavoro con un elemento Lakehouse

• Un'area di lavoro di Azure Databricks

• Un account ADLS Gen2 per archiviare le tabelle Delta

Creare una tabella Delta, creare un collegamento e analizzare i dati

1. Creare una tabella Delta nell'account ADLS Gen2, usando un notebook di Azure Databricks.

    # Replace the path below to refer to your sample parquet data with this syntax "abfss://<storage name>@<container name>.dfs.core.windows.net/<filepath>"
   
    # Read Parquet files from an ADLS account
    df = spark.read.format('Parquet').load("abfss://datasetsv1@olsdemo.dfs.core.windows.net/demo/full/dimension_city/")
   
    # Write Delta tables to ADLS account
    df.write.mode("overwrite").format("delta").save("abfss://datasetsv1@olsdemo.dfs.core.windows.net/demo/adb_dim_city_delta/")
   

2. Nella lakehouse, selezionare i puntini di sospensione (...) accanto all'icona Tabelle e quindi selezionare Nuovo collegamento.

   

3. Nella schermata Nuovo collegamento, selezionare il riquadro Azure Data Lake Storage Gen2.

   

4. Specificare i dettagli di collegamento per il collegamento e poi selezionare Avanti.

   

5. Specificare i dettagli del collegamento. Specificare un Nome collegamento e i dettagli del Percorso secondario e quindi selezionare Crea. Il percorso secondario dovrebbe indicare l'elenco in cui risiede la tabella Delta.

   

6. Il collegamento viene visualizzato come tabella Delta nella cartella Tabelle.

   

7. Ora è possibile eseguire query su questi dati direttamente da un notebook.

   df = spark.sql("SELECT * FROM lakehouse1.adls_shortcut_adb_dim_city_delta LIMIT 1000")
   display(df)
   

8. Per accedere e analizzare questa tabella Delta tramite Power BI, selezionare Nuovo modello semantico di Power BI.

   

9. Selezionare il collegamento e quindi Conferma.

   

10. Quando i dati sono pubblicati, selezionare Avvia da zero.

    

11. Nell'esperienza di creazione dei report, i dati dei collegamenti vengono visualizzati sotto forma di tabella insieme a tutti i loro attributi.

    

12. Per creare un report di Power BI, trascinare gli attributi nel riquadro a sinistra.

    

Contenuto correlato

• Inserire dati su OneLake e analizzarli con Azure Databricks