Подключение к ADLS и преобразование данных с помощью Azure Databricks

Статья
11/15/2023

В руководстве описаны следующие действия:

Создайте таблицу Delta в учетной записи Azure Data Lake Storage (ADLS) 2-го поколения с помощью Azure Databricks.
Создайте ярлык OneLake для таблицы Delta в ADLS.
Используйте Power BI для анализа данных с помощью ярлыка ADLS.

Необходимые компоненты

Перед началом работы необходимо:

Рабочая область с элементом Lakehouse
Рабочая область Azure Databricks
Учетная запись ADLS 2-го поколения для хранения таблиц Delta

Создание таблицы Delta, создание ярлыка и анализ данных

Используя записную книжку Azure Databricks, создайте таблицу Delta в учетной записи ADLS 2-го поколения.

 # Replace the path below to refer to your sample parquet data with this syntax "abfss://<storage name>@<container name>.dfs.core.windows.net/<filepath>"

 # Read Parquet files from an ADLS account
 df = spark.read.format('Parquet').load("abfss://datasetsv1@olsdemo.dfs.core.windows.net/demo/full/dimension_city/")

 # Write Delta tables to ADLS account
 df.write.mode("overwrite").format("delta").save("abfss://datasetsv1@olsdemo.dfs.core.windows.net/demo/adb_dim_city_delta/")

В lakehouse выберите многоточие (...) рядом с таблицами , а затем нажмите кнопку "Создать ярлык".
На экране "Создать ярлык" выберите плитку Azure Data Lake Storage 2-го поколения.
Укажите сведения о подключении для ярлыка и нажмите кнопку "Далее".
Укажите сведения о ярлыке. Укажите сведения о ярлыке и вложенный путь, а затем нажмите кнопку "Создать". Вложенный путь должен указывать на каталог, в котором находится таблица Delta.
Ярлык отображается как таблица Delta в таблицах.
Теперь эти данные можно запрашивать непосредственно из записной книжки.
```
df = spark.sql("SELECT * FROM lakehouse1.adls_shortcut_adb_dim_city_delta LIMIT 1000")
display(df)
```
Чтобы получить доступ к этой таблице Delta и проанализировать ее с помощью Power BI, выберите новую семантику Power BI.
Выберите ярлык и нажмите кнопку "Подтвердить".
Когда данные публикуются, нажмите кнопку "Начать с нуля".
В интерфейсе разработки отчетов ярлыки отображаются в виде таблицы вместе со всеми его атрибутами.
Чтобы создать отчет Power BI, перетащите атрибуты в область слева.