Изучение данных в зеркальной базе данных с помощью записных книжек
Вы можете изучить данные, реплицированные из зеркальной базы данных, с помощью запросов Spark в записных книжках.
Записные книжки — это мощный элемент кода для разработки заданий Apache Spark и экспериментов машинного обучения с данными. Записные книжки в Fabric Lakehouse можно использовать для изучения зеркальных таблиц.
Необходимые компоненты
- Выполните инструкции по созданию зеркальной базы данных из исходной базы данных.
- Руководство по настройке зеркальной базы данных Microsoft Fabric для Azure Cosmos DB (предварительная версия)
- Руководство по настройке зеркальных баз данных Microsoft Fabric из Azure Databricks (предварительная версия)
- Руководство по настройке зеркальных баз данных Microsoft Fabric из База данных SQL Azure
- Руководство по настройке зеркальных баз данных Microsoft Fabric из Управляемый экземпляр SQL Azure (предварительная версия)
- Руководство по настройке зеркальных баз данных Microsoft Fabric из Snowflake
Создание ярлыка
Сначала необходимо создать ярлык из зеркальных таблиц в Lakehouse, а затем создать записные книжки с помощью запросов Spark в Lakehouse.
На портале Fabric откройте Инжиниринг данных.
Если у вас еще нет созданного Lakehouse, выберите Lakehouse и создайте новый Lakehouse , предоставив ему имя.
Выберите "Получить данные " -> Создать ярлык".
Выберите Microsoft OneLake.
Все зеркальные базы данных можно просмотреть в рабочей области Fabric.
Выберите зеркальную базу данных, которую вы хотите добавить в Lakehouse, в качестве ярлыка.
Выберите нужные таблицы из зеркальной базы данных.
Нажмите кнопку "Далее" и "Создать".
В обозревателе теперь можно просмотреть выбранные данные таблицы в Lakehouse.
Совет
Вы можете добавить другие данные в Lakehouse напрямую или использовать такие сочетания клавиш, как S3, ADLS 2-го поколения. Вы можете перейти к конечной точке аналитики SQL Lakehouse и объединить данные по всем этим источникам с зеркальными данными.
Чтобы изучить эти данные в Spark, выберите точки рядом
...с любой таблицей. Выберите "Создать записную книжку" или "Существующая записная книжка", чтобы начать анализ.
Записная книжка автоматически открывается и загружает кадр данных с
SELECT ... LIMIT 1000помощью запроса Spark SQL.- Для полной загрузки новых записных книжек может потребоваться до двух минут. Эту задержку можно избежать с помощью существующей записной книжки с активным сеансом.
- Для полной загрузки новых записных книжек может потребоваться до двух минут. Эту задержку можно избежать с помощью существующей записной книжки с активным сеансом.
