Краткое руководство. Создание базы данных Lake с использованием шаблонов баз данных

Статья
01/02/2025

В этом кратком руководстве приведен полный пример сценария по использованию шаблонов баз данных для создания баз данных озера, согласования данных с новой моделью и их анализу с помощью интегрированного интерфейса.

Необходимые компоненты

Для работы с шаблоном базы данных озера из коллекции требуются по крайней мере разрешения роли пользователя Synapse.
Для создания базы данных озера необходимы разрешения администратора или участника Synapse в рабочей области Synapse.
Требуются разрешения участника в хранилище BLOB-объектов для озера данных при использовании варианта создания таблицы Из озера данных.

Создание базы данных озера из шаблонов баз данных

С помощью новых функций шаблонов баз данных вы можете создать базу данных озера, которую можно использовать для настройки модели данных для базы.

В нашем сценарии мы будем использовать Retail шаблон базы данных и выберите следующие сущности:

RetailProduct — это любой продукт, который может быть выпущен на рынок для удовлетворения потребностей потенциальных клиентов. Этот продукт представляет собой сумму всех связанных с ним атрибутов физического, психологического, символического и сервисного характера.
Transaction — самый низкий уровень рабочих или выполняемых клиентами операций. Транзакция состоит из одного или нескольких дискретных событий.
TransactionLineItem — компоненты транзакции, разбитые по продуктам и количеству, по одному на строку.
Party — это человек или компания, юридическое лицо, социальная организация или бизнес-подразделение, представляющие интерес с точки зрения бизнеса.
Customer — физическое или юридическое лицо, которое приобретает или приобрело товар или услугу.
Channel — это средство, посредством которого продаются и (или) распространяются товары и услуги.

Самый простой способ найти сущности — воспользоваться полем поиска над различными бизнес-областями, содержащими таблицы.

Настройка базы данных озера

Создав базу данных, убедитесь, что для учетной записи хранения и пути задано расположение, в котором вы планируете хранить данные. Путь будет по умолчанию использоваться в качестве основной учетной записи хранения в Azure Synapse Analytics, но при необходимости его можно изменить.

Чтобы сохранить макет и сделать его доступным в Azure Synapse, опубликуйте все изменения. Этот шаг завершает настройку базы данных озера и делает ее доступной для всех компонентов в Azure Synapse Analytics и за пределами службы.

Прием данных в базу данных озера

Для приема данных в базу данных озера можно запускать конвейеры с сопоставлением потоков данных без написания программного кода благодаря соединителю рабочей области, позволяющему загружать данные непосредственно в таблицу базы. Для приема данных в таблицы базы данных озера вы также можете использовать интерактивные записные книжки Spark:

%%sql
INSERT INTO `retail_mil`.`customer` VALUES (1,date('2021-02-18'),1022,557,101,'Tailspin Toys (Head Office)','Waldemar Fisar',90410,466);

Запрос данных

После создания базы данных озера запрашивать данные можно разными способами. В настоящее время базы данных SQL в бессерверных пулах SQL поддерживаются и автоматически распознают формат создаваемых баз данных озера.

SELECT TOP (100) [ProductId]
,[ProductName]
,[ProductDescription]
,[ProductInternalName]
,[ItemSku]
,[PrimaryBrandId]
FROM [Retail_mil].[dbo].[RetailProduct]

Еще один способ доступа к данным в Azure Synapse — открыть новую записную книжку Spark и использовать интегрированный интерфейс:

df = spark.sql("SELECT * FROM `Retail_mil`.`RetailProduct`")
df.show(10)

Следующие шаги

Продолжайте изучение возможностей конструктора баз данных, используя приведенные ниже ссылки.

Поделиться через