Реализация архитектуры медальона в Fabric
Теперь, когда у вас есть твердое понимание архитектуры медальона, давайте рассмотрим, как поместить его в действие в Fabric.
Настройте основу: создайте azure Fabric lakehouse. Вы можете использовать один и тот же lakehouse для нескольких архитектур медальонов или также использовать разные лейкхаусы и даже разные лейкхаусы в разных рабочих областях в зависимости от варианта использования.
Проектирование архитектуры: создание макета архитектуры, определение уровней и определение того, как будут передаваться данные между ними. Самая простая реализация заключается в использовании Бронзы в качестве необработанного слоя, Silver в качестве курированного слоя и золота в качестве слоя презентации. Золотой слой должен быть моделироваться в схеме звездочки и оптимизирован для создания отчетов.
Вопрос Бронзовая Серебряная Золотая Что происходит в этом слое? Принять необработанные данные Очистка и проверка данных Дополнительные преобразования и моделирование Какое средство используется? Конвейеры, потоки данных, записные книжки Потоки данных или записные книжки Конечная точка аналитики SQL или семантическая модель Прием данных в бронзу: определите способ приема данных в бронзовом слое. Это можно сделать с помощью конвейеров, потоков данных или записных книжек.
Преобразование данных и загрузка в серебро. Определите способ преобразования данных в серебряном слое. Это можно сделать с помощью потоков данных или записных книжек. Преобразования на уровне серебра должны быть сосредоточены на качестве и согласованности данных, а не на моделировании данных.
Создайте золотой слой: определите, как вы создадите золотой слой, что он будет содержать, и как он будет использоваться.
- Золотой слой — это место, в котором можно моделировать данные для создания отчетов с помощью трехмерной модели. Здесь вы создадите связи, определите меры и включите другие элементы, необходимые для эффективной отчетности.
- Вы можете использовать несколько слоев золота для разных аудиторий или доменов. Например, у вас может быть золотой слой для вашей финансовой команды и отдельный золотой слой для вашей команды продаж. Кроме того, у вас может быть золотой слой для специалистов по обработке и анализу данных, оптимизированный для машинного обучения.
- В зависимости от потребностей вы также можете использовать хранилище данных в качестве золотого слоя.
- В Fabric можно преобразовать данные с помощью потоков данных или записных книжек, а затем загрузить их в золотую таблицу Delta в lakehouse. Затем вы можете подключиться к таблице Delta с помощью конечной точки аналитики SQL и использовать SQL для моделирования данных для создания отчетов. Кроме того, можно использовать Power BI для подключения к конечной точке аналитики SQL уровня золота и моделировать данные для создания отчетов.
Включение потребления нижестоящего потока. Определите способ включения нижестоящего потребления данных. Это можно сделать с помощью разрешений рабочей области или элемента или подключения к конечной точке аналитики SQL.