Изучение и преобразование данных в лейкхаусе
Преобразование и загрузка данных
Для большинства данных требуется преобразование перед загрузкой в таблицы. Вы можете получать необработанные данные непосредственно в lakehouse, а затем далее преобразовывать и загружать в таблицы. Независимо от структуры ETL, вы можете преобразовать и загрузить данные, просто используя те же средства для приема данных. Преобразованные данные затем можно загрузить в виде файла или таблицы Delta.
- Записные книжки предпочитают инженеры данных, знакомые с различными языками программирования, включая PySpark, SQL и Scala.
- Потоки данных 2-го поколения отлично подходят для разработчиков, знакомых с Power BI или Excel, так как они используют интерфейс PowerQuery.
- Конвейеры предоставляют визуальный интерфейс для выполнения и оркестрации процессов ETL. Конвейеры могут быть как простыми, так и сложными.
Анализ и визуализация данных в lakehouse
После приема, преобразования и загрузки данных он готов к использованию для других пользователей. Элементы Fabric обеспечивают гибкость, необходимую для каждой организации, чтобы использовать средства, которые работают для вас.
- Специалисты по обработке и анализу данных могут использовать записные книжки или Wrangler для изучения и обучения моделей машинного обучения для искусственного интеллекта.
- Разработчики отчетов могут использовать семантику модели для создания отчетов Power BI.
- Аналитики могут использовать конечную точку аналитики SQL для запроса, фильтрации, статистической обработки и изучения данных в таблицах Lakehouse.
Объединение возможностей визуализации данных Power BI с централизованной хранилищем и табличной схемой озера данных позволяет реализовать комплексное решение для аналитики на одной платформе.