Что такое «lakehouse» в Microsoft Fabric?
Microsoft Fabric Lakehouse — это платформа архитектуры данных для хранения, управления и анализа структурированных и неструктурированных данных в одном расположении. Это гибкое и масштабируемое решение, позволяющее организациям обрабатывать большие объемы данных с помощью различных средств и платформ для обработки и анализа этих данных. Он интегрируется с другими средствами управления данными и аналитики, чтобы обеспечить комплексное решение для проектирования и аналитики данных. Lakehouse объединяет масштабируемость data lake с производительностью и структурой хранилища данных, обеспечивая единую платформу для хранения, управления и аналитики данных.
Конечная точка SQL-аналитики для Lakehouse
Lakehouse создает служебный уровень, автоматически генерируя конечную точку для аналитики SQL и модель семантики по умолчанию во время создания. Эта новая функция просмотра позволяет пользователю работать непосредственно над таблицами Delta в озере, чтобы обеспечить бесперебойный и быстрый интерфейс от приема данных до создания отчетов.
Важно отметить, что конечная точка аналитики SQL является интерфейсом только для чтения и не поддерживает полную область поверхности T-SQL хранилища транзакционных данных.
Заметка
В конечной точке аналитики SQL доступны только таблицы в разностном формате. Запросы к Parquet, CSV и другим форматам нельзя запрашивать с помощью конечной точки аналитики SQL. Если таблица не отображается, необходимо преобразовать ее в разностный формат.
Автоматическое обнаружение и регистрация таблиц
Автоматическое обнаружение и регистрация таблиц — это функция Lakehouse, которая предоставляет полностью управляемый процесс преобразования файлов в таблицы для инженеров данных и специалистов по данным. Вы можете поместить файл в управляемую область Lakehouse, и система автоматически проверит его для поддерживаемых структурированных форматов и зарегистрирует его в метахранилище с метаданными, такими как имена столбцов, форматы файлов, сжатие и многое другое. (В настоящее время единственным поддерживаемым форматом является таблица Delta.) Затем можно ссылаться на файл в виде таблицы и использовать синтаксис SparkSQL для взаимодействия с данными.
Взаимодействие с элементом Lakehouse
Инженер по обработке данных может взаимодействовать с лейкхаусом и данными в лейкхаусе несколькими способами:
Эксплорер Lakehouse: эксплорер является основной страницей взаимодействия с Lakehouse. Вы можете загрузить данные в Lakehouse, изучить данные в Lakehouse с помощью обозревателя объектов, задать метки MIP & другие вещи. Узнайте больше об опыте работы с обозревателем: Использование обозревателя Fabric Lakehouse.
записные книжки. Инженеры данных могут использовать записную книжку для написания кода чтения, преобразования и записи непосредственно в Lakehouse в виде таблиц и/или папок. Вы можете узнать больше об использовании тетрадей для Lakehouse: исследование данных в вашей Lakehouse с помощью тетради и как использовать тетрадь для загрузки данных в вашу Lakehouse.
Потоки данных. Инженеры данных могут использовать такие средства интеграции данных, как средство копирования потока для извлечения данных из других источников и загрузки в Lakehouse. Дополнительные сведения об использовании действия копирования: как копировать данные с помощью действия копирования.
определения заданий Apache Spark. Инженеры данных могут разрабатывать надежные приложения и управлять выполнением скомпилированных заданий Spark в Java, Scala и Python. Дополнительные сведения о заданиях Spark: Что такое определение задания Apache Spark?
потоки данных 2-го поколения: инженеры данных могут использовать потоки данных 2-го поколения для приема и подготовки данных. Дополнительные сведения о загрузке данных с помощью потоков данных: Создать первый поток данных для получения и преобразования данных.
Дополнительные сведения о различных способах загрузки данных в lakehouse: параметры для получения данных вFabric Lakehouse.
Многозадачность с lakehouse
Многозадачный интерфейс предоставляет возможность работы с вкладками браузера, что позволяет без проблем открывать и переключаться между несколькими элементами, обеспечивая более эффективное управление хранилищем данных, чем когда-либо прежде. Больше нет переключения между различными окнами или потери контроля над задачами. Lakehouse предоставляет расширенный многозадающий интерфейс, чтобы сделать процесс управления данными максимально эффективным и понятным для пользователей с помощью следующих возможностей:
Сохранить выполняемые операции: Вы можете отправить или запустить операцию загрузки данных на одной вкладке и проверить другую задачу на другой вкладке. При использовании расширенной многофакторной обработки выполняемые операции не отменяются при переходе между вкладками. Вы можете сосредоточиться на работе без прерываний.
Сохранить контекст: выбранные объекты, таблицы данных или файлы остаются открытыми и легко доступными при переключении между вкладками. Контекст озера данных всегда находится под рукой.
неблокирующая перезагрузка списка: неблокирующий механизм перезагрузки списка файлов и таблиц. Вы можете продолжать работать, пока список обновляется в фоновом режиме. Это гарантирует, что у вас есть последние данные, предоставляя вам плавный и непрерывный опыт.
Четко определенные уведомления: всплывающие уведомления указывают, из какого озера они исходят, что упрощает отслеживание изменений и обновлений в среде с несколькими задачами.
Доступный дизайн дома у озера
Доступность всегда была главным приоритетом, чтобы обеспечить инклюзивность и удобство использования Lakehouse для всех. Ниже приведены ключевые инициативы, которые мы реализовали до сих пор для поддержки специальных возможностей:
совместимость средства чтения с экрана: Вы можете легко работать с популярными средствами чтения с экрана, что позволяет пользователям с нарушениями зрения эффективно перемещаться и взаимодействовать с нашей платформой.
перенастройка текста адаптивный дизайн, который подстраивается под разные размеры экрана и ориентации. Динамический поток текста и содержимого позволяет пользователям легко просматривать и взаимодействовать с нашим приложением на различных устройствах.
Навигация по клавиатуре: Улучшена навигация по клавиатуре, чтобы пользователи могли перемещаться по lakehouse, не используя мышь, что повышает удобство работы для людей с ограниченными двигательными возможностями.
альтернативный текст для изображений: все изображения теперь включают описательный альтернативный текст, что позволяет программам экранного чтения передавать значимые сведения.
Поля формы и ярлыки: Все поля формы имеют связанные ярлыки, упрощая ввод данных для всех пользователей, включая пользователей экранных читателей.
Связанное содержимое
В этом обзоре вы получите базовое представление о лейкхаусе. Перейдите к следующей статье, чтобы узнать, как создать и использовать собственный lakehouse:
- Чтобы начать использовать lakehouse, см. статью Создание lakehouse в Microsoft Fabric.