Поделиться через

Типы хранилища SQL

  • Статья

Databricks SQL поддерживает бессерверные, профессиональные и классические типы. В этой статье описаны функции, доступные для каждого типа, и сравниваются производительность и функции.

Возможности производительности по типу

Каждый тип хранилища SQL имеет разные возможности производительности. В следующей таблице показаны функции производительности, поддерживаемые каждым типом хранилища SQL.

Тип хранилища Движок фотонов Прогнозный ввод-вывод Интеллектуальное управление рабочими нагрузками
Бессерверные X X X
Профессионал X X
Классический X

В следующем списке описана каждая функция производительности:

  • Фотон: Встроенный в Databricks векторизованный обработчик запросов. Это делает существующие вызовы API SQL и DataFrame быстрее и снижает общую стоимость на рабочую нагрузку.

  • Predictive IO: пакет функций для ускорения выборочных операций сканирования в запросах SQL. Прогнозируемый ввод-вывод может обеспечить широкий спектр ускорений.

  • интеллектуальное управление рабочими нагрузками (IWM): набор функций, повышающих способность Databricks SQL Serverless обрабатывать большое количество запросов быстро и экономично. Используя методы прогнозирования на основе искусственного интеллекта и динамического управления, IWM работает над проверкой того, что рабочие нагрузки имеют необходимый объем ресурсов. Ключевое различие заключается в возможностях искусственного интеллекта в Databricks SQL для динамического реагирования на требования рабочей нагрузки, а не с использованием статических пороговых значений.

    Заметка

    Цены для каждого типа хранилища и подробное сравнение функций см. в разделе Databricks SQL. Узнать о последних функциях Databricks SQL можно в заметках о выпуске Databricks SQL.

Различия в производительности между типами хранилищ SQL

Каждый тип хранилища SQL имеет разные характеристики производительности.

Бессерверные хранилища SQL

Использование бессерверной архитектуры Azure Databricks бессерверным хранилищем SQL поддерживает все функции производительности Databricks SQL. Благодаря бессерверному хранилищу SQL и его функциям производительности вы получаете:

  • Быстрое время запуска (обычно от 2 до 6 секунд).
  • Быстрое масштабирование для получения дополнительных вычислений при необходимости для поддержания низкой задержки.
  • Пропускная способность запросов ближе к пределам оборудования, чем к возможностям виртуальной машины.
  • Быстрое уменьшение масштабирования для минимизации затрат при низком спросе, обеспечивая согласованную производительность с оптимизированными затратами и ресурсами.

Выберите бессерверное хранилище SQL для лучшей производительности запуска, наиболее эффективного ввода-вывода, более умной обработки запросов с сильно меняющимся во времени спросом и быстрой автоматической масштабировки, когда появляется очередь запросов. См. автоматическое масштабирование без сервера иочередь запросов.

Бессерверное хранилище SQL хорошо работает с этими типами рабочих нагрузок:

  • ETL
  • Бизнес-аналитика
  • Аналитический анализ

Важный

Хранилища SQL не поддерживают сквозное учетных данных. Databricks рекомендует использовать каталог Unity для управления данными. См. статью Что такое каталог Unity?.

Профессиональные SQL-склады

Хранилище Pro SQL поддерживает Photon и прогнозируемое выполнение операций ввода-вывода, но не поддерживает интеллектуальное управление нагрузкой. В хранилище pro SQL (в отличие от бессерверного хранилища SQL), вычислительный уровень существует в вашей учетной записи подписки Azure, а не в учетной записи Azure Databricks. Без интеллектуального управления рабочими нагрузками склады менее реагируют на запросы, которые значительно изменяются с течением времени и не могут быстро масштабироваться, как бессерверное хранилище SQL. Хранилище pro SQL занимает несколько минут, чтобы запустить (обычно примерно 4 минуты) и масштабируется вверх и вниз с меньшей скоростью реагирования, чем бессерверное хранилище SQL. См. очереди и автомасштабирование для pro и классических хранилищ SQL.

Используйте хранилище pro SQL, если:

  • Бессерверные хранилища SQL недоступны в регионе.
  • У вас есть настраиваемая сеть и требуется подключиться к базам данных в сети в облаке или локальной среде для федерации или архитектуры гибридного типа. Например, используйте хранилище pro SQL, если вы хотите поместить другие службы в сеть, например шину событий или базы данных, или подключить сеть к локальной сети.

Классические хранилища SQL

Классическое хранилище SQL поддерживает Photon, но не поддерживает прогнозные операции ввода-вывода или интеллектуальное управление рабочими нагрузками. В классическом хранилище SQL (в отличие от бессерверного хранилища SQL), уровень вычислений существует в учетной записи подписки Azure, а не в учетной записи Azure Databricks. Без поддержки прогнозного ввода-вывода или интеллектуального управления рабочими нагрузками классический хранилище SQL обеспечивает только начальную производительность и меньшую производительность, чем бессерверный или профессиональный хранилище SQL. Классическое хранилище SQL также занимает несколько минут, чтобы запустить (обычно примерно 4 минуты) и масштабируется вверх и вниз с меньшей скоростью реагирования, чем бессерверное хранилище SQL. См. очереди и автомасштабирование для профессиональных и классических SQL-хранилищ.

Используйте классическое хранилище SQL для выполнения интерактивных запросов для исследования данных с начальным уровнем производительности и функциями Databricks SQL.

Заметка

Для получения информации о размере вашего хранилища SQL и его масштабировании в ответ на очереди запросов, подробнее см. в разделе Очереди и автомасштабирование для Pro и классических хранилищ SQL.

Что такое тип хранилища по умолчанию?

Для рабочих областей в регионах, которые поддерживают бессерверные хранилища SQL и удовлетворяют требованиям :

  • Используя пользовательский интерфейс, тип хранилища SQL по умолчанию бессерверен.
  • Используя API SQL хранилищ с параметрами по умолчанию, типом хранилища по умолчанию является классический SQL. Чтобы использовать бессерверный параметр enable_serverless_compute, установите для параметра true и warehouse_type значение pro. Если эта рабочая область использовала API хранилищ SQL для создания хранилища в период с 1 ноября 2022 по 19 мая 2023 г. и соответствует требованиям для бессерверных хранилищ SQL, значение по умолчанию остается равным true. Чтобы избежать неоднозначности, особенно для организаций с множеством рабочих областей, Databricks рекомендует всегда задавать это поле.
  • Если рабочая область использует устаревший внешний хранилище метаданных Hive , то бессерверные хранилища SQL не поддерживаются. Тип хранилища SQL по умолчанию совпадает с тем, что если бы бессерверные вычисления были отключены, что является профессиональным в пользовательском интерфейсе и классическом использовании API. Кроме того, обратитесь к группе учетной записи Azure Databricks, чтобы узнать больше о каталоге Unity или других вариантах.

Для рабочих областей, которые не поддерживают бессерверные хранилища SQL:

  • Используя пользовательский интерфейс, тип хранилища SQL по умолчанию является профессиональным.
  • Используя API хранилищ SQL с параметрами по умолчанию, по умолчанию используется классический тип хранилища SQL.