Сеть

В этой статье представлены конфигурации сети для развертывания и управления учетными записями и рабочими областями Azure Databricks.

Внимание

Начиная с 4 декабря 2024 года Databricks начнет взимать плату за сетевые расходы на бессерверные рабочие нагрузки, которые подключаются к внешним ресурсам. Выставление счетов будет реализовано постепенно, и вы можете не взиматься до 4 декабря 2024 года. Перед включением выставления счетов плата за использование не будет взиматься ретроактивно. После включения выставления счетов может взиматься плата за:

• Частное подключение к ресурсам через Приватный канал. Плата за обработку данных за частное подключение к ресурсам через Приватный канал отменяется на неопределенный срок. Плата за час будет применяться.
• Общедоступное подключение к ресурсам через шлюз NAT.
• Расходы на передачу данных, такие как, когда бессерверные вычисления и целевой ресурс находятся в разных регионах.

Обзор архитектуры Azure Databricks

Azure Databricks работает из плоскости управления и вычислительной плоскости.

• Уровень управления включает внутренние службы, которыми управляет Azure Databricks в учетной записи Azure Databricks. Веб-приложение находится в плоскости управления.
• Плоскость вычислений — это место обработки данных. Существует два типа вычислительных плоскостей в зависимости от используемого вычислительных ресурсов.
  • Для классических вычислений Azure Databricks вычислительные ресурсы находятся в подписке Azure в том, что называется классической вычислительной плоскости. Это относится к сети в подписке Azure и ее ресурсах. Классические ресурсы плана вычислений находятся в регионе, в который находится ваша рабочая область.
  • Для бессерверных вычислений бессерверные вычислительные ресурсы выполняются в бессерверной вычислительной плоскости в учетной записи Azure Databricks. Ресурсы бессерверного плана вычислений находятся в том же облачном регионе, что и классический вычислительный уровень рабочей области. Этот регион выбирается при создании рабочей области.

Дополнительные сведения о классических вычислениях и бессерверных вычислениях см. в разделе "Типы вычислений". Дополнительные сведения об архитектуре см. в обзоре архитектуры Azure Databricks.

Безопасное подключение к сети

Azure Databricks предоставляет безопасную сетевую среду по умолчанию, но если у вашей организации есть дополнительные потребности, можно настроить функции сетевого подключения между различными сетевыми подключениями, показанными на схеме ниже.

1. Пользователи и приложения в Azure Databricks. Вы можете настроить функции для управления доступом и предоставления частного подключения между пользователями и рабочими областями Azure Databricks. Ознакомьтесь с пользователями в сети Azure Databricks.
2. Плоскость управления и классическая плоскость вычислений: классические вычислительные ресурсы, такие как кластеры, развертываются в подписке Azure и подключаются к плоскости управления. Классические функции сетевого подключения можно использовать для развертывания классических ресурсов плоскости вычислений в собственных виртуальных сетях и обеспечения частного подключения из кластеров к плоскости управления. См. сведения о классической сети плоскости вычислений.
3. Бессерверная плоскость вычислений и хранилище. Вы можете настроить частные и выделенные подключения от бессерверных вычислений к хранилищу. См. сведения о сети бессерверных вычислительных плоскостей.

Вы можете настроить сетевые функции хранилища Azure, такие как частные конечные точки, чтобы защитить подключение между классической вычислительной плоскостей и ресурсами Azure. Узнайте, как предоставить доступ к рабочей области Azure Databricks для Azure Data Lake Storage 2-го поколения и сетевых рекомендаций для Федерации Lakehouse.

Вы также можете включить поддержку брандмауэра для учетной записи хранения рабочей области, чтобы ограничить доступ к учетной записи из авторизованных сетей и подключений. См. раздел "Включение поддержки брандмауэра для учетной записи хранения рабочей области".

Подключение между плоскости управления и бессерверным вычислительным уровнем всегда осуществляется через магистраль сети Azure, а не через общедоступный Интернет.