Настройка брандмауэра для бессерверного доступа к вычислительным ресурсам

В этой статье описывается настройка брандмауэра хранилища Azure для бессерверных вычислений с помощью пользовательского интерфейса консоли учетной записи Azure Databricks. Вы также можете использовать API конфигураций сетевого подключения.

Сведения о настройке частной конечной точки для бессерверного доступа к вычислительным ресурсам см. в статье "Настройка частного подключения из бессерверных вычислений".

Внимание

С 4 декабря 2024 г. Azure Databricks начала взимать плату за сетевые расходы, связанные с бессерверными рабочими нагрузками, подключающимися к ресурсам клиентов. В настоящее время с ваших ресурсов взимается почасовая плата за использование частной конечной точки. Плата за обработку данных для подключений к приватному каналу отменяется на неопределенный срок. Выставление счетов за другие сетевые затраты будет постепенно развернуто, в том числе:

• Общедоступное подключение к ресурсам, например через шлюз NAT.
• Плата за передачу данных, например, когда бессерверные вычисления и целевой ресурс находятся в разных регионах.

Плата не будет применяться ретроактивно.

Обзор включения брандмауэра для бессерверных вычислений

Бессерверное сетевое подключение управляется конфигурациями сетевого подключения (NCCs). Администраторы учетных записей создают НКЦ в консоли управления учетной записью, и НКЦ можно подключить к одной или нескольким рабочим областям.

NCC содержит список сетевых идентификаторов типа ресурса Azure, который используется в качестве правил по умолчанию. При подключении NCC к рабочей области бессерверные вычисления в этой рабочей области используют одну из этих сетей для подключения ресурса Azure. Эти сети можно разрешить в брандмауэре ресурсов Azure. Если у вас имеются брандмауэры для ресурсов Azure, не связанных с хранилищами, пожалуйста, свяжитесь с вашей командой по управлению учетной записью, чтобы получить информацию о том, как использовать стабильные IP-адреса NAT в Azure Databricks.

Включение брандмауэра NCC поддерживается из бессерверных хранилищ SQL, заданий, записных книжек, конвейеров DLT и конечных точек обслуживания моделей.

При необходимости можно настроить сетевой доступ к хранилищу рабочей области только из авторизованных сетей, включая бессерверные вычислительные ресурсы. См. раздел «Включение поддержки брандмауэра для учетной записи хранения». При присоединении NCC к рабочей области правила сети автоматически добавляются в учетную запись хранения Azure для учетной записи хранения рабочей области.

Дополнительные сведения о контроллерах сети см. в разделе "Что такое конфигурация сетевого подключения(NCC)?".

Стоимость доступа к хранилищу между регионами

Брандмауэр применяется только в том случае, если ресурсы Azure находятся в том же регионе, что и рабочая область Azure Databricks. Для трафика между регионами из бессерверных вычислений Azure Databricks (например, рабочая область находится в регионе "Восточная часть США", а хранилище ADLS находится в Западной Европе), Azure Databricks направляет трафик через службу шлюза Azure NAT.

Требования

• Рабочая область должна находиться в плане "Премиум".
• Вы должны быть администратором учетных записей в Azure Databricks.
• Каждый NCC может быть присоединен к до 50 рабочих областей.

• Каждая учетная запись Azure Databricks может содержать до 10 NCCs в каждом регионе.
• У вас должен быть WRITE доступ к сетевым правилам учетной записи хранения Azure.

Шаг 1. Создание конфигурации сетевого подключения и копирование идентификаторов подсети

Databricks рекомендует совместно использовать NCCs между рабочими областями в одной бизнес-единице и теми, которые находятся в одном регионе и имеют те же свойства подключения. Например, если некоторые рабочие области используют брандмауэр хранилища, а другие рабочие области используют альтернативный подход приватного соединения, используйте отдельные NCC для этих случаев использования.

1. В качестве администратора учетной записи перейдите в консоль учетной записи.
2. На боковой панели щелкните "Облачные ресурсы".
3. Щелкните "Конфигурация сетевого подключения".
4. Нажмите кнопку "Добавить конфигурации сетевого подключения".
5. Введите имя NCC.
6. Выберите регион. Это должно соответствовать региону рабочей области.
7. Нажмите кнопку Добавить.
8. В списке NCC щелкните на ваш новый NCC.
9. В Правилах по умолчанию в Сетевых удостоверениях нажмите Просмотреть все.
10. В диалоговом окне нажмите кнопку "Копировать подсети ".
11. Нажмите кнопку Закрыть.

Шаг 2. Присоединение NCC к рабочим областям

Вы можете подключить NCC к 50 рабочим областям в том же регионе, что и NCC.

Чтобы использовать API для подключения NCC к рабочей области, см. API рабочих областей учетных записей.

1. На боковой панели консоли учетной записи щелкните "Рабочие области".
2. Щелкните по имени рабочей области.
3. Нажмите Обновить рабочую область.
4. В поле Конфигурация сетевого подключения выберите NCC. Если он не отображается, убедитесь, что вы выбрали один и тот же регион для рабочей области и NCC.
5. Щелкните Обновить.
6. Подождите 10 минут, пока изменения вступают в силу.
7. Перезапустите все запущенные бессерверные вычислительные ресурсы в рабочей области.

Если вы используете эту функцию для подключения к учетной записи хранения рабочей области, конфигурация завершена. Правила сети автоматически добавляются в учетную запись хранения данных рабочей области. Для дополнительных учетных записей хранения перейдите к следующему шагу.

Шаг 3. Блокировка учетной записи хранения

Если вы еще не ограничили доступ к учетной записи хранения Azure, разрешая его только сетям из белого списка, сделайте это сейчас. Этот шаг не требуется выполнять для учетной записи хранения рабочей области.

Создание брандмауэра хранилища также влияет на подключение с классической вычислительной плоскости к ресурсам. Кроме того, необходимо добавить сетевые правила для подключения к учетным записям хранения из классических вычислительных ресурсов.

1. Перейдите на портал Azure.
2. Перейдите к учетной записи хранения для источника данных.
3. В левой области навигации щелкните "Сеть".
4. В поле "Общедоступный сетевой доступ" проверьте значение. По умолчанию значение - Включено из всех сетей. Измените это значение на "Включено" из выбранных виртуальных сетей и IP-адресов.

Шаг 4. Добавление сетевых правил учетной записи хранения Azure

Этот шаг не требуется выполнять для учетной записи хранения рабочей области.

1. Добавьте одно правило сети учетной записи хранения Azure для каждой подсети. Это можно сделать с помощью Azure CLI, PowerShell, Terraform или других средств автоматизации. Обратите внимание, что этот шаг не может быть выполнен в пользовательском интерфейсе портала Azure.

   В следующем примере используется интерфейс командной строки Azure:

   az storage account network-rule add --subscription "<sub>" \
       --resource-group "<res>" --account-name "<account>" --subnet "<subnet>"
   

   • Замените <sub> именем подписки Azure для учетной записи хранения.
   • Замените <res> на группу ресурсов вашей учетной записи хранения.
   • Замените <account> именем учетной записи хранения
   • Замените <subnet> идентификатор ресурса ARM (resourceId) бессерверной подсети вычислений.

   После выполнения всех команд вы можете использовать портал Azure для просмотра вашей учетной записи хранения и подтверждения того, что в таблице виртуальные сети есть запись, представляющая новую подсеть. Однако нельзя вносить изменения в правила сети в портал Azure.

   Совет

   • При добавлении сетевых правил учетной записи хранилища используйте API сетевой подключаемости для получения последних подсетей.
   • Избегайте локального хранения сведений NCC.
   • Игнорируйте упоминание "Недостаточно разрешений" в столбце состояния конечной точки или предупреждение под списком сети. Они указывают только на то, что у вас нет разрешения на чтение подсетей Azure Databricks, но это не мешает этой бессерверной подсети Azure Databricks связаться с хранилищем Azure.

   

2. Повторите эту команду один раз для каждой подсети.

3. Чтобы убедиться, что учетная запись хранения использует эти параметры из портала Azure, перейдите в раздел Сеть вашей учетной записи хранения.

   Убедитесь, что доступ к общедоступной сети установлен на Включено из выбранных виртуальных сетей и IP-адресов, а разрешенные сети перечислены в разделе Виртуальные сети.