Настройка частного подключения из бессерверных вычислений

В этой статье описывается настройка частного подключения из бессерверных вычислений с помощью пользовательского интерфейса консоли учетной записи Azure Databricks. Вы также можете использовать API конфигураций сетевого подключения.

Если вы настроите ресурс Azure только для приема подключений из частных конечных точек, все подключения к ресурсу из классических вычислительных ресурсов Databricks также должны использовать частные конечные точки.

Чтобы настроить брандмауэр служба хранилища Azure для бессерверного доступа к вычислительным ресурсам с помощью подсетей, вместо этого см. раздел "Настройка брандмауэра для бессерверного доступа к вычислительным ресурсам". Сведения об управлении существующими правилами частной конечной точки см. в статье "Управление правилами частной конечной точки".

Внимание

Начиная с 4 декабря 2024 года Databricks начнет взимать плату за сетевые расходы на бессерверные рабочие нагрузки, которые подключаются к внешним ресурсам. Выставление счетов будет реализовано постепенно, и вы можете не взиматься до 4 декабря 2024 года. Перед включением выставления счетов плата за использование не будет взиматься ретроактивно. После включения выставления счетов может взиматься плата за:

• Частное подключение к ресурсам через Приватный канал. Плата за обработку данных за частное подключение к ресурсам через Приватный канал отменяется на неопределенный срок. Плата за час будет применяться.
• Общедоступное подключение к ресурсам через шлюз NAT.
• Расходы на передачу данных, такие как, когда бессерверные вычисления и целевой ресурс находятся в разных регионах.

Обзор частного подключения для бессерверных вычислений

Бессерверное сетевое подключение управляется конфигурацией сетевого подключения (NCCs). Администраторы учетных записей создают NCCs в консоли учетной записи, а NCC можно подключить к одной или нескольким рабочим областям.

При добавлении частной конечной точки в NCC Azure Databricks создает запрос частной конечной точки к ресурсу Azure. После принятия запроса на стороне ресурса частная конечная точка используется для доступа к ресурсам из бессерверной вычислительной плоскости. Частная конечная точка предназначена для учетной записи Azure Databricks и доступна только из авторизованных рабочих областей.

Частные конечные точки NCC поддерживаются из хранилищ SQL, заданий, записных книжек, разностных динамических таблиц и конечных точек обслуживания моделей.

Примечание.

Частные конечные точки NCC поддерживаются только для управляемых источников данных. Чтобы подключиться к учетной записи хранения рабочей области, обратитесь к группе учетной записи Azure Databricks.

Примечание.

Служба моделей использует путь к хранилищу BLOB-объектов Azure для скачивания артефактов модели, поэтому создайте частную конечную точку для большого двоичного объекта подресурсов. Вам потребуется DFS для регистрации моделей в каталоге Unity из бессерверных записных книжек.

Дополнительные сведения о контроллерах сети см. в разделе "Что такое конфигурация сетевого подключения(NCC)?".

Требования

• Рабочая область должна находиться в плане "Премиум".
• Вы должны быть администратором учетных записей в Azure Databricks.
• Каждая учетная запись Azure Databricks может содержать до 10 NCCs в каждом регионе.
• Каждый регион может иметь 100 частных конечных точек, распределенных по мере необходимости между 1–10 NCCs.
• Каждый NCC может быть присоединен к до 50 рабочих областей.

Шаг 1. Создание конфигурации сетевого подключения

Databricks рекомендует совместно использовать NCC между рабочими областями в одном бизнес-подразделении и совместно использовать те же свойства подключения к региону. Например, если некоторые рабочие области используют Приватный канал и другие рабочие области используют включение брандмауэра, используйте отдельные NCCs для этих вариантов использования.

1. В качестве администратора учетной записи перейдите в консоль учетной записи.
2. На боковой панели щелкните "Облачные ресурсы".
3. Щелкните конфигурации сетевого подключения.
4. Нажмите кнопку "Добавить конфигурацию сетевого подключения".
5. Введите имя NCC.
6. Выберите регион. Это должно соответствовать региону рабочей области.
7. Нажмите кнопку Добавить.

Шаг 2. Присоединение NCC к рабочей области

1. На боковой панели консоли учетной записи щелкните "Рабочие области".
2. Щелкните имя рабочей области.
3. Щелкните " Обновить рабочую область".
4. В поле "Конфигурация сетевого подключения" выберите NCC. Если он не отображается, убедитесь, что вы выбрали один и тот же регион Azure для рабочей области и NCC.
5. Нажмите Обновить.
6. Подождите 10 минут, пока изменения вступают в силу.
7. Перезапустите все запущенные бессерверные службы в рабочей области.

Шаг 3. Создание правил частной конечной точки

Необходимо создать правило частной конечной точки в NCC для каждого ресурса Azure.

1. Получите список идентификаторов ресурсов Azure для всех ваших назначений.
   1. На другой вкладке браузера используйте портал Azure перейдите к службам Azure источника данных.
   2. На странице обзора просмотрите раздел Essentials .
   3. Щелкните ссылку "Представление JSON". Идентификатор ресурса службы отображается в верхней части страницы.
   4. Скопируйте идентификатор ресурса в другое расположение. Повторите все назначения. Дополнительные сведения о поиске идентификатора ресурса см. в разделе "Значения частной зоны DNS частной конечной точки Azure".
2. Вернитесь на вкладку браузера консоли учетной записи.
3. На боковой панели щелкните "Облачные ресурсы".
4. Щелкните конфигурации сетевого подключения.
5. Выберите NCC, созданный на шаге 1.
6. В правилах частной конечной точки нажмите кнопку "Добавить правило частной конечной точки".
7. В поле "Идентификатор ресурса Назначения Azure" вставьте идентификатор ресурса для ресурса.
8. В поле идентификатора подресурса Azure укажите идентификатор назначения и тип подресурса. Каждое правило частной конечной точки должно использовать другой идентификатор подресурса. Список поддерживаемых типов подресурсов см. в разделе Приватный канал Azure доступности.
9. Нажмите кнопку Добавить.
10. Подождите несколько минут, пока все правила конечной точки не будут иметь состояние PENDING.

Шаг 4. Утверждение новых частных конечных точек на ресурсах

Конечные точки не вступают в силу, пока администратор с правами на ресурс не утверждает новую частную конечную точку. Чтобы утвердить частную конечную точку с помощью портал Azure, сделайте следующее:

1. В портал Azure перейдите к ресурсу.

2. На боковой панели щелкните "Сеть".

3. Щелкните подключения к частной конечной точке.

4. Перейдите на вкладку "Закрытый доступ ".

5. В разделе подключения к частной конечной точке просмотрите список частных конечных точек.

6. Установите флажок рядом с каждым, чтобы утвердить, и нажмите кнопку "Утвердить " над списком.

7. Вернитесь в NCC в Azure Databricks и обновите страницу браузера, пока все правила конечной точки не будут иметь состояние ESTABLISHED.

   

(Необязательно) Шаг 5. Настройка учетной записи хранения для запрета доступа к общедоступной сети

Если у вас еще нет доступа к учетной записи хранения Azure только разрешенным сетям, это можно сделать.

1. Перейдите на портал Azure.
2. Перейдите к учетной записи хранения для источника данных.
3. На боковой панели щелкните "Сеть".
4. В поле "Общедоступный сетевой доступ" проверьте значение. По умолчанию значение включено из всех сетей. Измените значение " Отключено"

Шаг 6. Перезапустите ресурсы бессерверной вычислительной плоскости и проверьте подключение

1. После предыдущего шага подождите пять дополнительных минут, чтобы изменения распространялись.
2. Перезапустите все запущенные бессерверные ресурсы плоскости вычислений в рабочих областях, к которым подключена NCC. Если у вас нет ресурсов бессерверных вычислительных плоскостей, запустите его.
3. Убедитесь, что все ресурсы запускались успешно.
4. Выполните по крайней мере один запрос к источнику данных, чтобы убедиться, что бессерверное хранилище SQL может получить доступ к источнику данных.