Настройка частного подключения для бессерверных вычислительных сервисов

В этой статье описывается настройка частного подключения из бессерверных вычислений с помощью пользовательского интерфейса консоли учетной записи Azure Databricks. Вы также можете использовать API конфигураций сетевого подключения.

Если вы настроите ресурс Azure только для приема подключений из частных конечных точек, все подключения к ресурсу из классических вычислительных ресурсов Databricks также должны использовать частные конечные точки.

Чтобы настроить брандмауэр хранилища Azure для бессерверного доступа к вычислительным ресурсам с использованием подсетей, вместо этого см. Настройка брандмауэра для бессерверного доступа к вычислительным ресурсам. Сведения об управлении существующими правилами частной конечной точки см. в статье "Управление правилами частной конечной точки".

Внимание

С 4 декабря 2024 г. Azure Databricks начала взимать плату за сетевые расходы, связанные с бессерверными рабочими нагрузками, подключающимися к ресурсам клиентов. В настоящее время с ваших ресурсов взимается почасовая плата за использование частной конечной точки. Плата за обработку данных для подключений к приватному каналу отменяется на неопределенный срок. Выставление счетов за другие сетевые затраты будет постепенно развернуто, в том числе:

• Общедоступное подключение к ресурсам, например через шлюз NAT.
• Плата за передачу данных, например, когда бессерверные вычисления и целевой ресурс находятся в разных регионах.

Сборы не будут применяться ретроактивно.

Обзор частного подключения для бессерверных вычислений

Бессерверное сетевое подключение управляется конфигурациями сетевого подключения (NCC). Администраторы учетных записей создают NCC в консоли учетной записи, и NCC можно подключить к одной или нескольким рабочим областям.

При добавлении частной конечной точки в NCC Azure Databricks создает запрос частной конечной точки к ресурсу Azure. После принятия запроса на стороне ресурса частная конечная точка используется для доступа к ресурсам из бессерверной вычислительной плоскости. Частная конечная точка предназначена для учетной записи Azure Databricks и доступна только из авторизованных рабочих областей.

Частные конечные точки NCC поддерживаются для хранилищ SQL, заданий, записных книжек, DLT и конечных точек для обслуживания моделей.

Примечание.

Частные конечные точки NCC поддерживаются только для управляемых источников данных. Чтобы подключиться к учетной записи хранения рабочей области, обратитесь к группе учетной записи Azure Databricks.

Примечание.

Служба обслуживания моделей использует путь к хранилищу Azure Blob для загрузки артефактов модели, поэтому создайте частную конечную точку для вашего Blob, связанного с подресурсом. Вам потребуется DFS для регистрации моделей в каталоге Unity из бессерверных записных книжек.

Дополнительные сведения о контроллерах сети см. в разделе "Что такое конфигурация сетевого подключения(NCC)?".

Требования

• Рабочая область должна находиться в плане "Премиум".
• Вы должны быть администратором учетных записей в Azure Databricks.
• Каждая учетная запись Azure Databricks может содержать до 10 NCCs в каждом регионе.
• Каждый регион может иметь 100 частных конечных точек, распределенных по мере необходимости между 1–10 NCCs.
• Каждый NCC может быть подключен к максимум 50 рабочим областям.

Шаг 1. Создание конфигурации сетевого подключения

Databricks рекомендует совместно использовать NCC между рабочими пространствами в рамках одного бизнес-подразделения и в тех, которые имеют одинаковые свойства подключения для региона. Например, если некоторые рабочие области используют Приватный канал и другие рабочие области используют включение брандмауэра, используйте отдельные NCCs для этих вариантов использования.

1. Перейдите в консоль учетной записи как администратор.
2. На боковой панели щелкните "Облачные ресурсы".
3. Щелкните Конфигурации сетевого подключения.
4. Нажмите кнопку "Добавить конфигурацию сетевого подключения".
5. Введите имя NCC.
6. Выберите регион. Это должно соответствовать региону рабочей области.
7. Нажмите кнопку Добавить.

Шаг 2. Присоединение NCC к рабочей области

1. На боковой панели консоли учетной записи щелкните "Рабочие области".
2. Щелкните по названию рабочей области.
3. Щелкните Обновить рабочую область.
4. В поле Конфигурация сетевого подключения выберите NCC. Если он не отображается, убедитесь, что вы выбрали один и тот же регион Azure для рабочей области и NCC.
5. Щелкните Обновить.
6. Подождите 10 минут, пока изменения вступают в силу.
7. Перезапустите все запущенные бессерверные службы в рабочей области.

Шаг 3. Создание правил частной конечной точки

Необходимо создать правило частной конечной точки в NCC для каждого ресурса Azure.

1. Получите список идентификаторов ресурсов Azure для всех ваших назначений.
   1. На другой вкладке браузера используйте портал Azure перейдите к службам Azure источника данных.
   2. На странице Обзор просмотрите раздел Основное.
   3. Щелкните ссылку Представление JSON. Идентификатор ресурса службы отображается в верхней части страницы.
   4. Скопируйте идентификатор ресурса в другое место. Повторите для всех пунктов назначения. Дополнительные сведения о поиске идентификатора ресурса см. в значениях частной DNS-зоны частной конечной точки Azure.
2. Вернитесь на вкладку браузера консоли учетной записи.
3. На боковой панели щелкните "Облачные ресурсы".
4. Щелкните конфигурации сетевого подключения.
5. Выберите NCC, созданный на шаге 1.
6. В правилах частной конечной точки нажмите кнопку "Добавить правило частной конечной точки".
7. В поле "Идентификатор ресурса Назначения Azure" вставьте идентификатор вашего ресурса.
8. В поле идентификатора подресурса Azure укажите идентификатор назначения и тип подресурса. Каждое правило частной конечной точки должно использовать другой идентификатор подресурса. Список поддерживаемых типов подресурсов см. в разделе о доступности Azure Private Link.
9. Нажмите кнопку Добавить.
10. Подождите несколько минут, пока все правила конечной точки не будут иметь состояние PENDING.

Шаг 4. Утверждение новых частных конечных точек на ресурсах

Конечные точки не вступают в силу, пока администратор с правами на ресурс не утверждает новую частную конечную точку. Чтобы утвердить частную конечную точку с помощью портал Azure, сделайте следующее:

1. В портале Azure перейдите к вашему ресурсу.

2. На боковой панели щелкните "Сеть".

3. Щелкните подключения к частной конечной точке.

4. Перейдите на вкладку "Закрытый доступ ".

5. В разделе подключения к частной конечной точкепросмотрите список частных конечных точек.

6. Установите флажок рядом с каждым элементом, чтобы подтвердить, и нажмите кнопку Подтвердить над списком.

7. Вернитесь в NCC в Azure Databricks и обновляйте страницу браузера, пока все правила конечных точек не получат статус ESTABLISHED.

   

(необязательно) Шаг 5. Настройка учетной записи хранения для запрета доступа к общедоступной сети

Если вы еще не ограничили доступ к учетной записи хранения Azure для допуска только разрешенных сетей, вы можете сделать это.

1. Перейдите на портал Azure.
2. Перейдите к учетной записи хранения данных для источника данных.
3. На боковой панели щелкните "Сеть".
4. В поле "Общедоступный сетевой доступ" проверьте значение. По умолчанию значение — включено из всех сетей. Измените значение " Отключено"

Шаг 6. Перезапустите ресурсы бессерверной вычислительной плоскости и проверьте подключение

1. После предыдущего шага подождите пять дополнительных минут, чтобы изменения распространялись.
2. Перезапустите все запущенные бессерверные ресурсы плоскости вычислений в рабочих областях, к которым подключена NCC. Если у вас нет работающих ресурсов бессерверного вычисления, запустите их.
3. Убедитесь, что все ресурсы запускались успешно.
4. Выполните по крайней мере один запрос к источнику данных, чтобы убедиться, что бессерверное хранилище SQL может получить доступ к источнику данных.