Планирование сетевой изоляции в Машинное обучение Azure
В этой статье вы узнаете, как спланировать сетевую изоляцию для Машинное обучение Azure и наших рекомендаций. Эта статья предназначена для ИТ-администраторов, которые хотят разработать сетевую архитектуру.
Что такое сетевая изоляция?
Сетевая изоляция — это стратегия безопасности, которая включает разделение сети на отдельные сегменты или подсети, каждая из которых работает как собственная небольшая сеть. Этот подход помогает повысить безопасность и производительность в более крупной сетевой структуре. Крупные предприятия требуют сетевой изоляции для защиты своих ресурсов от несанкционированного доступа, изменения или утечки данных и моделей. Они также должны соответствовать нормативным требованиям и стандартам, которые применяются к их отрасли и области.
Входящий и исходящий доступ
Сетевая изоляция должна рассматриваться в трех областях в Машинное обучение Azure:
- Входящий доступ к рабочей области Машинное обучение Azure. Например, для Специалист по обработке и анализу данных безопасного доступа к рабочей области.
- Исходящий доступ из рабочей области Машинное обучение Azure. Например, для доступа к другим службам Azure.
- Исходящий доступ из вычислительных ресурсов Машинное обучение Azure. Например, для доступа к источникам данных, репозиториям пакетов Python или другим ресурсам.
На следующей схеме разбивается входящий и исходящий трафик.
Входящий доступ к Машинное обучение Azure
Входящий доступ к защищенной рабочей области Машинное обучение Azure устанавливается с помощью флага доступа к общедоступной сети (PNA). Параметр флага PNA решает, требуется ли для рабочей области частная конечная точка или нет доступа к рабочей области. Существует дополнительный параметр между общедоступными и частными: включен из выбранных IP-адресов. Этот параметр позволяет получить доступ к рабочей области из указанных IP-адресов. Дополнительные сведения об этой функции см. в разделе "Включить общедоступный доступ только из диапазонов IP-адресов Интернета".
Исходящий доступ
сетевая изоляция Машинное обучение Azure включает как компоненты платформы как услуга (PaaS), так и инфраструктуру как услуга (IaaS). Службы PaaS, такие как рабочая область Машинное обучение Azure, хранилище, хранилище ключей, реестр контейнеров и мониторинг, можно изолировать с помощью Приватный канал. Вычислительные службы IaaS, такие как вычислительные экземпляры и кластеры для обучения модели ИИ, а также Служба Azure Kubernetes (AKS) или управляемые сетевые конечные точки для оценки моделей ИИ, можно внедрить в виртуальную сеть и взаимодействовать со службами PaaS с помощью Приватный канал. На следующей схеме приведен пример компонентов IaaS и PaaS.
Исходящий трафик из службы в другие ресурсы Azure PaaS
Защита исходящего доступа из службы Машинное обучение Azure к другим службам PaaS выполняется через доверенные службы. Вы можете предоставить подмножество доверенных служб Azure для доступа к Машинное обучение Azure, сохраняя правила сети для других приложений. Эти доверенные службы используют управляемое удостоверение для проверки подлинности службы Машинное обучение Azure.
Исходящий трафик из вычислительных ресурсов в Интернет и другие ресурсы Azure PaaS
Компоненты IaaS — это вычислительные ресурсы, такие как вычислительные экземпляры и кластеры, а также Служба Azure Kubernetes (AKS) или управляемые сетевые конечные точки. Для этих ресурсов IaaS исходящий доступ к Интернету защищен брандмауэром и исходящим доступом к другим ресурсам PaaS обеспечивается с помощью Приватный канал и частных конечных точек. Управляемая виртуальная сеть позволяет упростить настройку контроля исходящего трафика из вычислительных ресурсов.
Если вы не используете управляемую виртуальную сеть, можно защитить исходящий контроль с помощью собственной виртуальной сети и подсети. Если у вас есть автономная виртуальная сеть, конфигурация проста в использовании группы безопасности сети. Однако у вас может быть сетевая архитектура концентратора или сетки, брандмауэр, сетевое виртуальное устройство, прокси-сервер и определяемая пользователем маршрутизация. В любом случае обязательно разрешите входящий и исходящий трафик с компонентами безопасности сети.
На этой схеме вы используете сетевую архитектуру концентратора и периферийной сети. В периферийной виртуальной сети есть ресурсы для Машинное обучение Azure. Виртуальная сеть концентратора имеет брандмауэр, который управляет исходящим интернетом из виртуальных сетей. В этом случае брандмауэр должен разрешить исходящий трафик необходимым ресурсам, а вычислительные ресурсы в периферийной виртуальной сети должны быть в состоянии связаться с брандмауэром.
Совет
На схеме вычислительный экземпляр и вычислительный кластер настроены без общедоступного IP-адреса. Если вместо этого используется вычислительный экземпляр или кластер с общедоступным IP-адресом, необходимо разрешить входящий трафик из тега службы Машинное обучение Azure с помощью группы безопасности сети (NSG) и определяемой пользователем маршрутизации, чтобы пропустить брандмауэр. Этот входящий трафик будет осуществляться из службы Майкрософт (Машинное обучение Azure). Однако мы рекомендуем использовать параметр общедоступного IP-адреса, чтобы удалить это требование для входящего трафика.
Предложения сетевой изоляции для исходящего доступа из вычислительных ресурсов
Теперь, когда мы понимаем, какой доступ необходимо защитить, давайте рассмотрим, как защитить рабочую область машинного обучения с помощью сетевой изоляции. Машинное обучение Azure предлагает параметры сетевой изоляции для исходящего доступа из вычислительных ресурсов.
Управляемая сетевая изоляция (рекомендуется)
Использование управляемой виртуальной сети упрощает настройку сетевой изоляции. Она автоматически защищает рабочую область и управляемые вычислительные ресурсы в управляемой виртуальной сети. Вы можете добавить подключения к частной конечной точке для других служб Azure, на которые используется рабочая область, например служба хранилища Azure учетные записи. В зависимости от ваших потребностей можно разрешить весь исходящий трафик в общедоступную сеть или разрешить только исходящий трафик, который вы утверждаете. Исходящий трафик, необходимый службой Машинное обучение Azure, автоматически включается для управляемой виртуальной сети. Мы рекомендуем использовать рабочую область изоляция управляемой сети для встроенного метода изоляции меньшей сети. У нас есть два шаблона: разрешить исходящий режим интернета или разрешить только утвержденный исходящий режим.
Примечание.
Защита рабочей области с помощью управляемой виртуальной сети обеспечивает сетевую изоляцию для исходящего доступа из рабочей области и управляемых вычислений. Azure виртуальная сеть, которую вы создаете и управляете, используется для предоставления входящего доступа к рабочей области сетевой изоляции. Например, частная конечная точка рабочей области создается в виртуальная сеть Azure. Все клиенты, подключающиеся к виртуальной сети, могут получить доступ к рабочей области через частную конечную точку. При выполнении заданий в управляемых вычислениях управляемая сеть ограничивает доступ к ресурсам вычислений. Эта конфигурация отличается от предложения пользовательской виртуальной сети, которая также требует установки виртуальной сети и настройки всех вычислений в этой виртуальной сети.
Разрешить исходящий доступ к Интернету: используйте этот параметр, если вы хотите разрешить инженерам машинного обучения доступ к Интернету свободно. Вы можете создать другие правила исходящего трафика частной конечной точки, чтобы разрешить им доступ к частным ресурсам в Azure.
Разрешить только утвержденный исходящий режим: используйте этот параметр, если вы хотите свести к минимуму риск кражи данных и контролировать доступ инженеров машинного обучения. Правила исходящего трафика можно контролировать с помощью частной конечной точки, тега службы и полного доменного имени.
Настраиваемая сетевая изоляция
Если у вас есть определенное требование или политика компании, которая не позволяет использовать управляемую виртуальную сеть, можно использовать виртуальную сеть Azure для изоляции сети.
На следующей схеме рекомендуется сделать все ресурсы частными, но разрешить исходящий доступ к Интернету из виртуальной сети. На этой схеме описана следующая архитектура:
- Поместите все ресурсы в один регион.
- Виртуальная сеть концентратора, содержащая брандмауэр и настраиваемую настройку DNS.
- Периферийная виртуальная сеть, содержащая следующие ресурсы:
- Подсеть обучения содержит вычислительные экземпляры и кластеры, используемые для обучения моделей машинного обучения. Эти ресурсы настроены без общедоступного IP-адреса.
- Подсеть оценки содержит кластер AKS.
- Подсеть pe содержит частные конечные точки, которые подключаются к рабочей области и частным ресурсам, используемым рабочей областью (хранилище, хранилище ключей, реестр контейнеров и т. д.).
- Чтобы защитить управляемые сетевые конечные точки с помощью пользовательской виртуальной сети, включите устаревшую управляемую виртуальную сеть управляемой виртуальной сети. Мы не рекомендуем этот метод.
Эта архитектура балансирует безопасность сети и производительность инженеров машинного обучения.
Примечание.
Если вы хотите удалить требование брандмауэра, можно использовать группы безопасности сети и Azure виртуальная сеть NAT, чтобы разрешить исходящий интернет из частных вычислительных ресурсов.
Предотвращение кражи данных
На этой схеме показана рекомендуемая архитектура, чтобы сделать все ресурсы частными и контролировать исходящие назначения, чтобы предотвратить утечку данных. Мы рекомендуем использовать эту архитектуру при использовании Машинное обучение Azure с конфиденциальными данными в рабочей среде. На этой схеме описана следующая архитектура:
- Поместите все ресурсы в один регион.
- Виртуальная сеть концентратора, содержащая брандмауэр.
- Помимо тегов служб брандмауэр использует полные доменные имена для предотвращения кражи данных.
- Периферийная виртуальная сеть, содержащая следующие ресурсы:
- Подсеть обучения содержит вычислительные экземпляры и кластеры, используемые для обучения моделей машинного обучения. Эти ресурсы настроены без общедоступного IP-адреса. Кроме того, политика конечной точки службы и конечной точки службы выполняется для предотвращения кражи данных.
- Подсеть оценки содержит кластер AKS.
- Подсеть pe содержит частные конечные точки, которые подключаются к рабочей области и частным ресурсам, используемым рабочей областью (хранилище, хранилище ключей, реестр контейнеров и т. д.).
- Управляемые сетевые конечные точки используют частную конечную точку рабочей области для обработки входящих запросов. Частная конечная точка также используется для разрешения развертываний управляемых сетевых конечных точек для доступа к частному хранилищу.
Сравнение параметров сетевой изоляции
Как изоляция управляемой сети, так и настраиваемая сетевая изоляция похожи. В следующей таблице описаны все сходства и различия между двумя предложениями с точки зрения их настройки. Одним из ключевых различий в настройке является размещение виртуальной сети для вычислительных ресурсов. Для пользовательской сетевой изоляции виртуальная сеть для вычислений находится в клиенте в то время как для изоляция управляемой сети виртуальная сеть для вычислений находится в клиенте Майкрософт.
| Сходства | Differences |
|---|---|
| — Сеть выделена для вас и не предоставляется другим клиентам.
— Данные защищены в виртуальной сети. — полный контроль над исходящим трафиком с помощью правил исходящего трафика. — Обязательные теги службы. |
— место размещения виртуальной сети; в клиенте для пользовательской сетевой изоляции или в клиенте Майкрософт для изоляция управляемой сети. |
Чтобы принять правильное решение о том, какие сетевые настройки лучше всего подходят для вашего сценария, рассмотрите, какие функции в Машинное обучение Azure вы хотите использовать. Дополнительные сведения о различиях между предложениями сетевой изоляции см. в разделе "Сравнение конфигураций сетевой изоляции".
Сравнение конфигураций
| Управляемая сеть (рекомендуется) | Настраиваемая сеть | |
|---|---|---|
| Льготы | — свести к минимуму затраты на настройку и обслуживание.
— поддерживает управляемые сетевые конечные точки. — поддерживает бессерверную spark. — доступ к ресурсам конечных точек HTTPs, расположенным локально или в пользовательской виртуальной сети. — Фокус для разработки новых функций. |
— настройте сеть в соответствии с вашими требованиями.
— Принести собственные ресурсы, отличные от Azure. — подключение к локальным ресурсам. |
| Ограничения | — дополнительные затраты на правила Брандмауэр Azure и полное доменное имя.
— Ведение журнала брандмауэра виртуальной сети и правил NSG не поддерживается. — Доступ к ресурсам конечных точек, отличных от HTTPs, не поддерживается. |
— Поддержка новых функций может быть отложена.
-Управляемые сетевые конечные точки не поддерживаются. — Бессерверный spark не поддерживается. — Базовые модели не поддерживаются. — Код MLFlow не поддерживается. — сложность реализации. - Затраты на обслуживание. |
Использование общедоступной рабочей области
Вы можете использовать общедоступную рабочую область, если вы используете проверку подлинности и авторизацию идентификатора Microsoft Entra с условным доступом. Общедоступная рабочая область имеет некоторые функции, позволяющие использовать данные в частной учетной записи хранения. По возможности рекомендуется использовать частную рабочую область.
Основные рекомендации
Разрешение DNS ресурсов и приложений приватного канала в вычислительном экземпляре
Если у вас есть собственный DNS-сервер, размещенный в Azure или локальной среде, необходимо создать условный сервер пересылки на DNS-сервере. Условный сервер пересылки отправляет DNS-запросы в Azure DNS для всех служб PaaS с поддержкой приватного канала. Дополнительные сведения см. в сценариях конфигурации DNS и Машинное обучение Azure конкретных статьях конфигурации DNS.
Защита от кражи данных
У нас есть два типа исходящего трафика; только чтение и чтение и запись. Вредоносный субъект не может экспонировать только исходящий трафик, но может быть считывать и записывать исходящие данные. служба хранилища Azure и Azure Frontdoor (тег службы frontdoor.frontend) доступны для чтения и записи в нашем случае.
Этот риск кражи данных можно уменьшить с помощью решения для предотвращения кражи данных. Мы используем политику конечной точки службы с псевдонимом Машинное обучение Azure, чтобы разрешить исходящий трафик только Машинное обучение Azure управляемых учетных записей хранения. Вам не нужно открывать исходящий трафик к хранилищу в брандмауэре.
На этой схеме вычислительный экземпляр и кластер должны получить доступ к управляемым учетным записям хранения Машинное обучение Azure для получения скриптов настройки. Вместо открытия исходящего трафика к хранилищу можно использовать политику конечной точки службы с псевдонимом Машинное обучение Azure, чтобы разрешить доступ к хранилищу только для Машинное обучение Azure учетных записей хранения.
Управляемые сетевые конечные точки
Безопасность для входящих и исходящих подключений настраивается отдельно для управляемых сетевых конечных точек.
- Входящий обмен данными: Машинное обучение Azure использует частную конечную точку для защиты входящего трафика к управляемой сетевой конечной точке. Чтобы запретить общедоступный доступ к конечной точке, установите флаг public_network_access для отключенной конечной точки. Если этот флаг отключен, доступ к конечной точке можно получить только через частную конечную точку рабочей области Машинное обучение Azure, и ее невозможно получить из общедоступных сетей.
- Исходящее взаимодействие. Для защиты исходящего трафика от развертывания к ресурсам Машинное обучение Azure использует управляемую виртуальную сеть рабочей области. Развертывание необходимо создать в управляемой рабочей области виртуальной сети, чтобы она могли использовать частные конечные точки управляемой виртуальной сети рабочей области для исходящего взаимодействия.
На следующей схеме архитектуры показано, как обмен данными осуществляется через частные конечные точки к управляемой сетевой конечной точке. Входящие запросы оценки из виртуальной сети клиента передаются через частную конечную точку рабочей области к управляемой сетевой конечной точке. Исходящее взаимодействие между развертываниями и службами обрабатывается через частные конечные точки из управляемой виртуальной сети рабочей области в эти экземпляры служб.
Дополнительные сведения см. в разделе "Сетевая изоляция с управляемыми сетевыми конечными точками".
Нехватка частных IP-адресов в основной сети
Машинное обучение Azure требуются частные IP-адреса; один IP-адрес для каждого вычислительного экземпляра, узла вычислительного кластера и частной конечной точки. Вам также нужно много IP-адресов, если вы используете AKS. Сеть концентратора, подключенная к локальной сети, может не иметь достаточно большого частного IP-адреса. В этом сценарии можно использовать изолированные не одноранговые виртуальные сети для ресурсов Машинное обучение Azure.
На этой схеме основной виртуальной сети требуются IP-адреса для частных конечных точек. Виртуальные сети с концентраторами можно использовать для нескольких рабочих областей Машинное обучение Azure с большими адресными пространствами. Недостатком этой архитектуры является удвоение числа частных конечных точек.
Принудительное применение политики сети
Встроенные политики можно использовать, если вы хотите управлять параметрами сетевой изоляции с помощью самостоятельного создания рабочих областей и вычислительных ресурсов или создания настраиваемой политики для более подробных элементов управления. Дополнительные сведения о политиках см. в разделе Политика Azure контроля соответствия нормативным требованиям.
Связанный контент
Дополнительные сведения об использовании управляемой виртуальной сети см. в следующих статьях:
- Управляемая сетевая изоляция
- Использование частных конечных точек для доступа к рабочей области
- Использование пользовательских DNS-серверов
Дополнительные сведения об использовании пользовательской виртуальной сети см. в следующих статьях: