Azure 네트워크 보안을 사용하여 MLOps 솔루션 보호

2015년 Machine Learning 시스템의 숨겨진 기술 부채에서 처음 강조된 MLOps(Machine Learning DevOps)는 빠르게 성장하고 있습니다. MLOps 시장은 2025년까지 40억 달러에 이를 것으로 예상됩니다. 이런 가운데 MLOps 솔루션을 보호하기 위한 작업이 점점 더 중요해지고 있습니다.

이 문서에서는 Azure Virtual Network, 네트워크 피어링, Azure Private Link 및 Azure DNS와 같은 Azure 네트워크 보안 기능을 사용하여 MLOps 솔루션을 보호하는 방법을 설명합니다. 또한 다음을 사용하는 방법도 소개합니다.

• 가상 네트워크의 리소스에 액세스하는 Azure Pipelines
• 가상 네트워크의 Azure Container Registry 및 Azure Machine Learning 컴퓨팅 인스턴스 및 클러스터의 필수 구성

마지막으로 이 문서에서는 네트워크 보안 서비스 사용 비용을 설명합니다.

아키텍처

이 아키텍처의 Visio 파일을 다운로드합니다.

데이터 흐름

아키텍처 다이어그램은 샘플 MLOps 솔루션을 보여 줍니다.

• AML VNET이라는 가상 네트워크는 Azure Machine Learning 작업 영역 및 관련 리소스를 보호하는 데 도움이 됩니다.

• 점프 호스트, Azure Bastion 및 자체 호스팅 에이전트는 BASTION VNET이라는 다른 가상 네트워크에 속합니다. 이 배열은 Azure Machine Learning 가상 네트워크 내의 리소스에 액세스해야 하는 다른 솔루션을 시뮬레이션합니다.

• 가상 네트워크 피어링 및 프라이빗 DNS 영역의 지원을 통해 Azure Pipelines는 자체 호스트 에이전트에서 실행하고 Azure Machine Learning 작업 영역에 게시된 Azure Machine Learning 파이프라인을 트리거하여 기계 학습 모델을 학습, 평가 및 등록할 수 있습니다.

• 마지막으로 모델은 Azure Machine Learning 컴퓨팅 또는 Azure Kubernetes Service 클러스터에서 지원하는 온라인 엔드포인트 또는 일괄 처리 엔드포인트에 배포됩니다.

구성 요소

샘플 MLOps 솔루션은 다음 구성 요소로 구성됩니다.

• 데이터 스토리지: 데이터 스토리지에 대한 Azure Blob Storage.
• 모델 학습, 유효성 검사 및 등록: Azure Machine Learning 작업 영역
• 모델 배포: Azure Machine Learning 엔드포인트 및 Azure Kubernetes Service
• 모델 모니터: Application Insights용 Azure Monitor
• MLOps 파이프라인: Azure DevOps 및 Azure Pipelines

이 예제 시나리오에서는 다음 서비스를 사용하여 MLOps 솔루션을 보호합니다.

• Azure Key Vault
• Azure Policy
• Virtual Network

시나리오 정보

MLOps는 기계 학습, DevOps 및 데이터 엔지니어링의 교차점에서 기계 학습 모델을 안정적이고 효율적으로 배포하고 유지 관리하는 것을 목표로 하는 일련의 사례입니다.

다음 다이어그램에서는 간소화된 MLOps 프로세스 모델을 보여 줍니다. 이 모델은 데이터 준비, 모델 학습, 모델 평가, 모델 등록, 모델 배포 및 모니터링을 자동화하는 솔루션을 제공합니다.

MLOps 솔루션을 구현할 때 다음 리소스를 보호하는 데 도움이 될 수 있습니다.

• DevOps 파이프라인
• 기계 학습 학습 데이터
• 기계 학습 파이프라인
• 기계 학습 모델

리소스를 보호하려면 다음 방법을 고려합니다.

• 인증 및 권한 부여

  • 대화형 인증 대신 서비스 주체 또는 관리 ID를 사용합니다.
  • 역할 기반 액세스 제어를 사용하여 리소스에 대한 사용자의 액세스 범위를 정의합니다.

• 네트워크 보안

  • Virtual Network를 사용하여 공용 인터넷에서 환경을 부분적으로 또는 완전히 격리하여 공격 표면과 데이터 반출 가능성을 줄입니다.
    • Azure Machine Learning 작업 영역에서 Azure Machine Learning CLI v1 및 Azure Machine Learning Python SDK v1(예: v1 API)을 사용하는 경우 작업 영역에 프라이빗 엔드포인트를 추가하여 작업 영역 또는 컴퓨팅 리소스에 대한 만들기, 읽기, 업데이트 및 삭제(CRUD) 작업을 제외한 모든 항목에 대한 네트워크 격리를 제공합니다.
    • Azure Machine Learning 작업 영역의 새로운 기능을 활용하려면 작업 영역에서 프라이빗 엔드포인트를 사용하도록 설정해도 동일한 수준의 네트워크 격리를 제공하지 않는 Azure Machine Learning CLI v2 및 Azure Machine Learning Python SDK v2(예: v2 API)를 사용합니다. 그러나 가상 네트워크는 여전히 학습 데이터 및 기계 학습 모델을 보호하는 데 도움이 됩니다. 엔터프라이즈 솔루션에서 채택하기 전에 v2 API를 평가하는 것이 좋습니다. 더 자세한 내용은 ARM(Azure Resource Manager)의 새로운 API 플랫폼이란?을 참조하세요.

• 데이터 암호화.

  • 플랫폼 관리형 또는 고객 관리형 액세스 키를 사용하여 전송 중 및 미사용 학습 데이터를 암호화합니다.

• 정책 및 모니터링

  • Azure Policy 및 클라우드용 Microsoft Defender 사용하여 정책을 적용합니다.
  • Azure Monitor를 사용하여 다양한 원본에서 분석, 시각화 및 경고를 위한 공통 데이터 플랫폼으로 데이터(예: 메트릭 및 로그)를 수집하고 집계합니다.

Azure Machine Learning 작업 영역은 Azure Machine Learning의 최상위 리소스이자 MLOps 솔루션의 핵심 구성 요소입니다. 작업 영역은 Azure Machine Learning를 사용하는 경우 만드는 모든 아티팩트를 사용할 수 있는 중앙 집중식 위치를 제공합니다.

새 작업 영역을 만들면 작업 영역에서 사용되는 여러 Azure 리소스가 자동으로 생성됩니다.

• Azure Application Insights
• Azure Container Registry
• Azure Key Vault
• Azure Storage 계정

잠재적인 사용 사례

이 솔루션은 고객이 MLOps 솔루션을 사용하여 보다 안전한 환경에서 기계 학습 모델을 배포하고 유지 관리하는 시나리오에 적합합니다. 고객은 제조, 통신, 소매, 의료 등 다양한 산업에서 올 수 있습니다. 예를 들면 다음과 같습니다.

• 통신 사업자는 소매점용 비디오 모니터링 시스템에서 고객의 사진, 데이터 및 기계 학습 모델을 보호할 수 있습니다.

• 엔진 제조업체는 컴퓨터 비전을 사용하여 부품의 결함을 감지하는 시스템에 대한 공장 및 제품의 데이터 및 기계 학습 모델을 보호하는 데 도움이 되는 보다 안전한 솔루션이 필요합니다.

이러한 시나리오 및 기타 시나리오에 대한 MLOps 솔루션은 Azure Machine Learning 작업 영역, Azure Blob Storage, Azure Kubernetes Service, Container Registry 및 기타 Azure 서비스를 사용할 수 있습니다.

Azure에 배포되고 Azure 보안 기능을 사용하여 관련 리소스를 보호하는 MLOps 환경이 있는 유사한 시나리오에 이 예제의 전부 또는 일부를 사용할 수 있습니다. 이 솔루션의 원래 고객은 통신 업계에 있습니다.

고려 사항

이러한 고려 사항은 적용 시 워크로드의 품질을 향상시키는 지침 원칙 집합인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Microsoft Azure Well-Architected Framework를 참조하세요.

보안

보안은 중요한 데이터 및 시스템에 대한 고의적인 공격과 악용을 방어합니다. 자세한 내용은 보안성에 대한 디자인 검토 검사 목록을 참조하세요.

아키텍처 디자인부터 시작하여 MLOps 솔루션을 보호하는 방법을 고려합니다. 개발 환경에는 상당한 보안이 필요하지 않을 수 있지만 스테이징 및 프로덕션 환경에서는 중요합니다.

비용 최적화

비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 높이는 방법을 찾는 것입니다. 자세한 내용은 비용 최적화를 위한 디자인 검토 검사 목록을 참조하세요.

Virtual Network 구성에는 비용이 들지 않지만 프라이빗 링크, DNS 영역 및 가상 네트워크 피어링과 같이 시나리오에 필요할 수 있는 기타 서비스에 대한 요금은 부과됩니다. 다음 표에서는 이러한 서비스 및 필요할 수 있는 기타 서비스에 대한 요금을 설명합니다.

운영 효율성

운영 우수성은 애플리케이션을 배포하고 프로덕션에서 계속 실행하는 운영 프로세스를 다룹니다. 자세한 내용은 Operational Excellence에 대한 디자인 검토 검사 목록을 참조하세요.

CI/CD(연속 통합 및 지속적인 업데이트)를 간소화하기 위해 Terraform 또는 Azure Resource Manager 템플릿, Azure DevOps 및 Azure Pipelines와 같은 IaC(Infrastructure as Code)에 도구와 서비스를 사용하는 것이 가장 좋습니다.

시나리오 배포

다음 섹션에서는 이 예제 시나리오에서 리소스를 배포, 액세스 및 보호하는 방법을 설명합니다.

Virtual Network

MLOps 환경을 보호하는 데 도움이 되는 첫 번째 단계는 Azure Machine Learning 작업 영역 및 관련 리소스를 보호하는 것입니다. 효과적인 보호 방법은 Virtual Network를 사용하는 것입니다. Virtual Network는 Azure에서 프라이빗 네트워크의 기본 구성 요소입니다. Virtual Network를 사용하면 여러 유형의 Azure 리소스가 서로 간에는 물론, 인터넷 및 온-프레미스 네트워크와도 안전하게 통신할 수 있습니다.

Azure Machine Learning 작업 영역 및 관련 리소스를 가상 네트워크에 배치하면 구성 요소가 공용 인터넷에 노출되지 않고도 서로 통신할 수 있습니다. 이를 통해 공격 표면이 줄어들고 데이터 반출을 방지할 수 있습니다.

다음 Terraform 코드 조각은 Azure Machine Learning용 컴퓨팅 클러스터를 만들고, 작업 영역에 연결하고, 가상 네트워크의 서브넷에 배치하는 방법을 보여 줍니다.

resource "azurerm_machine_learning_compute_cluster" "compute_cluster" {
  name                          = "my_compute_cluster"
  location                      = "eastasia"
  vm_priority                   = "LowPriority"
  vm_size                       = "Standard_NC6s_v3"
  machine_learning_workspace_id = azurerm_machine_learning_workspace.my_workspace.id
  subnet_resource_id            = azurerm_subnet.compute_subnet.id
  ssh_public_access_enabled     = false
  scale_settings {
    min_node_count                       = 0
    max_node_count                       = 3
    scale_down_nodes_after_idle_duration = "PT30S"
  }
  identity {
    type = "SystemAssigned"
  }
}

Private Link 및 Azure 프라이빗 엔드포인트

Private Link는 가상 네트워크의 프라이빗 엔드포인트를 통해 Azure Machine Learning 작업 영역 및 Azure Storage와 같은 Azure PaaS(Platform as a Service) 옵션과 Azure 호스팅 고객 소유 및 파트너 소유 서비스에 액세스할 수 있습니다. 프라이빗 엔드포인트는 특정 리소스에만 연결하는 네트워크 인터페이스이므로 데이터 반출로부터 보호할 수 있습니다.

이 예제 시나리오에서는 아키텍처 다이어그램과 같이 Azure PaaS 옵션에 연결되고 Azure Machine Learning 가상 네트워크의 서브넷에서 관리하는 네 개의 프라이빗 엔드포인트가 있습니다. 따라서 이러한 서비스는 동일한 가상 네트워크인 Azure Machine Learning 가상 네트워크 내의 리소스에만 액세스할 수 있습니다. 해당 서비스는 다음과 같습니다.

• Azure Machine Learning 작업 영역
• Azure Blob Storage
• Azure Container Registry
• Azure Key Vault

다음 Terraform 코드 조각은 프라이빗 엔드포인트를 사용하여 가상 네트워크에 의해 보다 잘 보호되는 Azure Machine Learning 작업 영역에 연결하는 방법을 보여 줍니다. 이 코드 조각은 Azure 프라이빗 DNS 영역에 설명된 프라이빗 DNS 영역의 사용도 보여 줍니다.

resource "azurerm_machine_learning_workspace" "aml_ws" {
  name                    = "my_aml_workspace"
  friendly_name           = "my_aml_workspace"
  location                = "eastasia"
  resource_group_name     = "my_resource_group"
  application_insights_id = azurerm_application_insights.my_ai.id
  key_vault_id            = azurerm_key_vault.my_kv.id
  storage_account_id      = azurerm_storage_account.my_sa.id
  container_registry_id   = azurerm_container_registry.my_acr_aml.id

  identity {
    type = "SystemAssigned"
  }
}

# Configure private DNS zones

resource "azurerm_private_dns_zone" "ws_zone_api" {
  name                = "privatelink.api.azureml.ms"
  resource_group_name = var.RESOURCE_GROUP
}

resource "azurerm_private_dns_zone" "ws_zone_notebooks" {
  name                = "privatelink.notebooks.azure.net"
  resource_group_name = var.RESOURCE_GROUP
}

# Link DNS zones to the virtual network

resource "azurerm_private_dns_zone_virtual_network_link" "ws_zone_api_link" {
  name                  = "ws_zone_link_api"
  resource_group_name   = "my_resource_group"
  private_dns_zone_name = azurerm_private_dns_zone.ws_zone_api.name
  virtual_network_id    = azurerm_virtual_network.aml_vnet.id
}

resource "azurerm_private_dns_zone_virtual_network_link" "ws_zone_notebooks_link" {
  name                  = "ws_zone_link_notebooks"
  resource_group_name   = "my_resource_group"
  private_dns_zone_name = azurerm_private_dns_zone.ws_zone_notebooks.name
  virtual_network_id    = azurerm_virtual_network.aml_vnet.id
}

# Configure private endpoints

resource "azurerm_private_endpoint" "ws_pe" {
  name                = "my_aml_ws_pe"
  location            = "eastasia"
  resource_group_name = "my_resource_group"
  subnet_id           = azurerm_subnet.my_subnet.id

  private_service_connection {
    name                           = "my_aml_ws_psc"
    private_connection_resource_id = azurerm_machine_learning_workspace.aml_ws.id
    subresource_names              = ["amlworkspace"]
    is_manual_connection           = false
  }

  private_dns_zone_group {
    name                 = "private-dns-zone-group-ws"
    private_dns_zone_ids = [azurerm_private_dns_zone.ws_zone_api.id, azurerm_private_dns_zone.ws_zone_notebooks.id]
  }

  # Add the private link after configuring the workspace
  depends_on = [azurerm_machine_learning_compute_instance.compute_instance, azurerm_machine_learning_compute_cluster.compute_cluster]
}

위의 azurerm_machine_learning_workspace 코드는 기본적으로 v2 API 플랫폼을 사용합니다. v1 API를 계속 사용하거나 공용 네트워크를 통한 통신 전송을 금지하는 회사 정책을 사용하려는 경우 다음 코드 조각과 같이 v1_legacy_mode_enabled 매개 변수를 사용하도록 설정할 수 있습니다. 사용하도록 설정하면 이 매개 변수는 작업 영역에 대한 v2 API를 사용하지 않도록 설정합니다.

resource "azurerm_machine_learning_workspace" "aml_ws" {
  ...
  public_network_access_enabled = false
  v1_legacy_mode_enabled  = true
}

Azure 프라이빗 DNS 영역

Azure DNS는 사용자 지정 DNS 솔루션을 추가하지 않고도 가상 네트워크의 도메인 이름을 관리하고 확인할 수 있는 안정적이고 신뢰할 수 있는 DNS 서비스를 제공합니다. 프라이빗 DNS 영역을 사용하면 현재 Azure에서 제공하는 이름 대신 사용자 지정 도메인 이름을 사용할 수 있습니다. 프라이빗 DNS 영역에 대한 DNS 확인은 연결된 가상 네트워크에서만 작동합니다.

이 샘플 솔루션은 Azure Machine Learning 작업 영역 및 Azure Storage, Azure Key Vault 또는 Container Registry와 같은 관련 리소스에 프라이빗 엔드포인트를 사용합니다. 따라서 연결 문자열의 FQDN(정규화된 도메인 이름)에서 프라이빗 엔드포인트의 IP 주소를 확인하도록 DNS 설정을 구성해야 합니다.

프라이빗 DNS 영역을 가상 네트워크에 연결하여 특정 도메인을 확인할 수 있습니다.

Private Link 및 Azure 프라이빗 엔드포인트의 Terraform 코드 조각은 Azure 서비스 DNS 영역 구성에서 권장되는 영역 이름을 사용하여 두 개의 프라이빗 DNS 영역을 만듭니다.

• privatelink.api.azureml.ms
• privatelink.notebooks.azure.net

가상 네트워크 피어링

가상 네트워크 피어링을 사용하면 Azure Bastion 가상 네트워크의 점프 호스트 VM(가상 머신) 또는 자체 호스팅 에이전트 VM을 Azure Machine Learning 가상 네트워크의 리소스에 액세스할 수 있습니다. 연결을 위해 두 가상 네트워크는 하나로 작동합니다. 피어링된 가상 네트워크의 VM과 Azure Machine Learning 리소스 간의 트래픽은 Microsoft 백본 인프라를 사용합니다. 가상 네트워크 간의 트래픽은 Azure의 프라이빗 네트워크를 통해 라우팅됩니다.

다음 Terraform 코드 조각은 Azure Machine Learning 가상 네트워크와 Azure Bastion 가상 네트워크 간에 가상 네트워크 피어링을 설정합니다.

# Virtual network peering for AML VNET and BASTION VNET
resource "azurerm_virtual_network_peering" "vp_amlvnet_basvnet" {
  name                      = "vp_amlvnet_basvnet"
  resource_group_name       = "my_resource_group"
  virtual_network_name      = azurerm_virtual_network.amlvnet.name
  remote_virtual_network_id = azurerm_virtual_network.basvnet.id
  allow_virtual_network_access = true
  allow_forwarded_traffic      = true
}

resource "azurerm_virtual_network_peering" "vp_basvnet_amlvnet" {
  name                      = "vp_basvnet_amlvnet"
  resource_group_name       = "my_resource_group"
  virtual_network_name      = azurerm_virtual_network.basvnet.name
  remote_virtual_network_id = azurerm_virtual_network.amlvnet.id
  allow_virtual_network_access = true
  allow_forwarded_traffic      = true
}

가상 네트워크의 리소스에 액세스

이 시나리오에서 Azure Machine Learning 가상 네트워크와 같은 가상 네트워크의 Azure Machine Learning 작업 영역에 액세스하려면 다음 방법 중 하나를 사용합니다.

• Azure VPN Gateway
• Azure ExpressRoute
• Azure Bastion 및 점프 호스트 VM

자세한 내용은 작업 영역에 연결을 참조하세요.

가상 네트워크의 리소스에 액세스하는 Azure Pipelines 실행

Azure Pipelines는 코드 프로젝트를 자동으로 빌드하고 테스트하여 다른 사용자가 사용할 수 있도록 합니다. Azure Pipelines는 CI/CD를 통합하여 코드를 테스트 및 빌드하고 어떤 대상에든 제공합니다.

Azure 호스팅 에이전트 대 자체 호스팅 에이전트

이 예제 시나리오의 MLOps 솔루션은 Azure Machine Learning 파이프라인을 트리거하고 관련 리소스에 액세스할 수 있는 두 개의 파이프라인으로 구성됩니다. Azure Machine Learning 작업 영역 및 관련 리소스가 가상 네트워크에 있으므로 이 시나리오는 Azure Pipelines 에이전트가 액세스할 수 있는 방법을 제공해야 합니다. 에이전트는 Azure Pipelines의 작업을 한 번에 하나씩 실행하는 설치된 에이전트 소프트웨어를 사용하여 인프라를 컴퓨팅하고 있습니다. 액세스를 구현하는 방법에는 여러 가지가 있습니다.

• 아키텍처 다이어그램과 같이 동일한 가상 네트워크 또는 피어링 가상 네트워크에서 자체 호스팅 에이전트를 사용합니다.

• Azure 호스팅 에이전트를 사용하고 대상 Azure 서비스의 방화벽 설정에서 허용 목록에 해당 IP 주소 범위를 추가합니다.

• Azure 호스팅 에이전트(VPN 클라이언트 역할) 및 VPN Gateway를 사용합니다.

이러한 각 선택 항목에는 장단점이 있습니다. 다음 표에서는 Azure 호스팅 에이전트와 자체 호스팅 에이전트를 비교합니다.

해당 표의 비교와 보안 및 복잡성의 고려 사항에 따라 이 예제 시나리오에서는 Azure Pipelines에 대한 자체 호스팅 에이전트를 사용하여 가상 네트워크에서 Azure Machine Learning 파이프라인을 트리거합니다.

자체 호스팅 에이전트를 구성하는 데에는 다음 옵션이 있습니다.

• Azure Virtual Machines에 에이전트를 설치합니다.

• 수요를 충족하기 위해 자동으로 크기가 조정될 수 있는 Azure Virtual Machine Scale Set에 에이전트를 설치합니다.

• Docker 컨테이너에 에이전트를 설치합니다. 이 시나리오에서는 기계 학습 모델 학습을 위해 에이전트 내에서 Docker 컨테이너를 실행해야 할 수 있으므로 이 옵션은 불가능합니다.

다음 샘플 코드는 Azure VM 및 확장을 만들어 두 개의 자체 호스팅 에이전트를 프로비전합니다.

resource "azurerm_linux_virtual_machine" "agent" {
  ...
}

resource "azurerm_virtual_machine_extension" "update-vm" {
  count                = 2
  name                 = "update-vm${format("%02d", count.index)}"
  publisher            = "Microsoft.Azure.Extensions"
  type                 = "CustomScript"
  type_handler_version = "2.1"
  virtual_machine_id   = element(azurerm_linux_virtual_machine.agent.*.id, count.index)

  settings = <<SETTINGS
    {
        "script": "${base64encode(templatefile("../scripts/terraform/agent_init.sh", {
          AGENT_USERNAME      = "${var.AGENT_USERNAME}",
          ADO_PAT             = "${var.ADO_PAT}",
          ADO_ORG_SERVICE_URL = "${var.ADO_ORG_SERVICE_URL}",
          AGENT_POOL          = "${var.AGENT_POOL}"
        }))}"
    }
SETTINGS
}

앞의 코드 블록에 표시된 것처럼 Terraform 스크립트는 다음 코드 블록에 표시된 agent_init.sh를 호출하여 고객의 요구 사항에 따라 에이전트 VM에 에이전트 소프트웨어 및 필수 라이브러리를 설치합니다.

#!/bin/sh
# Install other required libraries 
...

# Creates directory and downloads Azure DevOps agent installation files
# Find more agent versions at https://github.com/microsoft/azure-pipelines-agent/releases
AGENT_VERSION="3.240.1"
sudo mkdir /myagent 
cd /myagent
sudo wget https://vstsagentpackage.azureedge.net/agent/${AGENT_VERSION}/vsts-agent-linux-x64-${AGENT_VERSION}.tar.gz
sudo tar zxvf ./vsts-agent-linux-x64-${AGENT_VERSION}.tar.gz
sudo chmod -R 777 /myagent

# Unattended installation
sudo runuser -l ${AGENT_USERNAME} -c '/myagent/config.sh --unattended  --url ${ADO_ORG_SERVICE_URL} --auth pat --token ${ADO_PAT} --pool ${AGENT_POOL}'

cd /myagent
#Configure as a service
sudo ./svc.sh install ${AGENT_USERNAME}
#Start service
sudo ./svc.sh start

가상 네트워크에서 Container Registry 사용

가상 네트워크에서 Azure Machine Learning 작업 영역을 보호하기 위한 몇 가지 필수 구성 요소가 있습니다. 자세한 내용은 필수 구성 요소를 참조하세요. Container Registry는 Azure Machine Learning 작업 영역을 사용하여 모델을 학습시키고 배포하는 데 필요한 서비스입니다.

이 예제 시나리오에서는 자체 호스팅 에이전트가 가상 네트워크의 컨테이너 레지스트리에 액세스할 수 있도록 가상 네트워크 피어링을 사용하고 가상 네트워크 링크를 추가하여 프라이빗 DNS 영역, privatelink.azurecr.io을 Azure Bastion Virtual에 연결합니다. 다음 Terraform 코드 조각은 구현을 보여 줍니다.

# Azure Machine Learning Container Registry is for private access 
# by the Azure Machine Learning workspace
resource "azurerm_container_registry" "acr" {
  name                     = "my_acr"
  resource_group_name      = "my_resource_group"
  location                 = "eastasia"
  sku                      = "Premium"
  admin_enabled            = true
  public_network_access_enabled = false
}

resource "azurerm_private_dns_zone" "acr_zone" {
  name                     = "privatelink.azurecr.io"
  resource_group_name      = "my_resource_group"
}

resource "azurerm_private_dns_zone_virtual_network_link" "acr_zone_link" {
  name                  = "link_acr"
  resource_group_name   = "my_resource_group"
  private_dns_zone_name = azurerm_private_dns_zone.acr_zone.name
  virtual_network_id    = azurerm_virtual_network.amlvnet.id
}

resource "azurerm_private_endpoint" "acr_ep" {
  name                = "acr_pe"
  resource_group_name = "my_resource_group"
  location            = "eastasia"
  subnet_id           = azurerm_subnet.aml_subnet.id

  private_service_connection {
    name                           = "acr_psc"
    private_connection_resource_id = azurerm_container_registry.acr.id
    subresource_names              = ["registry"]
    is_manual_connection           = false
  }

  private_dns_zone_group {
    name                 = "private-dns-zone-group-app-acr"
    private_dns_zone_ids = [azurerm_private_dns_zone.acr_zone.id]
  }
}

이 예제 시나리오에서는 컨테이너 레지스트리가 Azure Machine Learning 작업 영역의 시스템이 할당한 관리 ID에 대한 기여자 역할을 하도록 합니다.

가상 네트워크에서 컴퓨팅 클러스터 또는 인스턴스 사용

가상 네트워크의 Azure Machine Learning 컴퓨팅 클러스터 또는 인스턴스에는 서브넷에 대한 몇 가지 특정 규칙이 있는 NSG(네트워크 보안 그룹)가 필요합니다. 이러한 규칙 목록은 제한 사항을 참조하세요.

또한 컴퓨팅 클러스터 또는 인스턴스의 경우 이제 공용 IP 주소를 제거할 수 있으므로 MLOps 솔루션에서 컴퓨팅 리소스를 보다 잘 보호할 수 있습니다. 자세한 내용은 컴퓨팅 인스턴스에 대한 공용 IP 없음을 참조하세요.

참가자

Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.

주요 작성자:

• Gary Wang | 수석 소프트웨어 엔지니어

기타 기여자:

• Gary Moore | 프로그래머/작가

비공개 LinkedIn 프로필을 보려면 LinkedIn에 로그인하세요.

다음 단계

• Azure의 Terraform 설명서
• Azure Machine Learning Enterprise Terraform 예제
• Azure MLOps v2 GitHub 리포지토리
• Azure Virtual Network 가격 책정
• Azure DevOps 가격 책정

관련 참고 자료

• 가상 네트워크를 사용하여 Azure Machine Learning 작업 영역 보호
• Azure Pipelines 에이전트