네트워킹
이 문서에서는 Azure Databricks 계정 및 작업 영역의 배포 및 관리를 위한 네트워킹 구성을 소개합니다.
Important
Databricks는 2024년 12월 4일부터 외부 리소스에 연결하는 서버리스 워크로드에 대한 네트워킹 비용을 청구하기 시작합니다. 청구는 점진적으로 구현되며, 2024년 12월 4일 이후에는 요금이 청구되지 않을 수 있습니다. 청구를 사용하도록 설정하기 전에 사용량에 대해 소급 청구되지 않습니다. 청구를 사용하도록 설정한 후에는 다음 요금이 청구될 수 있습니다.
- Private Link를 통해 리소스에 대한 프라이빗 연결. Private Link를 통한 리소스에 대한 프라이빗 연결에 대한 데이터 처리 요금은 무기한 면제됩니다. 시간당 요금이 적용됩니다.
- NAT 게이트웨이를 통해 리소스에 대한 공용 연결입니다.
- 서버리스 컴퓨팅 및 대상 리소스가 다른 지역에 있는 경우와 같이 발생하는 데이터 전송 요금입니다.
Azure Databricks 아키텍처 개요
Azure Databricks는 컨트롤 플레인 및 컴퓨팅 플레인에서 작동합니다.
- 컨트롤 플레인에는 Azure Databricks가 Azure Databricks 계정에서 관리하는 백 엔드 서비스가 포함됩니다. 컨트롤 플레인 웹 애플리케이션
- 컴퓨팅 평면은 데이터가 처리되는 위치를 말합니다. 사용 중인 컴퓨팅에 따라 두 가지 유형의 컴퓨팅 평면이 있습니다.
- 클래식 Azure Databricks 컴퓨팅의 경우에는 컴퓨팅 리소스는 클래식 컴퓨팅 플레인이라고 하는 계정 안에 있습니다. 이는 Azure 구독의 네트워크 및 해당 리소스를 나타냅니다. 클래식 컴퓨팅 계획 리소스는 작업 영역이 있는 지역에 있습니다.
- 서버리스 컴퓨팅에는, 서버리스 컴퓨팅 리소스가 Azure Databricks 계정의 서버리스 컴퓨터팅 플레인에서 실행되게 됩니다. 서버리스 컴퓨팅 계획 리소스는 작업 영역의 클래식 컴퓨팅 평면과 동일한 클라우드 지역에 있습니다. 작업 영역을 만들 지역을 선택합니다.
클래식 컴퓨팅 및 서버리스 컴퓨팅에 대한 자세한 내용은 컴퓨팅 유형을 참조하세요. 추가 아키텍처 정보는 Azure Databricks 아키텍처 개요를 참조하세요.
보안 네트웤 연결
Azure Databricks는 기본적으로 보안 네트워킹 환경을 제공하지만 조직에 추가 요구 사항이 있는 경우 아래 다이어그램에 표시된 다양한 네트워킹 연결 간에 네트워크 연결 기능을 구성할 수 있습니다.
- Azure Databricks에 대한 사용자 및 애플리케이션: 액세스를 제어하고 사용자와 해당 Azure Databricks 작업 영역 간에 프라이빗 연결을 제공하도록 기능을 구성할 수 있습니다. 사용자와 Azure 데이터브릭스 네트워킹을 참조하세요.
- 컨트롤 플레인 및 클래식 컴퓨팅 평면: 클러스터와 같은 클래식 컴퓨팅 리소스가 배포되어 Azure 구독에 있으며 컨트롤 플레인에 연결됩니다. 클래식 네트워크 연결 기능을 사용하여 고유한 가상 네트워크에 클래식 컴퓨팅 평면 리소스를 배포하고 클러스터에서 컨트롤 플레인으로 프라이빗 연결을 사용하도록 설정할 수 있습니다. 클래식 컴퓨팅 플레인 네트워킹을 참조하세요.
- 서버리스 컴퓨팅 평면 및 스토리지: 서버리스 컴퓨팅에서 스토리지로 프라이빗 및 전용 연결을 구성할 수 있습니다. 서버리스 컴퓨팅 평면 네트워킹을 참조하세요.
프라이빗 엔드포인트와 같은 Azure Storage 네트워킹 기능을 구성하여 클래식 컴퓨팅 평면과 Azure 리소스 간의 연결을 보호할 수 있습니다. Lakehouse Federation에 대한 Azure Data Lake Storage Gen2 및 네트워킹 권장 사항에 대한 Azure Databricks 작업 영역 액세스 권한 부여를 참조하세요.
작업 영역 스토리지 계정에 대한 방화벽 지원을 사용하도록 설정하여 권한 있는 네트워크 및 연결에서 계정에 대한 액세스를 제한할 수도 있습니다. 작업 영역 스토리지 계정에 대한 방화벽 지원 사용을 참조하세요.
제어 평면과 서버리스 컴퓨팅 평면 간의 연결은 항상 공용 인터넷이 아닌 Azure 네트워크 백본을 통해 이루어집니다.