서버리스 컴퓨팅에서 비공개 연결 구성하기

이 문서에서는 Azure Databricks 계정 콘솔 UI를 사용하여 서버리스 컴퓨팅에서 프라이빗 연결을 구성하는 방법을 설명합니다. 네트워크 연결 구성 API를 사용할 수도 있습니다.

프라이빗 엔드포인트의 연결만 허용하도록 Azure 리소스를 구성하는 경우 클래식 Databricks 컴퓨팅 리소스의 리소스에 대한 모든 연결도 프라이빗 엔드포인트를 사용해야 합니다.

서브넷을 사용하여 서버리스 컴퓨팅 액세스를 위해 Azure Storage 방화벽을 구성하려면 서버리스 컴퓨팅 액세스에 대한 방화벽 구성을 참조하세요. 기존 프라이빗 엔드포인트 규칙을 관리하려면 프라이빗 엔드포인트 규칙 관리를 참조 하세요.

Important

Databricks는 2024년 12월 4일부터 외부 리소스에 연결하는 서버리스 워크로드에 대한 네트워킹 비용을 청구하기 시작합니다. 청구는 점진적으로 구현되며, 2024년 12월 4일 이후에는 요금이 청구되지 않을 수 있습니다. 청구를 사용하도록 설정하기 전에 사용량에 대해 소급 청구되지 않습니다. 청구를 사용하도록 설정한 후에는 다음 요금이 청구될 수 있습니다.

• Private Link를 통해 리소스에 대한 프라이빗 연결. Private Link를 통한 리소스에 대한 프라이빗 연결에 대한 데이터 처리 요금은 무기한 면제됩니다. 시간당 요금이 적용됩니다.
• NAT 게이트웨이를 통해 리소스에 대한 공용 연결입니다.
• 서버리스 컴퓨팅 및 대상 리소스가 다른 지역에 있는 경우와 같이 발생하는 데이터 전송 요금입니다.

서버리스 컴퓨팅에 대한 프라이빗 연결 개요

서버리스 네트워크 연결은 NCC(네트워크 연결 구성)로 관리됩니다. 계정 관리자는 계정 콘솔에서 NCC를 만들고 NCC를 하나 이상의 작업 영역에 연결할 수 있습니다.

NCC에 프라이빗 엔드포인트를 추가하면 Azure Databricks는 Azure 리소스에 대한 프라이빗 엔드포인트 요청을 만듭니다. 리소스 쪽에서 요청이 수락되면 프라이빗 엔드포인트를 사용하여 서버리스 컴퓨팅 평면에서 리소스에 액세스합니다. 프라이빗 엔드포인트는 Azure Databricks 계정 전용이며 권한 있는 작업 영역에서만 액세스할 수 있습니다.

NCC 프라이빗 엔드포인트는 SQL 웨어하우스, 작업, Notebook, 델타 라이브 테이블 및 엔드포인트를 제공하는 모델에서 지원됩니다.

참고 항목

NCC 프라이빗 엔드포인트는 관리하는 데이터 원본에 대해서만 지원됩니다. 작업 영역 스토리지 계정에 연결하려면 Azure Databricks 계정 팀에 문의하세요.

참고 항목

모델 제공은 Azure Blob Storage 경로를 사용하여 모델 아티팩트를 다운로드하므로 하위 리소스 ID Blob에 대한 프라이빗 엔드포인트를 만듭니다. 서버리스 Notebook에서 Unity 카탈로그의 모델을 기록하려면 DFS가 필요합니다.

NCC에 대한 자세한 내용은 NCC(네트워크 연결 구성)란?을 참조하세요.

요구 사항

• 작업 영역은 프리미엄 플랜에 있어야 합니다.
• Azure Databricks 계정 관리자여야 합니다.
• 각 Azure Databricks 계정에는 지역당 최대 10개의 NCC가 있을 수 있습니다.
• 각 지역에는 필요에 따라 1~10개의 NCC에 분산된 100개의 프라이빗 엔드포인트가 있을 수 있습니다.
• 각 NCC는 최대 50개의 작업 영역에 연결할 수 있습니다.

1단계: 네트워크 연결 구성 만들기

Databricks는 동일한 사업부 내의 작업 영역과 동일한 지역 연결 속성을 공유하는 작업 영역 간에 NCC를 공유하는 것이 좋습니다. 예를 들어 일부 작업 영역에서 Private Link를 사용하고 다른 작업 영역에서 방화벽 사용 기능을 사용하는 경우 해당 사용 사례에 대해 별도의 NCC를 사용합니다.

1. 계정 관리자로서 계정 콘솔로 이동합니다.
2. 사이드바에서 클라우드 리소스를 클릭합니다.
3. 네트워크 연결 구성을 클릭합니다.
4. 네트워크 연결 구성 추가를 클릭합니다.
5. NCC의 이름을 입력합니다.
6. 지역을 선택합니다. 이는 작업 영역 지역과 일치해야 합니다.
7. 추가를 클릭합니다.

2단계: 작업 영역에 NCC 연결

1. 계정 콘솔 사이드바에서 작업 영역을 클릭합니다.
2. 작업 영역의 이름을 클릭합니다.
3. 작업 영역 업데이트를 클릭합니다.
4. 네트워크 연결 구성 필드에서 NCC를 선택합니다. 표시되지 않는 경우 작업 영역과 NCC 모두에 대해 동일한 Azure 지역을 선택했는지 확인합니다.
5. 업데이트를 클릭합니다.
6. 변경 내용이 적용될 때까지 10분 정도 기다립니다.
7. 작업 영역에서 실행 중인 서버리스 서비스를 다시 시작합니다.

3단계: 프라이빗 엔드포인트 규칙 만들기

각 Azure 리소스에 대한 프라이빗 엔드포인트 규칙을 NCC에 만들어야 합니다.

1. 모든 대상에 대한 Azure 리소스 ID 목록을 가져옵니다.
   1. 다른 브라우저 탭에서 Azure Portal을 사용하여 데이터 원본의 Azure 서비스로 이동합니다.
   2. 개요 페이지에서 Essentials 섹션을 살펴봅니다.
   3. JSON 보기 링크를 클릭합니다. 서비스의 리소스 ID가 페이지 맨 위에 표시됩니다.
   4. 해당 리소스 ID를 다른 위치에 복사합니다. 모든 대상에 대해 반복합니다. 리소스 ID를 찾는 방법에 대한 자세한 내용은 Azure 프라이빗 엔드포인트 프라이빗 DNS 영역 값을 참조 하세요.
2. 계정 콘솔 브라우저 탭으로 다시 전환합니다.
3. 사이드바에서 클라우드 리소스를 클릭합니다.
4. 네트워크 연결 구성을 클릭합니다.
5. 1단계에서 만든 NCC를 선택합니다.
6. 프라이빗 엔드포인트 규칙에서 프라이빗 엔드포인트 규칙 추가를 클릭합니다.
7. 대상 Azure 리소스 ID 필드에 리소스의 리소스 ID를 붙여넣습니다.
8. Azure 하위 리소스 ID 필드에서 대상 ID 및 하위 리소스 유형을 지정합니다. 각 프라이빗 엔드포인트 규칙은 다른 하위 리소스 ID를 사용해야 합니다. 지원되는 하위 리소스 유형 목록은 Azure Private Link 가용성을 참조 하세요.
9. 추가를 클릭합니다.
10. 모든 엔드포인트 규칙의 상태가 PENDING될 때까지 몇 분 정도 기다립니다.

4단계: 리소스에 대한 새 프라이빗 엔드포인트 승인

엔드포인트는 리소스에 대한 권한이 있는 관리자가 새 프라이빗 엔드포인트를 승인할 때까지 적용되지 않습니다. Azure Portal을 사용하여 프라이빗 엔드포인트를 승인하려면 다음을 수행합니다.

1. Azure Portal에서 리소스로 이동합니다.

2. 사이드바에서 네트워킹을 클릭합니다.

3. 프라이빗 엔드포인트 연결을 클릭합니다.

4. 개인 액세스 탭을 클릭합니다.

5. 프라이빗 엔드포인트 연결에서 프라이빗 엔드포인트 목록을 검토합니다.

6. 승인할 각 확인란 옆의 확인란을 클릭하고 목록 위의 승인 단추를 클릭합니다.

7. Azure Databricks에서 NCC로 돌아가서 모든 엔드포인트 규칙의 상태가 ESTABLISHED될 때까지 브라우저 페이지를 새로 고칩니다.

   

(선택 사항) 5단계: 공용 네트워크 액세스를 허용하지 않도록 스토리지 계정 설정

Azure Storage 계정에 대한 액세스를 허용 목록에 있는 네트워크로 제한하지 않은 경우 이 작업을 수행하도록 선택할 수 있습니다.

1. Azure Portal로 이동합니다.
2. 데이터 원본에 대한 스토리지 계정으로 이동합니다.
3. 사이드바에서 네트워킹을 클릭합니다.
4. 공용 네트워크 액세스 필드에서 값을 확인합니다. 기본적으로 이 값은 모든 네트워크에서 사용하도록 설정됩니다. 이를 사용 안 함으로 변경

6단계: 서버리스 컴퓨팅 평면 리소스 다시 시작 및 연결 테스트

1. 이전 단계가 끝나면 변경 내용이 전파되기까지 5분 정도 더 기다립니다.
2. NCC가 연결된 작업 영역에서 실행 중인 서버리스 컴퓨팅 평면 리소스를 다시 시작합니다. 실행 중인 서버리스 컴퓨팅 평면 리소스가 없는 경우 지금 시작합니다.
3. 모든 리소스가 성공적으로 시작되는지 확인합니다.
4. 데이터 원본에서 하나 이상의 쿼리를 실행하여 서버리스 SQL 웨어하우스가 데이터 원본에 연결할 수 있음을 확인합니다.