Azure Databricks Clean Rooms란?
이 문서에서는 델타 공유 및 서버리스 컴퓨팅을 사용하여 서로의 데이터에 직접 액세스하지 않고도 여러 당사자가 중요한 엔터프라이즈 데이터에 대해 함께 작업할 수 있는 안전하고 개인 정보 보호 환경을 제공하는 Azure Databricks 기능인 Clean Rooms를 소개합니다.
요구 사항
클린룸을 사용할 수 있도록 하려면 다음이 있어야 합니다.
- 서버리스 컴퓨팅에 사용할 수 있는 계정입니다. 서버리스 컴퓨팅 사용을 참조하세요.
- Unity 카탈로그에 사용할 수 있는 작업 영역입니다. Unity 카탈로그 을 위한 작업 영역 활성화을 참조하세요.
- Unity 카탈로그 메타스토어에 대해 델타 공유를 사용하도록 설정했습니다. 메타스토어 에서 델타 공유를 활성화하려면을(를) 참조하세요.
클린룸은 어떻게 작동하나요?
클린룸을 만들 때 다음을 만듭니다.
- Unity 카탈로그 메타스토어의 보안 가능한 클린룸 개체입니다.
- Databricks에서 관리하는 격리된 임시 환경인 "중앙" 클린룸입니다.
- 공동 작업자의 Unity 카탈로그 메타스토어에 있는 보안이 가능한 클린룸 개체입니다.
클린룸에서 두 공동 작업자 중 한 명이 공유하는 테이블, 볼륨(비테이블 형식 데이터), 뷰 및 노트북은 델타 공유를 사용하여 중앙 클린룸과만 공유됩니다.
공동 작업자는 다른 협력자의 테이블, 뷰 또는 볼륨에서 데이터를 볼 수 없지만 열 이름 및 열 형식을 볼 수 있으며 데이터 자산에 대해 작동하는 승인된 Notebook 코드를 실행할 수 있습니다. Notebook 코드는 중앙 클린룸에서 실행됩니다. Notebook은 귀하의 협력자가 자신의 작업 영역에서 작업할 수 있도록 Unity 카탈로그 메타스토어에 읽기 전용 출력을 일시적으로 저장할 수 있는 출력 테이블을 생성할 수 있습니다.
클린룸은 어떻게 신뢰할 수 없는 환경을 보장하나요?
Databricks Clean Rooms 모델은 "신뢰할 수 없음"입니다. 신뢰할 수 없는 클린룸의 모든 협력자는 클린룸의 작성자를 포함하여 동등한 권한을 갖습니다. 클린 룸은 무단 코드의 실행과 데이터의 무단 공유를 방지하기 위해 설계되었습니다. 예를 들어 모든 공동 작업자는 Notebook을 실행하기 전에 승인해야 합니다. 이 신뢰는 공동 작업자가 직접 만든 Notebook을 실행하지 못하게 하여 암시적으로 적용됩니다. 다른 공동 작업자가 만든 Notebook만 실행할 수 있습니다.
추가 안전 장치 또는 제한 사항
위에서 언급한 암시적 Notebook 승인 프로세스 외에도 다음과 같은 안전 장치가 적용됩니다.
클린룸이 만들어지면 새 협력자가 클린룸에 가입하지 못하도록 잠깁니다.
공동 작업자가 클린룸을 삭제하는 경우 중앙 클린룸은 무효이며 사용자가 클린룸 작업을 실행할 수 없습니다.
공개 미리 보기 동안 각 클린룸은 두 명의 공동 작업자로 제한됩니다.
클린룸의 이름을 바꿀 수 없습니다.
클린룸 이름은 모든 협력자의 메타스토어에서 고유해야 하므로 모든 협력자가 동일한 클린룸을 명확하게 참조할 수 있습니다.
각 협력자의 작업 영역에서 보안이 가능한 클린룸에 대한 주석은 다른 협력자로 전파되지 않습니다.
다른 공동 작업자와 공유되는 항목은 무엇인가요?
- 깨끗한 방 이름입니다.
- 중앙 클린 룸의 클라우드 및 지역.
- 조직 이름(선택한 모든 이름일 수 있습니다).
- 클린룸 공유 식별자(전역 메타스토어 ID + 작업 영역 ID + 사용자 전자 메일 주소).
- 공유 테이블, 뷰 또는 볼륨의 별칭입니다.
- 열 메타데이터(열 이름 또는 별칭 및 형식).
- 전자 필기장(읽기 전용).
- 출력 테이블(읽기 전용, 임시).
- 클린룸 이벤트 시스템 테이블.
- 다음을 포함한 실행 기록:
- 실행 중인 Notebook의 이름
- Notebook(사용자 아님)을 실행한 협력자입니다.
- Notebook 실행의 상태입니다.
- Notebook 실행의 시작 시간입니다.
중앙 클린 룸과 공유되는 것은 무엇입니까?
이전 섹션에 나열된 모든 항목입니다.
읽기 전용 테이블, 볼륨, 뷰 및 노트북입니다.
테이블, 뷰, 볼륨은 제공된 별칭이 있을 경우, 중앙 클린룸의 메타스토어에 등록됩니다. 데이터 자산은 클린룸의 수명 주기 동안 공유됩니다.
클린룸 FAQ
다음은 클린룸에 대한 질문과 대답입니다.
내 데이터는 클린룸에서 어떻게 관리되는가?
중앙 클린룸은 Azure Databricks에서 관리합니다. 중앙 클린 룸에서 :
- 어느 당사자도 관리자 권한이 없는 경우
- 메타데이터만 모든 당사자에게 표시됩니다.
- 각 당사자는 중앙 클린룸에 데이터를 추가할 수 있습니다.
- 클린룸은 델타 공유를 사용하여 클린룸에 데이터를 안전하게 공유하지만 참가자 간에는 공유하지 않습니다. 델타 공유란 무엇인가요?참조하세요.
내 데이터는 어떻게 비공개로 유지되는가?
중앙 클린룸은 클린룸 작성자가 선택하는 클라우드 공급자 지역에서 호스트되는 격리된 Databricks 관리형 서버리스 컴퓨팅 평면에서 실행됩니다.
클린룸은 다음을 제공합니다.
- 코드 승인: 클린룸 작성자 및 공동 작업자는 중앙 클린룸과 테이블 및 볼륨을 공유할 수 있지만 상대방이 업로드한 전자 필기장만 실행할 수 있습니다. 승인하기 전에 상대방이 추가한 코드를 검토할 수 있습니다. 다른 당사자가 추가한 Notebook을 실행하는 경우 코드를 암시적으로 승인합니다.
- 버전 제어: 클린룸 전자 필기장 버전 제어를 통해 모든 당사자가 완전히 승인된 전자 필기장만 실행할 수 있습니다. 최신 버전의 Notebook만 실행할 수 있습니다. 클린룸 시스템 테이블을 사용하여 실행된 Notebook 버전을 확인하고 변경 내용을 모니터링할 수 있습니다.
- 제한된 액세스: 클린 룸을 만들 때 서버리스 아웃바운드 제어를 사용하여 외부 네트워크 연결을 관리할 수 있습니다. 클린룸에서 액세스를 제한하는 경우 권한이 없는 스토리지에 대한 액세스가 차단됩니다. 서버리스 환경에서의 송신 제어란?.
보안 및 서버리스 컴퓨팅 평면에 대한 자세한 내용은 서버리스 컴퓨팅 평면 네트워킹 참조하세요.
작업은 어떻게 기록되는가?
사용자 또는 공동 작업자가 수행한 클린룸 작업은 클린룸 이벤트 시스템 테이블에 기록됩니다. 이러한 레코드에는 수행된 특정 작업에 대한 자세한 메타데이터가 포함됩니다. 청정실 이벤트 시스템 테이블 참조는 및을 참조하십시오.
클린룸 작업은 서비스 clean-room계정의 감사 로그에도 기록됩니다. 감사 로그 시스템 테이블 참조 참조하세요.
제한 사항
공개 미리 보기 중에는 다음과 같은 제한 사항이 적용됩니다.
- 필요한 Databricks 런타임 버전에 포함된 서비스 자격 증명 Scala 라이브러리가 없습니다.
리소스 할당량
Azure Databricks는 모든 Clean Room 보안 개체에 리소스 할당량을 적용합니다. 이러한 할당량은 리소스 제한에 나열됩니다. 이러한 리소스 제한을 초과할 것으로 예상되는 경우, Azure Databricks 계정 팀에게 문의하세요.
Unity 카탈로그 리소스 할당량 API를 사용하여 할당량 사용량을 모니터링할 수 있습니다. Unity 카탈로그 리소스 할당량사용 모니터링을 참조하세요.