Unity 카탈로그 및 Microsoft Purview를 사용한 데이터 거버넌스
데이터 거버넌스는 조직 내 데이터가 안전하고 효율적으로 규정을 준수하여 관리되도록 하는 데 중요합니다. Azure Databricks는 Unity 카탈로그와 Microsoft Purview와 결합되어 데이터를 효과적으로 관리하고 통제하기 위한 강력한 솔루션을 제공합니다.
데이터 거버넌스 도구
Unity 카탈로그와 Microsoft Purview를 사용하여 데이터 거버넌스를 구현하는 방법에 대한 개요는 다음과 같습니다.
Unity 카탈로그
Unity 카탈로그는 모든 데이터 및 AI 자산에 대한 통합 거버넌스 솔루션을 제공하는 Azure Databricks의 기능입니다. 조직의 모든 작업 영역에서 데이터 개체를 관리하는 중앙 집중식 메타스토어를 제공합니다.
Microsoft Purview
Microsoft Purview는 온-프레미스, 다중 클라우드 및 SaaS(Software as a Service) 데이터를 관리하고 제어하는 데 도움이 되는 통합 데이터 거버넌스 서비스입니다. 데이터 검색, 데이터 분류, 데이터 계보, 데이터 액세스 거버넌스와 같은 기능을 제공합니다.
Unity 카탈로그 개요
Azure Databricks의 Unity 카탈로그는 Databricks 작업 영역 전반의 모든 데이터 자산 및 AI 자산에 대한 메타데이터를 관리하는 중앙 집중식 메타스토어입니다. 이를 통해 대규모로 세분화된 보안 제어 및 거버넌스 정책이 가능해져 여러 팀과 프로젝트의 데이터를 안전하게 관리하기가 더 쉬워집니다.
Unity 카탈로그의 주요 기능
통합 네임스페이스: Unity 카탈로그는 모든 작업 영역에서 데이터 세트, 파일 및 기계 학습 모델에 대한 단일 네임스페이스를 제공하므로 자산을 보다 쉽게 관리하고 검색할 수 있습니다.
세분화된 액세스 제어: 관리자는 표준 SQL GRANT 및 REVOKE 문을 사용하여 데이터에 대한 정확한 액세스 제어를 설정할 수 있으며, 이는 최소 권한 원칙에 부합합니다.
데이터 계보: Unity 카탈로그는 데이터 계보를 캡처하고 표시하는데, 이는 데이터 흐름을 추적하고 시간에 따른 데이터 변환을 이해하는 데 중요합니다.
중앙화된 메타데이터 관리: 모든 메타데이터를 중앙에서 관리하여 정의, 설명 및 기타 메타데이터가 프로젝트 및 작업 영역 전반에서 일관성을 유지하도록 보장합니다.
Databricks SQL과 통합: Unity 카탈로그는 Databricks SQL과 완벽하게 통합되어 있어 플랫폼 외부로 데이터를 이동하지 않고도 데이터 자산을 원활하게 쿼리하고 관리할 수 있습니다.
Microsoft Purview 개요
Microsoft Purview는 조직 전체의 데이터 사용에 대한 가시성, 제어 및 인사이트를 제공하도록 설계된 일련의 데이터 거버넌스 도구를 제공합니다. 데이터가 어디에 있든 상관없이 데이터를 검색, 분류, 보호, 모니터링하는 데 도움이 됩니다.
Azure Databricks용 Microsoft Purview의 주요 기능
데이터 검색 및 분류: 기본 제공 분류자를 사용하여 Azure Databricks 환경에서 데이터를 자동으로 검사하고 분류하며, 사용자 지정 분류자를 만들 수도 있습니다.
데이터 계보: 데이터 계보에 대한 자세한 가시성을 제공하여 Azure Databricks를 포함한 다양한 시스템과 프로세스에서 데이터가 어떻게 변환되고 이동되는지 보여 줍니다.
데이터 맵: 다양한 데이터 원본의 메타데이터를 검색 가능한 카탈로그로 집계하여 사용자가 데이터 환경과 데이터 간 관계를 파악할 수 있도록 합니다.
액세스 및 정책 관리: Azure Databricks 및 기타 통합 시스템 내에서 데이터에 액세스하고 사용하는 방법을 적용하는 거버넌스 정책을 만들 수 있습니다.
인사이트 및 보고: 데이터 검색, 민감도 분류, 액세스 분석에 대한 자세한 보고서를 제공하여 준수를 보장하고 데이터 거버넌스 전략을 최적화하는 데 도움이 됩니다.