강화된 보안 모니터링
이 문서에서는 향상된 보안 모니터링 기능과 Azure Databricks 작업 영역 또는 계정에서 구성하는 방법을 설명합니다.
이 기능을 사용하도록 설정하면 가격 책정 페이지에 설명된 대로 향상된 보안 및 규정 준수 추가 기능에 대한 요금이 청구됩니다.
향상된 보안 모니터링 개요
Azure Databricks 향상된 보안 모니터링은 강화된 디스크 이미지와 진단 로그를 사용하여 검토할 수 있는 로그 행을 생성하는 추가 보안 모니터링 에이전트를 제공합니다.
보안 향상 기능은 클러스터 및 비 서버리스 SQL 웨어하우스와 같은 클래식 컴퓨팅 평면의 컴퓨팅 리소스에만 적용됩니다.
서버리스 SQL 웨어하우스와 같은 서버리스 컴퓨팅 평면 리소스는 향상된 보안 모니터링을 사용하도록 설정할 때 추가 모니터링이 없습니다.
참고 항목
대부분의 Azure 인스턴스 유형이 지원되지만 2세대(Gen2) 및 Arm64 기반 가상 머신은 지원되지 않습니다. Azure Databricks는 향상된 보안 모니터링을 사용하는 경우 해당 인스턴스 유형으로 컴퓨팅을 시작하는 것을 허용하지 않습니다.
향상된 보안 모니터링에는 다음이 포함됩니다.
Ubuntu Advantage를 기반으로 하는 강화된 운영 체제 이미지입니다.
Ubuntu Advantage는 CIS 수준 1 강화 이미지를 포함하는 오픈 소스 인프라 및 애플리케이션에 대한 엔터프라이즈 보안 및 지원 패키지입니다.
검토할 수 있는 로그를 생성하는 바이러스 백신 모니터링 에이전트입니다.
검토할 수 있는 로그를 생성하는 파일 무결성 모니터링 에이전트입니다.
Azure Databricks 컴퓨팅 평면 이미지에서 에이전트 모니터링
향상된 보안 모니터링을 사용하도록 설정하는 동안 향상된 컴퓨팅 평면 이미지에 미리 설치된 두 에이전트를 포함하여 추가 보안 모니터링 에이전트가 있습니다. 향상된 컴퓨팅 평면 디스크 이미지에 있는 모니터링 에이전트를 사용하지 않도록 설정할 수 없습니다.
| 모니터링 에이전트 | 위치 | 설명 | 출력을 가져오는 방법 |
|---|---|---|---|
| 파일 무결성 모니터링 | 향상된 컴퓨팅 평면 이미지 | 파일 무결성 및 보안 경계 위반을 모니터링합니다. 이 모니터 에이전트는 클러스터의 작업자 VM에서 실행됩니다. | 감사 로그 시스템 테이블을 사용하도록 설정하고 새 행에 대한 로그를 검토합니다. |
| 바이러스 백신 및 맬웨어 검색 | 향상된 컴퓨팅 평면 이미지 | 매일 파일 시스템을 검사하여 바이러스를 검사합니다. 이 모니터 에이전트는 클러스터, 전문가 또는 클래식 SQL 웨어하우스와 같은 컴퓨팅 리소스의 VM에서 실행됩니다. 바이러스 백신 및 맬웨어 검색 에이전트는 전체 호스트 OS 파일 시스템 및 Databricks 런타임 컨테이너 파일 시스템을 검사합니다. 클러스터 VM 외부의 모든 항목이 검사 범위를 벗어나집니다. | 감사 로그 시스템 테이블을 사용하도록 설정하고 새 행에 대한 로그를 검토합니다. |
| 취약성 검색 | 검사는 Azure Databricks 환경의 대표 이미지에서 발생합니다. | VM(컨테이너 호스트)에서 알려진 특정 취약성 및 CVE(일반 취약성 및 노출)를 검사합니다. | Azure Databricks 작업 영역 관리자에게 이메일로 전송되었습니다. |
최신 버전의 모니터링 에이전트를 얻으려면 클러스터를 다시 시작할 수 있습니다. 작업 영역에서 자동 클러스터 업데이트를 사용하는 경우 예약된 유지 관리 기간 동안 필요한 경우 기본적으로 클러스터가 다시 시작됩니다. 작업 영역에서 규정 준수 보안 프로필을 사용하도록 설정하면 해당 작업 영역에서 자동 클러스터 업데이트가 영구적으로 사용하도록 설정됩니다.
파일 무결성 모니터링
향상된 컴퓨팅 평면 이미지에는 작업 영역의 클래식 컴퓨팅 평면에서 컴퓨팅 리소스(클러스터 작업자)에 대한 런타임 가시성 및 위협 검색을 제공하는 파일 무결성 모니터링 서비스가 포함되어 있습니다.
파일 무결성 모니터 출력은 시스템 테이블로 액세스할 수 있는 감사 로그 내에서 생성됩니다. 시스템 테이블을 사용하여 계정 활동 모니터링을 참조 하세요. 파일 무결성 모니터링과 관련된 새 감사 가능 이벤트에 대한 JSON 스키마는 파일 무결성 모니터링 이벤트를 참조 하세요.
Important
이러한 로그를 검토하는 것은 사용자의 책임입니다. Databricks는 단독 재량에 따라 이러한 로그를 검토할 수 있지만 그렇게 하겠다는 약속은 하지 않습니다. 에이전트가 악의적인 활동을 감지하는 경우 해결 또는 수정에 Databricks의 조치가 필요한 경우 이러한 이벤트를 심사하고 Databricks로 지원 티켓을 여는 것은 사용자의 책임입니다. Databricks는 리소스 일시 중단 또는 종료를 포함하여 이러한 로그를 기반으로 조치를 취할 수 있지만 이를 위해 어떠한 약속도 하지 않습니다.
바이러스 백신 및 맬웨어 검색
향상된 컴퓨팅 평면 이미지에는 트로이 목마, 바이러스, 맬웨어 및 기타 악의적인 위협을 탐지하기 위한 바이러스 백신 엔진이 포함되어 있습니다. 바이러스 백신 모니터는 전체 호스트 OS 파일 시스템 및 Databricks 런타임 컨테이너 파일 시스템을 검사합니다. 클러스터 VM 외부의 모든 항목이 검사 범위를 벗어나집니다.
바이러스 백신 모니터 출력은 시스템 테이블을 사용하여 액세스할 수 있는 감사 로그 내에서 생성됩니다. 바이러스 백신 모니터링과 관련된 새 감사 가능 이벤트에 대한 JSON 스키마는 바이러스 백신 모니터링 이벤트를 참조 하세요.
새 가상 머신 이미지가 빌드되면 업데이트된 서명 파일이 해당 이미지 내에 포함됩니다.
Important
이러한 로그를 검토하는 것은 사용자의 책임입니다. Databricks는 단독 재량에 따라 이러한 로그를 검토할 수 있지만 그렇게 하겠다는 약속은 하지 않습니다. 에이전트가 악의적인 활동을 감지하는 경우 해결 또는 수정에 Databricks의 조치가 필요한 경우 이러한 이벤트를 심사하고 Databricks로 지원 티켓을 여는 것은 사용자의 책임입니다. Databricks는 리소스 일시 중단 또는 종료를 포함하여 이러한 로그를 기반으로 조치를 취할 수 있지만 이를 위해 어떠한 약속도 하지 않습니다.
새 AMI 이미지가 빌드되면 업데이트된 서명 파일이 새 AMI 이미지에 포함됩니다.
취약성 검색
취약성 모니터 에이전트는 알려진 특정 CVE에 대해 VM(컨테이너 호스트)의 취약성 검사를 수행합니다. 검사는 Azure Databricks 환경의 대표 이미지에서 발생합니다. 취약성 검사 보고서는 Azure Databricks가 새 AMI 디스크 이미지를 릴리스할 때 모든 작업 영역 관리자에게 전자 메일로 전송됩니다.
이 에이전트에서 취약성이 발견되면 Databricks는 취약성 관리 SLA에 대해 이를 추적하고 사용 가능한 경우 업데이트된 이미지를 릴리스합니다.
모니터링 에이전트 관리 및 업그레이드
클래식 컴퓨팅 평면의 컴퓨팅 리소스에 사용되는 디스크 이미지에 있는 추가 모니터링 에이전트는 시스템을 업그레이드하기 위한 표준 Azure Databricks 프로세스의 일부입니다.
- 클래식 컴퓨팅 평면 기본 디스크 이미지(AMI)는 Databricks에서 소유, 관리 및 패치됩니다.
- Databricks는 새 AMI 디스크 이미지를 릴리스하여 보안 패치를 제공하고 적용합니다. 배달 일정은 검색된 취약성에 대한 새 기능 및 SLA에 따라 달라집니다. 일반적인 배달은 2~4주마다 수행됩니다.
- 컴퓨팅 평면의 기본 운영 체제는 Ubuntu Advantage입니다.
- Azure Databricks 클러스터 및 pro 또는 클래식 SQL 웨어하우스는 기본적으로 사용 후 삭제됩니다. 시작 시 클러스터 및 전문가 또는 클래식 SQL 웨어하우스는 사용 가능한 최신 기본 이미지를 사용합니다. 보안 취약성이 있을 수 있는 이전 버전은 새 클러스터에 사용할 수 없습니다.
- 클러스터를 정기적으로 다시 시작하여 (UI 또는 API 사용) 패치된 최신 호스트 VM 이미지를 사용하도록 해야 합니다.
에이전트 종료 모니터링
작업자 VM의 모니터 에이전트가 충돌 또는 기타 종료로 인해 실행되고 있지 않은 것으로 확인되면 시스템에서 에이전트를 다시 시작하려고 시도합니다.
에이전트 데이터 모니터링에 대한 데이터 보존 정책
진단 로그를 구성 한 경우 모니터링 로그는 Azure 구독의 고유한 스토리지를 감사 로그 시스템 테이블로 보냅니다. 이러한 로그의 보존, 수집 및 분석은 사용자의 책임입니다.
취약성 검사 보고서 및 로그는 Databricks에서 1년 이상 보존됩니다.
Azure Databricks 향상된 보안 모니터링 사용
- Azure Databricks 작업 영역은 프리미엄 플랜에 있어야 합니다.
작업 영역에서 향상된 보안 모니터링을 사용하도록 설정하려면 Azure Portal을 사용하여 새 작업 영역에서 설정을 사용하도록 설정합니다.
업데이트는 모든 환경과 청구와 같은 다운스트림 시스템으로 전파되는 데 최대 6시간이 걸릴 수 있습니다. 적극적으로 실행 중인 워크로드는 클러스터 또는 다른 컴퓨팅 리소스를 시작할 때 활성 상태였던 설정을 계속 진행하며, 다음에 이러한 워크로드가 시작될 때 새 설정이 적용되기 시작합니다.