서버리스 컴퓨팅을 위한 모범 사례
이 문서에서는 Notebook 및 작업에서 서버리스 컴퓨팅을 사용하는 모범 사례 권장 사항을 소개합니다.
이러한 권장 사항에 따라 Azure Databricks에서 워크로드의 생산성, 비용 효율성 및 안정성을 향상시킬 수 있습니다.
서버리스 컴퓨팅으로 워크로드 마이그레이션
서버리스 컴퓨팅은 사용자 코드 격리를 보호하기 위해 Azure Databricks 보안 공유 액세스 모드를 활용합니다. 이 때문에 서버리스 컴퓨팅에서 작업을 계속하려면 일부 워크로드에서 코드를 변경해야 합니다. 지원되지 않는 기능 목록은 서버리스 컴퓨팅 제한 사항을 참조하세요.
특정 워크로드는 다른 워크로드보다 손쉽게 마이그레이션할 수 있습니다. 다음 요구 사항을 충족하는 워크로드는 가장 손쉽게 마이그레이션할 수 있습니다.
- 액세스하는 데이터는 Unity 카탈로그에 저장해야 합니다.
- 워크로드는 공유 액세스 모드 컴퓨팅과 호환되어야 합니다.
- 워크로드는 Databricks Runtime 14.3 이상과 호환되어야 합니다.
워크로드가 서버리스 컴퓨팅에서 작동하는지 테스트하려면 공유 액세스 모드와 14.3 이상의 Databricks Runtime을 사용하는 비 서버리스 컴퓨팅 리소스에서 실행합니다. 실행에 성공하면 워크로드를 마이그레이션할 준비가 된 것입니다.
이러한 변경 내용의 중요도와 현행 제한 사항들로 인해 다수의 워크로드에서 마이그레이션이 원활하게 진행되지 않을 수 있습니다. 모든 항목을 다시 코딩하는 대신 Azure Databricks는 새 워크로드를 만들 때 서버리스 컴퓨팅 호환성의 우선 순위를 지정할 것을 권장합니다.
외부 시스템에서 데이터 수집
서버리스 컴퓨팅은 JAR 파일 설치를 지원하지 않으므로 외부 데이터 원본에서 데이터를 수집하는 데 JDBC 또는 ODBC 드라이버를 사용할 수 없습니다.
수집에 사용할 수 있는 대체 전략은 다음과 같습니다.
자동 로더는 클라우드 스토리지에 새 데이터 파일이 도착하면 이를 점진적이고 효율적으로 처리합니다. 자동 로더란?을 참조하세요.
데이터 수집 파트너 솔루션. Partner Connect를 사용하여 BI 파트너와 연결을 참조하세요.
데이터 추가 UI로 파일을 직접 업로드합니다. Azure Databricks에 파일 업로드를 참조하세요.
수집 대안
서버리스 컴퓨팅을 사용하는 경우 다음 기능을 사용하여 데이터를 이동하지 않고도 데이터를 쿼리할 수 있습니다.
- 데이터 중복을 제한하거나 가능한 가장 최신 데이터를 쿼리하려는 경우 Databricks는 Delta Sharing를 사용할 것을 권장합니다. Delta Sharing이란?을 참조하세요.
- 임시 보고 및 개념 증명 작업을 수행하려는 경우 Databricks는 적합한 선택지로 레이크하우스 페더레이션을 사용할 것을 권장합니다. 레이크하우스 페더레이션을 사용하면 외부 시스템에서 전체 데이터베이스를 Azure Databricks에 동기화할 수 있으며 Unity 카탈로그를 통해 관리됩니다. 레이크하우스 페더레이션이란?을 참조하세요.
이러한 기능 중 하나 또는 두 가지를 모두 사용해 본 뒤 쿼리 성능 요구 사항을 충족하는지 확인합니다.
서버리스 컴퓨팅 비용 모니터링
서버리스 컴퓨팅 비용 모니터링 시에는 다음과 같은 다양한 기능을 사용할 수 있습니다.
시스템 테이블을 사용하여 대시보드를 만들고, 경고를 설정하고, 임시 쿼리를 수행합니다. 서버리스 컴퓨팅 비용 모니터링을 참조하세요.
계정에 예산 경고를 설정합니다. 예산 만들기 및 모니터링참조하세요.
미리 구성된 사용량 대시보드를 가져옵니다. 사용량 대시보드 가져오기를 참조하세요.