init 스크립트

아티클
09/04/2024

초기화 스크립트(초기화 스크립트)는 Apache Spark 드라이버 또는 실행기 JVM이 시작되기 전에 각 클러스터 노드를 시작하는 동안 실행되는 셸 스크립트입니다. 이 문서에서는 사용해야 하는 경우 init 스크립트 및 구성 정보에 대한 권장 사항을 제공합니다.

init 스크립트에 대한 권장 사항

Databricks는 가능한 한 스크립트를 초기화하지 않고 기본 제공 플랫폼 기능을 사용하는 것이 좋습니다. init 스크립트를 광범위하게 사용하면 새 Databricks 런타임 버전으로의 마이그레이션 속도가 느려지고 일부 Databricks 최적화가 채택되지 않도록 방지할 수 있습니다.

Important

DBFS의 init 스크립트에서 마이그레이션해야 하는 경우 DBFS에서 init 스크립트 마이그레이션을 참조하세요.

다음 Databricks 기능은 초기화 스크립트에 대한 일반적인 사용 사례 중 일부를 다룹니다.

컴퓨팅 정책을 사용하여 시스템 속성, 환경 변수 및 Spark 구성 매개 변수를 설정합니다. 컴퓨팅 정책 참조를 참조하세요.
클러스터 정책에 라이브러리를 추가합니다. 정책에 라이브러리 추가를 참조하세요.

init 스크립트를 사용해야 하는 경우:

전역 init 스크립트가 아닌 컴퓨팅 정책 또는 클러스터 범위 init 스크립트를 사용하여 init 스크립트를 관리합니다. init 스크립트 형식을 참조 하세요.
컴퓨팅 정책을 사용하여 프로덕션 및 대화형 환경에 대한 라이브러리 설치를 관리합니다. init 스크립트를 사용하여 라이브러리를 설치하지 마세요.
모든 워크로드에 공유 액세스 모드를 사용합니다. 필요한 기능이 공유 액세스 모드에서 지원되지 않는 경우에만 단일 사용자 액세스 모드를 사용합니다.
모든 워크로드에 대해 새 Databricks 런타임 버전 및 Unity 카탈로그를 사용합니다.

다음 표에서는 Databricks 런타임 버전 및 Unity 카탈로그 사용으로 구성된 권장 사항을 제공합니다.

Environment	추천
Unity 카탈로그를 사용하는 Databricks Runtime 13.3 LTS 이상	Init 스크립트를 Unity 카탈로그 볼륨에 저장합니다.
Unity 카탈로그가 없는 Databricks Runtime 11.3 LTS 이상	init 스크립트를 작업 영역 파일로 저장합니다. 파일 크기 제한은 500MB입니다.
Databricks Runtime 10.4 LTS 이하	클라우드 개체 스토리지를 사용하여 init 스크립트를 저장합니다.

Azure Databricks는 어떤 유형의 init 스크립트를 지원하나요?

Azure Databricks는 클러스터 범위 및 전역의 두 가지 init 스크립트를 지원하지만 클러스터 범위 init 스크립트를 사용하는 것이 좋습니다.

클러스터 범위: 스크립트로 구성된 모든 클러스터에서 실행됩니다. init 스크립트를 실행하는 것을 권장합니다. 클러스터 범위 init 스크립트를 참조 하세요.
전역: 단일 사용자 액세스 모드 또는 격리되지 않은 공유 액세스 모드로 구성된 작업 영역의 모든 클러스터에서 실행됩니다. 이러한 init 스크립트는 라이브러리 충돌과 같은 예기치 않은 문제를 일으킬 수 있습니다. 작업 영역 관리자 사용자만 전역 init 스크립트를 만들 수 있습니다. 전역 init 스크립트를 참조 하세요.

모든 유형의 init 스크립트를 변경할 때마다 스크립트의 영향을 받는 모든 클러스터를 다시 시작해야 합니다.

전역 init-scripts는 클러스터 범위 init 스크립트 전에 실행됩니다.

Important

레거시 전역 및 레거시 클러스터 이름이 지정된 init 스크립트는 다른 init 스크립트 전에 실행됩니다. 이러한 init 스크립트는 수명이 다하지만 2023년 2월 21일 이전에 만든 작업 영역에 있을 수 있습니다. 클러스터 명명 init 스크립트(레거시) 및 전역 init 스크립트(레거시)를 참조하세요.