클러스터를 만드는 동안의 스크립트 작업
중요하다
AKS의 Azure HDInsight는 2025년 1월 31일에 사용 중지되었습니다. 이 공지 을 통해에 대해 더 알아보세요.
워크로드가 갑자기 종료되는 것을 방지하기 위해 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 워크로드를 마이그레이션해야 합니다.
중요하다
이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure 프리뷰에 대한 추가 이용 약관은 베타, 프리뷰 또는 아직 일반 제공되지 않은 Azure 기능에 적용되는 추가적인 법적 조건을 포함하고 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight의 AKS 미리보기 정보 를참조하세요. 질문이나 기능 제안이 있으시면 AskHDInsight에서 요청을 제출해 주시고, Azure HDInsight Community에서 더 많은 업데이트를 받아 보시기 바랍니다.
AKS의 Azure HDInsight는 사용자 지정 스크립트를 호출하여 클러스터를 사용자 지정하는 스크립트 작업이라는 메커니즘을 제공합니다. 이러한 스크립트는 추가 구성 요소를 설치하고 구성 설정을 변경하는 데 사용됩니다. 스크립트 작업은 현재 클러스터를 만드는 동안에만 프로비전할 수 있습니다. 클러스터를 만든 후 스크립트 작업은 로드맵의 일부입니다. 이 문서에서는 AKS 클러스터에서 HDInsight를 만들 때 스크립트 작업을 프로비전하는 방법을 설명합니다.
Azure Portal을 사용하여 클러스터를 만드는 동안 스크립트 작업 사용
스크립트 작업을
ADLS/WASB
스토리지에 업로드합니다(기본 클러스터 스토리지일 필요는 없습니다). 이 예제에서는ADLS
스토리지를 고려합니다. 스토리지에 스크립트를 업로드하려면 대상 스토리지 및 업로드할 컨테이너로 이동합니다.스토리지에 스크립트를 업로드하려면 대상 스토리지 및 컨테이너로 이동합니다. 업로드 단추를 클릭하고 로컬 드라이브에서 스크립트를 선택합니다. 스크립트가 업로드되면 컨테이너에서 볼 수 있어야 합니다(다음 이미지 참조).
구성 탭에서 + 스크립트 작업 추가선택합니다.
이 작업을 수행하면 스크립트 작업 창이 열립니다. 다음 세부 정보를 제공합니다.
재산 묘사 스크립트 작업 이름 스크립트 작업의 고유 이름입니다. Bash 스크립트 URL 스크립트가 저장되는 위치입니다. 예를 들어 abfs://<CONTAINER>@<DATALAKESTOREACCOUNTNAME>.dfs.core.windows.net/<file_path>
데이터 레이크 스토리지 이름 및 파일 경로를 업데이트합니다.서비스 스크립트 작업을 실행해야 하는 특정 서비스 구성 요소를 선택합니다. 매개 변수 스크립트에 필요한 경우 매개 변수를 지정합니다. TimeOutInMinutes
각 스크립트에 대한 시간 제한 선택 메모
- 모든 스크립트 동작이 유지됩니다.
- 스크립트 작업은 Apache Spark 클러스터 유형에 대해서만 사용할 수 있습니다.
'확인'을 선택하여 스크립트를 저장합니다.
그런 다음 필요한 경우 + 스크립트 작업 추가 사용하여 다른 스크립트를 추가할 수 있습니다.
나머지 클러스터 만들기 단계를 완료하여 클러스터를 만듭니다.
중요하다
- 스크립트 동작에 의해 변경된 내용을 실행 취소하는 자동 방법은 없습니다.
- 스크립트 작업은 40분 이내에 완료되어야 합니다. 그렇지 않으면 시간이 초과되어 클러스터 만들기가 실패합니다.
- 클러스터를 프로비전하는 동안 스크립트는 다른 설정 및 구성 프로세스와 동시에 실행됩니다.
- CPU 시간 또는 네트워크 대역폭과 같은 리소스에 대한 경쟁으로 인해 스크립트가 완료되는 데 시간이 더 오래 걸릴 수 있습니다.
- 스크립트를 실행하는 데 걸리는 시간을 최소화하려면 원본에서 애플리케이션 다운로드 및 컴파일과 같은 작업을 방지합니다. 애플리케이션을 미리 컴파일하고 Azure Data Lake Store Gen2에 이진 파일을 저장합니다.