Spark의 라이브러리 관리
중요하다
AKS의 Azure HDInsight는 2025년 1월 31일에 사용 중지되었습니다. 이 공지 과 관련된를 자세히 알아보세요.
워크로드가 갑자기 종료되는 것을 방지하기 위해 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 워크로드를 마이그레이션해야 합니다.
중요하다
이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure 미리 보기에 대한 추가 사용 약관에는 베타 상태이거나 미리 보기 중인, 또는 아직 일반 공급되지 않은 Azure 기능에 적용되는 추가 법적 조건이 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보 을 참조하세요. 질문이나 기능 제안이 있으시면 AskHDInsight에 요청을 제출해 주시고, 더 많은 업데이트를 원하시면 Azure HDInsight Community를 팔로우해 주세요.
라이브러리 관리의 목적은 클러스터에서 실행되는 Notebook 및 작업에 오픈 소스 또는 사용자 지정 코드를 사용할 수 있도록 하는 것입니다. PyPI 리포지토리에서 Python 라이브러리를 업로드할 수 있습니다. 이 문서에서는 클러스터 UI의 라이브러리 관리에 중점을 둡니다. AKS의 Azure HDInsight에는 이미 클러스터에 많은 공통 라이브러리가 포함되어 있습니다. AKS 클러스터의 HDI에 포함된 라이브러리를 확인하려면 라이브러리 관리 페이지를 검토합니다.
라이브러리 설치
두 가지 모드로 라이브러리를 설치할 수 있습니다.
- 클러스터 설치
- 노트북 범위에서
클러스터 설치됨
클러스터에서 실행되는 모든 Notebook은 클러스터 라이브러리를 사용할 수 있습니다. PyPi와 같은 공용 리포지토리에서 직접 클러스터 라이브러리를 설치할 수 있습니다. Maven 리포지토리에서 업로드하고, 클라우드 스토리지에서 사용자 지정 라이브러리를 업로드하는 작업은 로드맵에 있습니다.
클러스터가 설치된 라이브러리 관리자 페이지를 보여 주는 
노트북 한정
Python 및 Scala에서 사용할 수 있는 Notebook 범위 라이브러리를 사용하여 라이브러리를 설치하고 Notebook 세션으로 범위가 지정된 환경을 만들 수 있습니다. 이러한 라이브러리는 동일한 클러스터에서 실행되는 다른 Notebook에 영향을 주지 않습니다. Notebook 범위의 라이브러리는 지속되지 않으며 각 세션마다 다시 설치해야 합니다.
메모
특정 노트북에 맞는 환경이 필요할 경우 해당 노트북에 한정된 라이브러리를 사용하세요.
라이브러리 설치 모드
PyPI: 설치 UI에서 라이브러리 이름 및 버전을 언급하여 오픈 소스 PyPI 리포지토리에서 라이브러리를 가져옵니다.
설치된 라이브러리 보기
개요 페이지에서 라이브러리 관리자로 이동합니다.
라이브러리 관리자 페이지를 보여 주는
Spark 클러스터 관리자에서 라이브러리 관리자를 클릭합니다.
여기에서 설치된 라이브러리 목록을 볼 수 있습니다.
라이브러리 위젯 추가
PyPI
PyPI 탭에서 패키지 이름 입력하고 패키지 버전을 ..
클릭합니다설치.
라이브러리 제거
라이브러리를 더 이상 사용하지 않기로 결정한 경우 라이브러리 관리 페이지의 제거 단추를 통해 라이브러리 패키지를 쉽게 삭제할 수 있습니다.
라이브러리 이름을 선택하고 클릭합니다.
라이브러리를 선택하는 방법을 보여 주는
위젯에서 제거 클릭합니다.
라이브러리를 제거하는 방법을 보여 주는
메모
- Jupyter Notebook에서 설치한 패키지는 Jupyter Notebook에서만 삭제할 수 있습니다.
- 라이브러리 관리자에서 설치한 패키지는 라이브러리 관리자에서만 제거할 수 있습니다.
- 라이브러리/패키지를 업그레이드하려면 현재 버전의 라이브러리를 제거하고 필요한 버전의 라이브러리를 다시 설치합니다.
- Jupyter Notebook에서 라이브러리를 설치하는 것은 세션에 특히 중요합니다. 영구적이지 않습니다.
- 크기 및 복잡성으로 인해 무거운 패키지를 설치하는 데 다소 시간이 걸릴 수 있습니다.