Azure Synapse에서 Fabric으로 Spark 라이브러리 마이그레이션
Azure Synapse Spark 풀은 다양한 피드 및 사용자 지정 라이브러리 옵션을 제공합니다. Fabric에서 각 런타임에는 미리 설치된 라이브러리 집합(기본 제공 라이브러리)이 함께 제공됩니다. 그러나 시나리오 및 특정 요구 사항에 따라 환경 라이브러리 및 인라인 라이브러리를 사용하여 다른 라이브러리를 포함할 수도 있습니다. Azure Synapse Spark 풀 라이브러리를 Fabric으로 이동하려면 환경 라이브러리를 사용합니다.
Spark 라이브러리 고려 사항은 Azure Synapse Spark와 Fabric 간의 차이점을 참조 하세요.
필수 조건
- 아직 없는 경우 테넌트에 Fabric 작업 영역을 만듭니다.
- 아직 없는 경우 작업 영역에 환경을 만듭니다.
옵션 1: 사용자 지정 환경에 Spark 라이브러리 추가
다음과 같이 Spark 풀 라이브러리를 환경으로 이동할 수 있습니다.
- Synapse Studio 열기: Azure에 로그인합니다. Azure Synapse 작업 영역으로 이동하여 Synapse Studio를 엽니다.
- Spark 라이브러리를 찾기:
- 관리 영역으로 이동하여 Apache Spark 풀을 선택합니다.
- Apache Spark 풀을 찾고, 패키지를 선택하고, 풀에 대한 Spark 라이브러리를 찾습니다.
- Spark 라이브러리 가져오기: 풀에 설치된 requirements.txt, environment.yml 또는 작업 영역 패키지를 찾습니다. 풀에 설치된 라이브러리 목록을 가져옵니다.
- Spark 라이브러리가 있으면 Fabric의 환경에 사용자 지정 Spark 라이브러리를 추가합니다. 환경 내에서 라이브러리로 이동하여 라이브러리를 추가합니다.
- 공용 라이브러리에서 .yml 파일을 업로드할 수 있습니다. PyPI 및 Conda를 사용하여 라이브러리를 설치할 수도 있습니다.
- 사용자 지정 라이브러리에서 .jar/.whl/.tar.gz 파일을 사용하여 라이브러리를 설치할 수 있습니다.
- 변경 내용 저장 및 게시를 클릭합니다.
환경에 Spark 라이브러리를 추가하는 방법에 대해 자세히 알아봅니다.
참고 항목
라이브러리 설치에는 다소 시간이 걸릴 수 있습니다.