Azure Synapse Analytics에서 Fabric으로 Notebook 마이그레이션
Azure Synapse 및 Fabric은 Notebook을 지원합니다. Azure Synapse에서 Fabric으로 Notebook을 마이그레이션하는 작업은 두 가지 방법으로 수행할 수 있습니다.
- 옵션 1: Azure Synapse(.ipynb)에서 Notebook을 내보내고 Fabric으로 가져올 수 있습니다(수동으로).
- 옵션 2: 스크립트를 사용하여 Azure Synapse에서 Notebook을 내보내고 API를 사용하여 Fabric으로 가져올 수 있습니다.
Notebook 고려 사항은 Azure Synapse Spark와 Fabric 간의 차이점을 참조 하세요.
필수 조건
아직 없는 경우 테넌트에 Fabric 작업 영역을 만듭니다.
옵션 1: 수동으로 Notebook 내보내기 및 가져오기
Azure Synapse에서 Notebook을 내보내려면 다음을 수행합니다.
- Synapse Studio 열기: Azure에 로그인합니다. Azure Synapse 작업 영역으로 이동하여 Synapse Studio를 엽니다.
- Notebook 찾기: Synapse Studio에서 작업 영역의 Notebooks 섹션에서 내보낼 Notebook을 찾습니다.
-
Notebook 내보내기:
- 내보낼 Notebook을 마우스 오른쪽 단추로 클릭합니다.
- Notebook 내보내기>(.ipynb)를 선택합니다.
- 대상 폴더를 선택하고 내보낸 Notebook 파일의 이름을 입력합니다.
- 내보내기가 완료되면 업로드할 수 있는 Notebook 파일이 있어야 합니다.
Fabric에서 내보낸 Notebook을 가져오려면 다음을 수행합니다.
- Fabric 작업 영역에 액세스: Fabric에 로그인하고 작업 영역에 액세스합니다.
- 데이터 엔지니어 홈페이지로 이동: Fabric 작업 영역 내에 들어가면 데이터 엔지니어 홈페이지로 이동합니다.
-
Notebook 가져오기:
- Notebook 가져오기를 선택합니다. 로컬 컴퓨터에서 Fabric 작업 영역으로 하나 이상의 기존 Notebook을 가져올 수 있습니다.
- Azure Synapse Analytics에서 다운로드한 .ipynb Notebook 파일을 찾습니다.
- Notebook 파일을 선택하고 업로드를 클릭합니다 .
- Notebook 열기 및 사용: 가져오기가 완료되면 Fabric 작업 영역에서 Notebook을 열고 사용할 수 있습니다.
Notebook을 가져오면 Notebook 종속성 유효성을 검사합니다.
- 동일한 Spark 버전을 사용하는지 확인합니다.
- 참조된 Notebook을 사용하는 경우 Fabric에서도 msparkutils를 사용할 수 있습니다. 그러나 다른 Notebook을 참조하는 Notebook을 가져오는 경우 후자도 가져와야 합니다. Fabric 작업 영역은 현재 폴더를 지원하지 않으므로 다른 폴더의 Notebook에 대한 참조를 업데이트해야 합니다. 필요한 경우 Notebook 리소스를 사용할 수 있습니다.
- Notebook에서 풀 특정 라이브러리 및 구성을 사용하는 경우 해당 라이브러리 및/또는 구성도 가져와야 합니다.
- 연결된 서비스, 데이터 원본 연결 및 탑재 지점.
옵션 2: Fabric API 사용
마이그레이션을 위해 다음 주요 단계를 수행합니다.
- 필수 구성 요소.
- 1단계: Azure Synapse에서 OneLake(.ipynb)로 Notebook을 내보냅니다.
- 2단계: Fabric API를 사용하여 Fabric으로 Notebook을 자동으로 가져옵니다.
필수 조건
필수 구성 요소에는 Fabric으로 Notebook 마이그레이션을 시작하기 전에 고려해야 할 작업이 포함됩니다.
- Fabric 작업 영역입니다.
- 아직 없는 경우 작업 영역에 Fabric Lakehouse를 만듭니다.
1단계: Azure Synapse 작업 영역에서 Notebook 내보내기
1단계의 초점은 Azure Synapse 작업 영역에서 .ipynb 형식의 OneLake로 Notebook을 내보내는 것입니다. 프로세스는 다음과 같습니다.
- 1.1) 마이그레이션 Notebook을 Fabric 작업 영역으로 가져옵니다. 이 Notebook 은 지정된 Azure Synapse 작업 영역에서 OneLake의 중간 디렉터리로 모든 Notebook을 내보냅니다. Synapse API는 Notebook을 내보내는 데 사용됩니다.
- 1.2) 매개 변수 구성을 첫 번째 명령에서 하여 Notebook을 중간 스토리지(OneLake)로 내보냅니다. 다음 코드 조각은 원본 및 대상 매개 변수를 구성하는 데 사용됩니다. 고유의 값으로 바꾸어야 합니다.
# Azure config
azure_client_id = "<client_id>"
azure_tenant_id = "<tenant_id>"
azure_client_secret = "<client_secret>"
# Azure Synapse workspace config
synapse_workspace_name = "<synapse_workspace_name>"
# Fabric config
workspace_id = "<workspace_id>"
lakehouse_id = "<lakehouse_id>"
export_folder_name = f"export/{synapse_workspace_name}"
prefix = "" # this prefix is used during import {prefix}{notebook_name}
output_folder = f"abfss://{workspace_id}@onelake.dfs.fabric.microsoft.com/{lakehouse_id}/Files/{export_folder_name}"
- 1.3) 처음 두 셀이 있는 내보내기/가져오기 Notebook에서 실행하여 Notebook 메타데이터를 OneLake로 내보냅니다. 셀이 완료되면 중간 출력 디렉터리 아래에 이 폴더 구조가 만들어집니다.
2단계: Fabric으로 Notebook 가져오기
2단계는 Notebook을 중간 스토리지에서 Fabric 작업 영역으로 가져오는 경우입니다. 프로세스는 다음과 같습니다.
- 2.1) 구성의 유효성이 있는 1.2 단계에서 검사하여 Notebook을 가져오도록 올바른 Fabric 작업 영역과 접두사 값를 표시합니다.
- 2.2) 세 번째 셀이 있는 내보내기/가져오기 Notebook을 실행하여 중간 위치에서 모든 Notebook을 가져옵니다.