Azure Synapse Analytics에서 Fabric으로 Spark 구성 마이그레이션
Apache Spark는 다양한 시나리오에서 환경을 향상시키기 위해 사용자 지정할 수 있는 다양한 구성을 제공합니다. Azure Synapse Spark 및 Fabric 데이터 엔지니어ing에서는 이러한 구성 또는 속성을 유연하게 통합하여 환경을 조정할 수 있습니다. Fabric에서 환경에 Spark 구성을 추가하고 Spark 작업 내에서 직접 인라인 Spark 속성을 사용할 수 있습니다. Azure Synapse Spark 풀 구성을 Fabric으로 이동하려면 환경을 사용합니다.
Spark 구성 고려 사항은 Azure Synapse Spark와 Fabric 간의 차이점을 참조 하세요.
필수 조건
- 아직 없는 경우 테넌트에 Fabric 작업 영역을 만듭니다.
- 아직 없는 경우 작업 영역에 환경을 만듭니다.
옵션 1: 사용자 지정 환경에 Spark 구성 추가
환경 내에서 Spark 속성을 설정할 수 있으며 이러한 구성은 선택한 환경 풀에 적용됩니다.
- Synapse Studio 열기: Azure에 로그인합니다. Azure Synapse 작업 영역으로 이동하여 Synapse Studio를 엽니다.
-
Spark 구성 찾기:
- 관리 영역으로 이동하여 Apache Spark 풀을 선택합니다.
- Apache Spark 풀을 찾고, Apache Spark 구성을 선택하고, 풀의 Spark 구성 이름을 찾습니다.
- Spark 구성을 가져오기: 구성 보기를 선택하거나 구성 + 라이브러리>Apache Spark 구성에서 구성(.txt/.conf/.json 형식)을 내보내서 해당 속성을 가져올 수 있습니다.
- Spark 구성이 있으면 Fabric의 환경에 사용자 지정 Spark 속성을 추가합니다.
- 환경 내에서 Spark Compute>Spark 속성으로 이동합니다.
- Spark 구성 추가 각 항목을 수동으로 추가하거나 .yml 가져올 수 있습니다.
- 변경 내용 저장 및 게시를 클릭합니다.
환경에 Spark 구성을 추가하는 방법에 대해 자세히 알아봅니다.