Azure Synapse Analytics에서 Spark를 사용하여 데이터 변환
데이터 엔지니어는 일반적으로 대량의 데이터를 변환해야 합니다. Azure Synapse Analytics의 Apache Spark 풀은 이 목표를 달성하는 데 사용할 수 있는 분산 처리 플랫폼을 제공합니다.
학습 목표
이 모듈에서 학습할 내용은 다음과 같습니다.
- Apache Spark를 사용하여 데이터 프레임 수정 및 저장
- 향상된 성능 및 확장성을 위해 데이터 파일을 분할합니다.
- SQL을 사용하여 데이터 변환
사전 요구 사항
이 모듈을 시작하기 전에 Azure Synapse Analytics의 Apache Spark 풀에 대해 잘 알고 있어야 합니다. 먼저 Azure Synapse Analytics에서 Apache Spark를 사용하여 데이터 분석 모듈을 완료하는 것이 좋습니다.