다음을 통해 공유

Apache Spark 3.3용 Azure Synapse Runtime(EOSA)

  • 아티클

Azure Synapse Analytics는 Apache Spark에 다양한 런타임을 지원합니다. 이 문서에서는 Apache Spark 3.3용 Azure Synapse Runtime에 대한 런타임 구성 요소 및 버전을 설명합니다.

Warning

Apache Spark 3.3용 Azure Synapse Runtime에 대한 지원 종료 알림

  • 2024년 7월 12일에 Apache Spark 3.3용 Azure Synapse 런타임에 대한 지원 종료가 발표되었습니다.
  • 2025년 3월 31일부터 Azure Synapse는 Spark 3.3 런타임에 대한 공식 지원을 중단합니다.
  • Apache Spark 3.3 기반 워크로드 를 Apache Spark 3.4(GA)용 Azure Synapse Runtime으로 업그레이드하는 것이 좋습니다.
  • 최신 정보, 자세한 변경 내용 목록 및 Spark 런타임에 대한 특정 릴리스 정보는 Spark 런타임 릴리스 및 업데이트를 확인하고 구독 합니다.

구성 요소 버전

구성 요소 버전
Apache Spark 3.3.1
운영 체제 Ubuntu 18.04
Java 1.8.0_282
Scala 2.12.15
Hadoop 3.3.3
Delta Lake 2.2.0
Python 3.10
R(미리 보기) 4.2.2

Synapse-Python310-CPU.yml에는 Azure Synapse Spark의 기본 Python 3.10 환경에서 제공되는 라이브러리 목록이 포함되어 있습니다.

Important

Apache Spark용 .NET

  • .NET for Apache Spark는 현재 지원 중단 상태에 도달한 .NET 3.1 라이브러리를 필요로 하는 .NET Foundation의 오픈 소스 프로젝트입니다. Azure Synapse Spark 사용자에게 Apache Spark 버전 3.3용 Azure Synapse Runtime에서 Apache Spark 라이브러리용 .NET이 제거됨을 알려드리고자 합니다. 이 문제에 대한 자세한 내용은 .NET 지원 정책을 참조하세요.

  • 따라서 사용자는 더 이상 C# 및 F#을 통해 Apache Spark API를 활용하거나 Synapse 내의 Notebooks에서 또는 Synapse의 Apache Spark 작업 정의를 통해 C# 코드를 실행할 수 없습니다. 이 변경 내용은 Apache Spark 3.3 이상용 Azure Synapse 런타임에만 영향을 줍니다.

  • 수명 주기 단계에 따라 Azure Synapse 런타임의 모든 이전 버전에서 Apache Spark용 .NET을 계속 지원할 것입니다. 그러나 Apache Spark 3.3 및 이후 버전용 Azure Synapse 런타임에서 Apache Spark용 .NET을 지원할 계획은 없습니다. C# 또는 F#으로 작성된 기존 워크로드가 있는 사용자는 Python 또는 Scala로 마이그레이션하는 것이 좋습니다. 사용자는 이 정보를 기록하고 그에 따라 계획하는 것이 좋습니다.

라이브러리

Java/Scala, Python 및 R용 Apache Spark 3.3용 Azure Synapse Runtime에 포함된 라이브러리를 확인하려면 Apache Spark 3.3용 Azure Synapse Runtime으로 이동합니다 .

다음 단계

Apache Spark 버전 간 마이그레이션 - 지원

이전 런타임 버전에서 Apache Spark 3.3 또는 3.4용 Azure Synapse 런타임으로 마이그레이션하는 방법에 대한 지침은 Apache Spark용 런타임 개요를 참조하세요.