Azure Synapse Runtime para Apache Spark 3.3 (EOSA)
O Azure Synapse Analytics dá suporte a vários runtimes para o Apache Spark. Este documento abrange os componentes e as versões de runtime do Azure Synapse para o Apache Spark 3.3.
Aviso
Notificação de fim do suporte para o Azure Synapse Runtime para Apache Spark 3.3
- Em 12 de julho de 2024, foi anunciado o fim do suporte para o Azure Synapse Runtime para Apache Spark 3.3.
- A partir de 31 de março de 2025, o Azure Synapse descontinuará o suporte oficial para Runtimes do Spark 3.3.
- É altamente recomendável que você atualize suas cargas de trabalho baseadas no Apache Spark 3.3 para o Azure Synapse Runtime para Apache Spark 3.4 (GA).
- Para obter informações atualizadas, uma lista detalhada de alterações e notas de versão específicas para tempos de execução do Spark, verifique e assine Versões e Atualizações de Tempos de Execução do Spark.
Versões do componente
| Componente | Versão |
|---|---|
| Apache Spark | 3.3.1 |
| Sistema operacional | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| O Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3.10 |
| R (Versão prévia) | 4.2.2 |
O Synapse-Python310-CPU.yml contém a lista de bibliotecas enviadas no ambiente padrão do Python 3.10 no Azure Synapse Spark.
Importante
.NET para Apache Spark
O .NET para Apache Spark é um projeto de código-fonte aberto no .NET Foundation que atualmente requer a biblioteca .NET 3.1, que atingiu o status fora de suporte. Gostaríamos de informar os usuários do Azure Synapse Spark sobre a remoção da biblioteca .NET para Apache Spark no Azure Synapse Runtime para Apache Spark versão 3.3. Os usuários podem consultar a Política de Suporte do .NET para obter mais detalhes sobre esse assunto.
Como resultado, não será mais possível para os usuários utilizar APIs do Apache Spark por meio de C# e F# ou executar código C# em notebooks no Synapse ou por meio das definições de trabalho do Apache Spark no Synapse. É importante observar que essa alteração afeta apenas o Azure Synapse Runtime para Apache Spark 3.3 e superior.
Continuaremos a dar suporte ao .NET para Apache Spark em todas as versões anteriores do Azure Synapse Runtime de acordo com seus estágios de ciclo de vida. No entanto, não temos planos de dar suporte ao .NET para Apache Spark no Azure Synapse Runtime para Apache Spark 3.3 e versões futuras. Recomendamos que os usuários com cargas de trabalho existentes escritas em C# ou F# migrem para Python ou Scala. Os usuários são aconselhados a tomar nota dessa informação e planejar adequadamente.
Bibliotecas
Para verificar as bibliotecas incluídas no Azure Synapse Runtime para Apache Spark 3.3 para Java/Scala, Python e R, acesse Azure Synapse Runtime para Apache Spark 3.3
Próximas etapas
- Gerenciar bibliotecas de pools do Apache Spark no Azure Synapse Analytics
- Instalar botão de rolagem de pacotes de workspace (Python), jar (Scala/Java) ou tar.gz (R)
- Gerenciar pacotes por meio da API REST e do Azure PowerShell
- Gerenciar pacotes no escopo da sessão
- Documentação do Apache Spark 3.3.1
- Conceitos do Apache Spark
Migração entre versões do Apache Spark – suporte
Para obter diretrizes sobre como migrar de versões de runtime mais antigas para o Azure Synapse Runtime para Apache Spark 3.3 ou 3.4, consulte Visão geral do Runtime para Apache Spark.