Azure Synapse Runtime para Apache Spark 3.3 (EOSA)
O Azure Synapse Analytics dá suporte a vários tempos de execução para o Apache Spark. Este documento aborda os componentes e versões de tempo de execução para o Azure Synapse Runtime for Apache Spark 3.3.
Aviso
Notificação de fim do suporte para o Azure Synapse Runtime for Apache Spark 3.3
- Em 12 de julho de 2024, o fim do suporte foi anunciado para o Azure Synapse Runtime for Apache Spark 3.3.
- A partir de 31 de março de 2025, o Azure Synapse descontinuará o suporte oficial para o Spark 3.3 Runtimes.
- É altamente recomendável que você atualize suas cargas de trabalho baseadas no Apache Spark 3.3 para o Azure Synapse Runtime for Apache Spark 3.4 (GA).
- Para obter informações atualizadas, uma lista detalhada de alterações e notas de versão específicas para tempos de execução do Spark, verifique e assine as versões e atualizações do Spark Runtimes.
Versões de componentes
| Componente | Versão |
|---|---|
| Apache Spark | 3.3.1 |
| Sistema operativo | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3,10 |
| R (Pré-visualização) | 4.2.2 |
Synapse-Python310-CPU.yml contém a lista de bibliotecas fornecidas no ambiente padrão do Python 3.10 no Azure Synapse Spark.
Importante
.NET para Apache Spark
O .NET para Apache Spark é um projeto de código aberto sob o .NET Foundation que atualmente requer a biblioteca .NET 3.1, que atingiu o status de fora do suporte. Gostaríamos de informar os usuários do Azure Synapse Spark sobre a remoção da biblioteca .NET for Apache Spark no Azure Synapse Runtime for Apache Spark versão 3.3. Os usuários podem consultar a Política de Suporte do .NET para obter mais detalhes sobre esse assunto.
Como resultado, não será mais possível para os usuários utilizar APIs do Apache Spark via C# e F#, ou executar código C# em notebooks dentro do Synapse ou através de definições do Apache Spark Job no Synapse. É importante observar que essa alteração afeta apenas o Azure Synapse Runtime para Apache Spark 3.3 e superior.
Continuaremos a oferecer suporte ao .NET para Apache Spark em todas as versões anteriores do Azure Synapse Runtime de acordo com seus estágios de ciclo de vida. No entanto, não temos planos de oferecer suporte ao .NET para Apache Spark no Azure Synapse Runtime para Apache Spark 3.3 e versões futuras. Recomendamos que os usuários com cargas de trabalho existentes escritas em C# ou F# migrem para Python ou Scala. Os utilizadores são aconselhados a tomar nota desta informação e planear em conformidade.
Bibliotecas
Para verificar as bibliotecas incluídas no Azure Synapse Runtime for Apache Spark 3.3 for Java/Scala, Python e R, vá para Azure Synapse Runtime for Apache Spark 3.3
Próximos passos
- Gerenciar bibliotecas para pools do Apache Spark no Azure Synapse Analytics
- Instalar roda de pacotes de espaço de trabalho (Python), jar (Scala/Java) ou tar.gz (R)
- Gerenciar pacotes por meio do Azure PowerShell e da API REST
- Gerenciar pacotes com escopo de sessão
- Documentação do Apache Spark 3.3.1
- Conceitos do Apache Spark
Migração entre versões do Apache Spark - suporte
Para obter orientação sobre como migrar de versões de tempo de execução mais antigas para o Azure Synapse Runtime for Apache Spark 3.3 ou 3.4, consulte Visão geral do Runtime for Apache Spark.