Fabric Runtime 1.1 (EOSA)
Il runtime di Microsoft Fabric è una piattaforma integrata in Azure basata su Apache Spark che consente l'esecuzione e la gestione delle esperienze di Ingegneria dei dati e data science in Fabric. Questo documento illustra i componenti e le versioni di Fabric Runtime 1.1.
Avviso
La data di fine supporto il per Runtime 1.1 è stata annunciata il 12 luglio 2024. Il Runtime 1.1, basato su Apache Spark 3.3, sarà deprecato e disabilitato il 31 marzo 2025. Aggiornare l'area di lavoro e gli ambienti al Runtime 1.2 o al Runtime 1.3. Per il ciclo di vita completo e i criteri di supporto dei runtime di Apache Spark in Fabric, vedere Ciclo di vita dei runtime di Apache Spark in Fabric.
Il runtime 1.1 di Microsoft Fabric è uno dei runtime offerti all'interno della piattaforma Microsoft Fabric. I componenti principali di Runtime 1.1 sono:
- Apache Spark 3.3
- Sistema operativo: Ubuntu 18.04
- Java: 1.8.0_282
- Scala: 2.12.15
- Python: 3.10
- Delta Lake: 2.2
- R: 4.2.2
Suggerimento
Usare sempre la versione di runtime ga più recente per il carico di lavoro di produzione, che attualmente è Runtime 1.3.
Il runtime 1.1 di Microsoft Fabric include una raccolta di pacchetti a livello predefinito, tra cui un'installazione completa di Anaconda e librerie comunemente usate per Java/Scala, Python e R. Queste librerie sono incluse automaticamente quando si usano notebook o processi nella piattaforma Microsoft Fabric. Per un elenco completo delle librerie, vedere la documentazione.
Microsoft Fabric rilascia periodicamente aggiornamenti di manutenzione per il Runtime 1.1, fornendo correzioni di bug, miglioramenti delle prestazioni e patch di sicurezza. Assicurarsi di rimanere aggiornati con questi aggiornamenti per garantire prestazioni e affidabilità ottimali per le attività di elaborazione dei dati. Se si usa il runtime 1.1, è possibile eseguire l'aggiornamento a Runtime 1.3 o a Runtime 1.2 passando a Impostazioni area di lavoro Ingegneria dei dati/Science Spark Settings Environment.If you are currently using Runtime 1.1, you can upgrade to Runtime 1.3 or to Runtime 1.2 by navigating to Workspace Settings > Ingegneria dei dati/Science > Spark Settings > Environment.
Nuove funzionalità e miglioramenti - Apache Spark 3.3.1
Leggere la versione completa delle note sulla versione per una versione specifica di Apache Spark visitando sia Spark 3.3.0 che Spark 3.3.1.
Nuove funzionalità e miglioramenti - Delta Lake 2.2
Controllare le note sulla versione di origine e complete in Delta Lake 2.2.0.
Pacchetti a livello predefinito per Java/Scala
Per un elenco di tutti i pacchetti a livello predefinito per Java, Scala, Python e le rispettive versioni, vedere le note sullal versione.
Migrazione tra versioni diverse di Apache Spark
La migrazione dei carichi di lavoro al Runtime 1.1 di Fabric (Apache Spark 3.3) da una versione precedente di Apache Spark comporta una serie di passaggi per garantire una migrazione senza problemi. Questa guida illustra i passaggi necessari per facilitare la migrazione in modo efficiente ed efficace.
Esaminare le note sulla versione del Runtime 1.1 di Fabric, inclusa la verifica dei componenti e dei pacchetti a livello predefinito inclusi nel runtime, per comprendere le nuove funzionalità e i miglioramenti.
Verificare la compatibilità dell'installazione corrente e di tutte le librerie correlate, incluse dipendenze e integrazioni. Esaminare le guide alla migrazione per identificare potenziali modifiche di particolare importanza:
- Esaminare la Guida alla migrazione di Spark Core.
- Vedere la Guida alla migrazione di SQL, set di dati e DataFrame.
- Se la soluzione è correlata ad Apache Spark Structured Streaming, vedere la Guida alla migrazione di Structured Streaming.
- Se si usa PySpark, vedere la Guida alla migrazione di Pyspark.
- Se si esegue la migrazione del codice da Koalas a PySpark, vedere la Guida alla migrazione da Koalas all'API Pandas in Spark.
Spostare i carichi di lavoro in Fabric e assicurarsi di disporre di backup dei file di configurazione e di dati nel caso in cui sia necessario ripristinare una versione precedente.
Aggiornare le dipendenze che potrebbero influire sulla nuova versione di Apache Spark o su altri componenti correlati al Runtime 1.1 di Fabric, inclusi connettori o librerie di terzi. Assicurarsi di testare le dipendenze aggiornate in un ambiente di gestione temporanea prima della distribuzione in produzione.
Aggiornare la configurazione di Apache Spark nel carico di lavoro, inclusi l'aggiornamento delle impostazioni di configurazione, la modifica delle allocazioni di memoria e la modifica di eventuali configurazioni deprecate.
Modificare le applicazioni Apache Spark (notebook e definizioni processo Apache Spark) per usare le nuove API e funzionalità introdotte in Fabric Runtime 1.1 e Apache Spark 3.3. Potrebbe essere necessario aggiornare il codice nel caso di eventuali API deprecate o rimosse e per effettuare il refactoring delle applicazioni per sfruttare i miglioramenti delle prestazioni e le nuove funzionalità.
Testare accuratamente le applicazioni aggiornate in un ambiente di gestione temporanea per garantire compatibilità e stabilità con Apache Spark 3.3. Eseguire test delle prestazioni, test funzionali e test di regressione per identificare e risolvere eventuali problemi che possono verificarsi durante il processo di migrazione.
Dopo aver convalidato le applicazioni in un ambiente di gestione temporanea, distribuire le applicazioni aggiornate nell'ambiente di produzione. Monitorare le prestazioni e la stabilità delle applicazioni dopo la migrazione per identificare eventuali problemi da risolvere.
Aggiornare la documentazione interna e i materiali di training per riflettere le modifiche introdotte nel Runtime 1.1 di Fabric. Assicurarsi che i membri del team abbiano familiarità con le nuove funzionalità e i miglioramenti per ottimizzare i vantaggi della migrazione.