Eseguire la migrazione di librerie Spark da Azure Synapse in Fabric
Il pool di Azure Synapse Spark offre diverse opzioni di feed e librerie personalizzate. In Fabric ogni runtime include un set preinstallato di librerie (librerie predefinite). Tuttavia, in base agli scenari e alle esigenze specifiche, è anche possibile includere altre librerie usando librerie di ambiente e librerie inline. Per spostare le librerie del pool di Azure Synapse Spark in Infrastruttura, usare le librerie ambiente.
Per considerazioni sulle librerie Spark, vedere le differenze tra Azure Synapse Spark e Fabric.
Prerequisiti
- Se non esiste ancora, creare un'area di lavoro di Fabric nel tenant.
- Se non esiste ancora, creare un ambiente nell'area di lavoro.
Opzione 1: aggiunta di librerie Spark all'ambiente personalizzato
È possibile spostare le librerie del pool di Spark in un ambiente come indicato di seguito:
- Aprire Synapse Studio: accedere ad Azure. Passare all'area di lavoro di Azure Synapse e aprire Synapse Studio.
-
Individuare le librerie Spark:
- Passare all'area Gestisci e selezionare i pool di Apache Spark.
- Trovare il pool di Apache Spark, selezionare Pacchetti e individuare le librerie Spark per il pool.
- Ottenere librerie Spark: individuare i pacchetti requirements.txt, environment.yml o dell'area di lavoro installati nel pool. Ottenere l'elenco delle librerie installate nel pool.
- Dopo aver creato librerie Spark, aggiungere librerie Spark personalizzate a un ambiente in Fabric. All'interno dell'ambiente passare a Librerie e aggiungere librerie:
- Da Librerie pubbliche è possibile caricare un file .yml. È anche possibile installare librerie usando PyPI e Conda.
- Da Librerie personalizzate è possibile installare librerie usando file .jar/whl/.tar.gz.
- Fare clic su Salva e scegliere Pubblica per le modifiche.
Altre informazioni sull'aggiunta di librerie Spark a un ambiente.
Nota
Tenere presente che l'installazione delle librerie potrebbe richiedere tempo.