Gestire la configurazione di Apache Spark

In questa esercitazione si apprenderà come creare una configurazione di Apache Spark per Synapse Studio. È possibile gestire la configurazione di Apache Spark creata in modo standardizzato e quando si crea la definizione del processo Notebook o Apache Spark è possibile selezionare la configurazione di Apache Spark che si desidera usare con il pool di Apache Spark. Quando si seleziona questa voce, vengono visualizzati i dettagli della configurazione.

Creare una configurazione di Apache Spark

È possibile creare configurazioni personalizzate da punti di ingresso diversi, ad esempio dalla pagina di configurazione di Apache Spark di un pool di Spark esistente.

Creare configurazioni personalizzate nelle configurazioni di Apache Spark

Seguire questa procedura per creare una configurazione di Apache Spark in Synapse Studio.

1. Selezionare Gestisci>configurazioni di Apache Spark.

2. Fare clic sul pulsante Nuovo per creare una nuova configurazione di Apache Spark, oppure fare clic su Importa un file di .json locale nell'area di lavoro.

3. La pagina Nuova configurazione di Apache Spark verrà aperta dopo aver fatto clic sul pulsante Nuovo.

4. In Nomeè possibile immettere il nome preferito e valido.

5. In Descrizioneè possibile immettere una descrizione.

6. In Annotazioni, è possibile aggiungere annotazioni facendo clic sul pulsante Nuovo; è anche possibile eliminare le annotazioni esistenti selezionando e facendo clic sul pulsante Elimina.

7. In Proprietà di configurazione, personalizzare la configurazione facendo clic sul pulsante Aggiungi per aggiungere proprietà. Se non si aggiunge una proprietà, Azure Synapse userà il valore predefinito, se applicabile.

   

8. Fare clic sul pulsante Continua.

9. Fare clic sul pulsante Crea al termine della convalida.

10. Pubblica tutto

Nota

È stata rimossa la funzionalità di configurazione di Apache Spark, tuttavia, Synapse Studio manterrà la configurazione caricata in precedenza.

Creare una configurazione di Apache Spark nel pool di Apache Spark già esistente

Seguire questa procedura per creare una configurazione di Apache Spark in un pool di Apache Spark esistente.

1. Selezionare un pool di Apache Spark esistente e fare clic sul pulsante di azione "...".

2. Selezionare la configurazione di Apache Spark nell'elenco dei contenuti.

   

3. Per la configurazione di Apache Spark, è possibile selezionare una configurazione già creata nell'elenco a discesa oppure fare clic su +Nuovo per creare una nuova configurazione.

   • Se si fa clic su +Nuovo, verrà aperta la pagina Configurazione di Apache Spark e sarà possibile creare una nuova configurazione seguendo la procedura descritta in Creare configurazioni personalizzate nelle configurazioni di Apache Spark.

   • Se si seleziona una configurazione esistente, i dettagli di configurazione verranno visualizzati nella parte inferiore della pagina; è anche possibile fare clic sul pulsante Modifica per modificare la configurazione esistente.

     

4. Fare clic su Visualizza configurazioni per aprire la pagina Selezionare una configurazione. Tutte le configurazioni verranno visualizzate in questa pagina. È possibile selezionare una configurazione che si desidera usare in questo pool di Apache Spark.

   

5. Fare clic sul pulsante Applica per salvare l'azione.

Creare una configurazione di Apache Spark nella sessione di configurazione del notebook

Se è necessario usare una configurazione di Apache Spark personalizzata durante la creazione di un notebook, è possibile crearla e configurarla nella sessione di configurazione seguendo questa procedura.

1. Creare un notebook nuovo/Aprire un notebook esistente.

2. Aprire le proprietà di questo notebook.

3. Fare clic su Configura sessione per aprire la pagina Configura sessione.

4. Scorrere verso il basso nella pagina Configura sessione, per la configurazione di Apache Spark, espandere il menu a discesa, fare clic sul pulsante Nuovo per creare una nuova configurazione. In alternativa, selezionare una configurazione esistente; se si seleziona una configurazione esistente, fare clic sull'icona Modifica per passare alla pagina Modifica configurazione di Apache Spark e modificare la configurazione.

5. Fare clic su Visualizza configurazioni per aprire la pagina Selezionare una configurazione. Tutte le configurazioni verranno visualizzate in questa pagina. È possibile selezionare una configurazione da usare.

   

Creare una configurazione di Apache Spark nelle definizioni dei processi Apache Spark

Quando si crea una definizione di processo Spark, è necessario usare la configurazione di Apache Spark, che è possibile creare seguendo questa procedura:

1. Creare una nuova definizione/Aprire una definizione di processo Apache Spark esistente.

2. Per la configurazione di Apache Spark, è possibile fare clic sul pulsante Nuovo per creare una nuova configurazione. In alternativa, selezionare una configurazione esistente nel menu a discesa; se si seleziona una configurazione esistente, fare clic sull'icona Modifica per passare alla pagina Modifica configurazione di Apache Spark e modificare la configurazione.

3. Fare clic su Visualizza configurazioni per aprire la pagina Selezionare una configurazione. Tutte le configurazioni verranno visualizzate in questa pagina. È possibile selezionare una configurazione da usare.

   

Nota

Se la configurazione di Apache Spark nel notebook e la definizione del processo Apache Spark di configurazione Apache Spark non esegue operazioni speciali, durante l'esecuzione del processo verrà usata la configurazione predefinita.

Importare ed esportare una configurazione di Apache Spark

È possibile importare una configurazione .txt/.conf/.json in tre formati e quindi convertirla in artefatto e pubblicarla. È anche possibile esportare in uno di questi tre formati.

• Importare la configurazione .txt/.conf/.json da locale.

  

• Esportare la configurazione .txt/.conf/.json in locale.

  

Per file di configurazione .txt e .conf, è possibile fare riferimento agli esempi seguenti:

spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

Per file di configurazione .json, è possibile fare riferimento agli esempi seguenti:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}

Nota

Synapse Studio continuerà a supportare i file di configurazione basati su terraform o bicep.

Passaggi successivi

• Usare il pool di Apache Spark serverless in Synapse Studio.
• Eseguire un'applicazione Spark nel notebook.
• Creare una definizione di processo Apache Spark in Azure Studio.
• Raccogliere log e metriche delle applicazioni Apache Spark con l'account di archiviazione di Azure.
• Raccogliere log e metriche delle applicazioni Apache Spark con Hub eventi di Azure.