Hantera Apache Spark-konfiguration
I den här artikeln får du lära dig hur du skapar en Apache Spark-konfiguration för synapse Studio. Den skapade Apache Spark-konfigurationen kan hanteras på ett standardiserat sätt och när du skapar notebook- eller Apache Spark-jobbdefinitionen kan du välja den Apache Spark-konfiguration som du vill använda med din Apache Spark-pool. När du väljer den visas information om konfigurationen.
Skapa en Apache Spark-konfiguration
Du kan skapa anpassade konfigurationer från olika startpunkter, till exempel från Apache Spark-konfigurationssidan för en befintlig Spark-pool.
Skapa anpassade konfigurationer i Apache Spark-konfigurationer
Följ stegen nedan för att skapa en Apache Spark-konfiguration i Synapse Studio.
Välj Hantera>Apache Spark-konfigurationer.
Välj knappen Ny för att skapa en ny Apache Spark-konfiguration eller välj Importera en lokal .json fil till din arbetsyta.
Ny Apache Spark-konfigurationssida öppnas när du har valt Ny knapp.
Som Namn kan du ange önskat och giltigt namn.
För Beskrivning kan du ange en beskrivning i den.
För Anteckningar kan du lägga till anteckningar genom att klicka på knappen Nytt , och du kan även ta bort befintliga anteckningar genom att välja och klicka på knappen Ta bort .
För Konfigurationsegenskaper anpassar du konfigurationen genom att klicka på knappen Lägg till för att lägga till egenskaper. Om du inte lägger till en egenskap använder Azure Synapse standardvärdet när det är tillämpligt.
Välj knappen Fortsätt .
Välj knappen Skapa när valideringen lyckades.
Publicera alla.
Kommentar
Apache Spark-konfigurationsfunktionen har tagits bort.
Pooler som använder en uppladdad konfiguration måste uppdateras. Uppdatera poolens konfiguration genom att välja en befintlig konfiguration eller skapa en ny konfiguration på Apache Spark-konfigurationsmenyn för poolen. Om ingen ny konfiguration har valts körs jobben för dessa pooler med standardkonfigurationen i Spark-systeminställningarna.
Skapa en Apache Spark-konfiguration i en redan befintlig Apache Spark-pool
Följ stegen nedan för att skapa en Apache Spark-konfiguration i en befintlig Apache Spark-pool.
Välj en befintlig Apache Spark-pool och välj åtgärden "..." knapp.
Välj Apache Spark-konfigurationen i innehållslistan.
För Apache Spark-konfiguration kan du välja en konfiguration som redan har skapats i listrutan eller välja +Ny för att skapa en ny konfiguration.
Om du väljer +Ny öppnas sidan Apache Spark-konfiguration och du kan skapa en ny konfiguration genom att följa stegen i Skapa anpassade konfigurationer i Apache Spark-konfigurationer.
Om du väljer en befintlig konfiguration visas konfigurationsinformationen längst ned på sidan. Du kan också välja knappen Redigera för att redigera den befintliga konfigurationen.
Välj Visa konfigurationer för att öppna sidan Välj en konfiguration . Alla konfigurationer visas på den här sidan. Du kan välja en konfiguration som du vill använda i den här Apache Spark-poolen.
Välj knappen Använd för att spara åtgärden.
Skapa en Apache Spark-konfiguration i notebook-konfigurationssessionen
Om du behöver använda en anpassad Apache Spark-konfiguration när du skapar en notebook-fil kan du skapa och konfigurera den i konfigurationssessionen genom att följa stegen nedan.
Skapa en ny/öppna en befintlig anteckningsbok.
Öppna egenskaperna för den här notebook-filen.
Välj Konfigurera session för att öppna sidan Konfigurera session.
Rulla nedåt på sidan konfigurera session, för Apache Spark-konfiguration expanderar du den nedrullningsbara menyn, du kan välja Ny knapp för att skapa en ny konfiguration. Eller välj en befintlig konfiguration. Om du väljer en befintlig konfiguration väljer du ikonen Redigera för att gå till sidan Redigera Apache Spark-konfiguration för att redigera konfigurationen.
Välj Visa konfigurationer för att öppna sidan Välj en konfiguration . Alla konfigurationer visas på den här sidan. Du kan välja en konfiguration som du vill använda.
Skapa en Apache Spark-konfiguration i Apache Spark-jobbdefinitioner
När du skapar en spark-jobbdefinition måste du använda Apache Spark-konfigurationen, som kan skapas genom att följa stegen nedan:
Skapa en ny/öppna en befintlig Apache Spark-jobbdefinition.
För Apache Spark-konfiguration kan du välja knappen Nytt för att skapa en ny konfiguration. Eller välj en befintlig konfiguration i den nedrullningsbara menyn. Om du väljer en befintlig konfiguration väljer du ikonen Redigera för att gå till sidan Redigera Apache Spark-konfiguration för att redigera konfigurationen.
Välj Visa konfigurationer för att öppna sidan Välj en konfiguration . Alla konfigurationer visas på den här sidan. Du kan välja en konfiguration som du vill använda.
Kommentar
Om Apache Spark-konfigurationen i notebook- och Apache Spark-jobbdefinitionen inte gör något speciellt används standardkonfigurationen när jobbet körs.
Importera och exportera en Apache Spark-konfiguration
Du kan importera .txt/.conf/.json konfiguration i tre format och sedan konvertera den till artefakt och publicera den. Och kan också exportera till något av dessa tre format.
Importera .txt/.conf/.json konfiguration från lokalt.
Exportera konfigurationen .txt/.conf/.json till lokal.
För .txt konfigurationsfil och .conf-konfigurationsfil kan du se följande exempel:
spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2
För .json konfigurationsfil kan du läsa följande exempel:
{
"configs": {
"spark.synapse.key1": "hello world",
"spark.synapse.key2": "true"
},
"annotations": [
"Sample"
]
}
Kommentar
Synapse Studio fortsätter att stödja terraform- eller bicep-baserade konfigurationsfiler.