Správa konfigurace Apache Sparku

V tomto článku se dozvíte, jak vytvořit konfiguraci Apache Sparku pro synapse Studio. Vytvořenou konfiguraci Apache Sparku je možné spravovat standardizovaným způsobem a při vytváření definice úlohy Poznámkový blok nebo Apache Spark můžete vybrat konfiguraci Apache Sparku, kterou chcete použít s fondem Apache Spark. Když ji vyberete, zobrazí se podrobnosti o konfiguraci.

Vytvoření konfigurace Apache Sparku

Vlastní konfigurace můžete vytvořit z různých vstupních bodů, například ze stránky konfigurace Apache Sparku existujícího fondu Sparku.

Vytváření vlastních konfigurací v konfiguracích Apache Sparku

Podle následujících kroků vytvořte konfiguraci Apache Sparku v nástroji Synapse Studio.

1. Vyberte Spravovat>konfigurace Apache Sparku.

2. Výběrem tlačítka Nový vytvořte novou konfiguraci Apache Sparku nebo vyberte Importovat místní soubor .json do pracovního prostoru.

3. Po výběru tlačítka Nový se otevře stránka konfigurace Apache Sparku.

4. Jako název můžete zadat preferovaný a platný název.

5. Do popisu můžete zadat nějaký popis.

6. U poznámek můžete přidat poznámky kliknutím na tlačítko Nový a také můžete odstranit existující poznámky tak, že vyberete a kliknete na tlačítko Odstranit .

7. U vlastností konfigurace můžete konfiguraci přizpůsobit kliknutím na tlačítko Přidat a přidat vlastnosti. Pokud nepřidáte vlastnost, Azure Synapse použije výchozí hodnotu, pokud je k dispozici.

   

8. Vyberte tlačítko Pokračovat .

9. Po úspěšném ověření vyberte tlačítko Vytvořit .

10. Publikovat vše

Poznámka:

Byla odebrána funkce konfigurace Apache Sparku.

Fondy používající nahranou konfiguraci je potřeba aktualizovat. Aktualizujte konfiguraci fondu výběrem existující konfigurace nebo vytvořením nové konfigurace v nabídce konfigurace Apache Sparku pro fond. Pokud není vybrána žádná nová konfigurace, budou úlohy pro tyto fondy spuštěny pomocí výchozí konfigurace v nastavení systému Spark.

Vytvoření konfigurace Apache Sparku v již existujícím fondu Apache Spark

Pomocí následujícího postupu vytvořte konfiguraci Apache Sparku v existujícím fondu Apache Spark.

1. Vyberte existující fond Apache Sparku a vyberte akci "..." knoflík.

2. V seznamu obsahu vyberte konfiguraci Apache Sparku.

   

3. V případě konfigurace Apache Sparku můžete vybrat již vytvořenou konfiguraci z rozevíracího seznamu nebo vybrat +Nový a vytvořit novou konfiguraci.

   • Pokud vyberete +Nový, otevře se stránka Konfigurace Apache Sparku a můžete vytvořit novou konfiguraci pomocí kroků v části Vytvoření vlastních konfigurací v konfiguracích Apache Sparku.

   • Pokud vyberete existující konfiguraci, podrobnosti o konfiguraci se zobrazí v dolní části stránky, můžete také vybrat tlačítko Upravit a upravit stávající konfiguraci.

     

4. Výběrem možnosti Zobrazit konfigurace otevřete stránku Vybrat konfiguraci . Na této stránce se zobrazí všechny konfigurace. Můžete vybrat konfiguraci, kterou chcete použít v tomto fondu Apache Sparku.

   

5. Kliknutím na tlačítko Použít akci uložte.

Vytvoření konfigurace Apache Sparku v relaci konfigurace poznámkového bloku

Pokud při vytváření poznámkového bloku potřebujete použít vlastní konfiguraci Apache Sparku, můžete ji vytvořit a nakonfigurovat v relaci konfigurace pomocí následujícího postupu.

1. Vytvořte nový nebo otevřete existující poznámkový blok.

2. Otevřete vlastnosti tohoto poznámkového bloku.

3. Výběrem možnosti Konfigurovat relaci otevřete stránku Konfigurovat relaci.

4. Posuňte se dolů na stránku konfigurace relace, pro konfiguraci Apache Sparku rozbalte rozevírací nabídku, můžete vybrat tlačítko Nový a vytvořit novou konfiguraci. Nebo vyberte existující konfiguraci, pokud vyberete existující konfiguraci, výběrem ikony Upravit přejděte na stránku upravit konfiguraci Apache Sparku a upravte konfiguraci.

5. Výběrem možnosti Zobrazit konfigurace otevřete stránku Vybrat konfiguraci . Na této stránce se zobrazí všechny konfigurace. Můžete vybrat konfiguraci, kterou chcete použít.

   

Vytvoření konfigurace Apache Sparku v definicích úloh Apache Sparku

Při vytváření definice úlohy Sparku musíte použít konfiguraci Apache Sparku, kterou můžete vytvořit pomocí následujícího postupu:

1. Vytvořte novou nebo otevřete existující definici úlohy Apache Sparku.

2. V případě konfigurace Apache Sparku můžete výběrem tlačítka Nový vytvořit novou konfiguraci. Nebo v rozevírací nabídce vyberte existující konfiguraci, pokud vyberete existující konfiguraci, výběrem ikony Upravit přejděte na stránku Upravit konfiguraci Apache Sparku a upravte konfiguraci.

3. Výběrem možnosti Zobrazit konfigurace otevřete stránku Vybrat konfiguraci . Na této stránce se zobrazí všechny konfigurace. Můžete vybrat konfiguraci, kterou chcete použít.

   

Poznámka:

Pokud konfigurace Apache Sparku v definici úlohy Poznámkový blok a Apache Spark nic zvláštního nedělá, použije se při spuštění úlohy výchozí konfigurace.

Import a export konfigurace Apache Sparku

Konfiguraci .txt/.conf/.json můžete importovat ve třech formátech a pak ho převést na artefakt a publikovat ho. A může také exportovat do jednoho z těchto tří formátů.

• Import konfigurace .txt/.conf/.json z místního prostředí.

  

• Export konfigurace .txt/.conf/.json do místního prostředí

  

Konfigurační soubor .txt a konfigurační soubor .conf najdete v následujících příkladech:

spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

Konfigurační soubor .json najdete v následujících příkladech:

{
"configs": {
   "spark.synapse.key1": "hello world",
"spark.synapse.key2": "true"
},
"annotations": [
   "Sample"
]
}

Poznámka:

Synapse Studio bude nadále podporovat konfigurační soubory založené na terraformu nebo bicep.

Související obsah

• Používejte bezserverový fond Apache Sparku ve službě Synapse Studio.
• Spusťte aplikaci Spark v poznámkovém bloku.
• Shromážděte protokoly a metriky aplikací Apache Spark pomocí účtu azure Storage.