Apache Spark-configuratie beheren
In dit artikel leert u hoe u een Apache Spark-configuratie maakt voor uw Synapse Studio. De gemaakte Apache Spark-configuratie kan op een gestandaardiseerde manier worden beheerd en wanneer u Notebook of Apache Spark-taakdefinitie maakt, kan de Apache Spark-configuratie selecteren die u wilt gebruiken met uw Apache Spark-pool. Wanneer u deze selecteert, worden de details van de configuratie weergegeven.
Een Apache Spark-configuratie maken
U kunt aangepaste configuraties maken op basis van verschillende toegangspunten, zoals op de Apache Spark-configuratiepagina van een bestaande Spark-pool.
Aangepaste configuraties maken in Apache Spark-configuraties
Volg de onderstaande stappen om een Apache Spark-configuratie te maken in Synapse Studio.
Selecteer Apache Spark-configuraties beheren>.
Selecteer de knop Nieuw om een nieuwe Apache Spark-configuratie te maken of selecteer Een lokaal .json-bestand importeren in uw werkruimte.
De pagina Nieuwe Apache Spark-configuratie wordt geopend nadat u de knop Nieuw hebt geselecteerd.
Voor Naam kunt u de gewenste en geldige naam invoeren.
Voor Beschrijving kunt u hierin een beschrijving invoeren.
Voor aantekeningen kunt u aantekeningen toevoegen door op de knop Nieuw te klikken en ook bestaande aantekeningen te verwijderen door de knop Verwijderen te selecteren en op De knop Verwijderen te klikken.
Voor configuratie-eigenschappen past u de configuratie aan door op de knop Toevoegen te klikken om eigenschappen toe te voegen. Als u geen eigenschap toevoegt, gebruikt Azure Synapse indien van toepassing de standaardwaarde.
Selecteer de knop Doorgaan .
Selecteer de knop Maken wanneer de validatie is geslaagd.
Alles publiceren.
Notitie
De configuratiefunctie voor het uploaden van Apache Spark is verwijderd.
Pools die een geüploade configuratie gebruiken, moeten worden bijgewerkt. Werk de configuratie van uw pool bij door een bestaande configuratie te selecteren of een nieuwe configuratie te maken in het apache Spark-configuratiemenu voor de pool. Als er geen nieuwe configuratie is geselecteerd, worden taken voor deze pools uitgevoerd met behulp van de standaardconfiguratie in de Spark-systeeminstellingen.
Een Apache Spark-configuratie maken in al bestaande Apache Spark-pool
Volg de onderstaande stappen om een Apache Spark-configuratie te maken in een bestaande Apache Spark-pool.
Selecteer een bestaande Apache Spark-pool en selecteer de actie '...' knoop.
Selecteer de Apache Spark-configuratie in de inhoudslijst.
Voor Apache Spark-configuratie kunt u een al gemaakte configuratie selecteren in de vervolgkeuzelijst of +Nieuw selecteren om een nieuwe configuratie te maken.
Als u +Nieuw selecteert, wordt de pagina Apache Spark-configuratie geopend en kunt u een nieuwe configuratie maken door de stappen te volgen in Aangepaste configuraties maken in Apache Spark-configuraties.
Als u een bestaande configuratie selecteert, worden de configuratiegegevens onder aan de pagina weergegeven. U kunt ook de knop Bewerken selecteren om de bestaande configuratie te bewerken.
Selecteer Configuraties weergeven om de pagina Een configuratie selecteren te openen. Alle configuraties worden weergegeven op deze pagina. U kunt een configuratie selecteren die u wilt gebruiken voor deze Apache Spark-pool.
Selecteer De knop Toepassen om uw actie op te slaan.
Een Apache Spark-configuratie maken in de configuratiesessie van het notebook
Als u een aangepaste Apache Spark-configuratie moet gebruiken bij het maken van een notebook, kunt u deze maken en configureren in de configuratiesessie door de onderstaande stappen te volgen.
Maak een nieuw/open een bestaand notitieblok.
Open de eigenschappen van dit notitieblok.
Selecteer Sessie configureren om de pagina Sessie configureren te openen.
Schuif omlaag op de pagina Sessie configureren, voor Apache Spark-configuratie, vouw de vervolgkeuzelijst uit. U kunt de knop Nieuw selecteren om een nieuwe configuratie te maken. Als u een bestaande configuratie selecteert, selecteert u het pictogram Bewerken om naar de pagina Apache Spark-configuratie bewerken te gaan om de configuratie te bewerken.
Selecteer Configuraties weergeven om de pagina Een configuratie selecteren te openen. Alle configuraties worden weergegeven op deze pagina. U kunt een configuratie selecteren die u wilt gebruiken.
Een Apache Spark-configuratie maken in Apache Spark-taakdefinities
Wanneer u een Spark-taakdefinitie maakt, moet u de Apache Spark-configuratie gebruiken. Deze kan worden gemaakt door de onderstaande stappen te volgen:
Maak een nieuwe/open een bestaande Apache Spark-taakdefinitie.
Voor Apache Spark-configuratie kunt u de knop Nieuw selecteren om een nieuwe configuratie te maken. Of selecteer een bestaande configuratie in de vervolgkeuzelijst, als u een bestaande configuratie selecteert, selecteert u het pictogram Bewerken om naar de pagina Apache Spark-configuratie bewerken te gaan om de configuratie te bewerken.
Selecteer Configuraties weergeven om de pagina Een configuratie selecteren te openen. Alle configuraties worden weergegeven op deze pagina. U kunt een configuratie selecteren die u wilt gebruiken.
Notitie
Als de Apache Spark-configuratie in de notebook- en Apache Spark-taakdefinitie niets speciaals doet, wordt de standaardconfiguratie gebruikt bij het uitvoeren van de taak.
Een Apache Spark-configuratie importeren en exporteren
U kunt .txt/.conf/.json configuratie in drie indelingen importeren en vervolgens converteren naar artefact en publiceren. En kan ook exporteren naar een van deze drie indelingen.
Importeer .txt/.conf/.json configuratie van lokaal.
Exporteer .txt/.conf/.json-configuratie naar lokaal.
Raadpleeg de volgende voorbeelden voor .txt configuratiebestand en .conf-configuratiebestand:
spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2
Raadpleeg de volgende voorbeelden voor .json configuratiebestand:
{
"configs": {
"spark.synapse.key1": "hello world",
"spark.synapse.key2": "true"
},
"annotations": [
"Sample"
]
}
Notitie
Synapse Studio blijft ondersteuning bieden voor terraform- of bicep-gebaseerde configuratiebestanden.