Samla in loggar och mått för Apache Spark-program med Hjälp av Azure Event Hubs (förhandsversion)
Diagnostikutfärdartillägget för Fabric Apache Spark är ett bibliotek som gör det möjligt för Apache Spark-program att generera loggar, händelseloggar och mått till olika mål, inklusive Azure Log Analytics, Azure Storage och Azure Event Hubs.
I den här självstudien får du lära dig hur du använder tillägget För diagnostikemitterare i Fabric Apache Spark för att skicka Apache Spark-programloggar, händelseloggar och mått till dina Azure Event Hubs.
Samla in loggar och mått till Azure Event Hubs
Steg 1: Skapa en Azure Event Hubs-instans
Om du vill samla in diagnostikloggar och mått kan du använda en befintlig Azure Event Hubs-instans. Om du inte har någon kan du skapa en händelsehubb.
Steg 2: Skapa en infrastrukturmiljöartefakt med Apache Spark-konfiguration
Alternativ 1: Konfigurera med Anslutningssträng för Azure Event Hubs
Skapa en infrastrukturmiljöartefakt i infrastrukturresurser
Lägg till följande Spark-egenskaper med lämpliga värden i miljöartefakten eller välj Lägg till från .yml i menyfliksområdet för att ladda ned yaml-exempelfilen som redan innehåller följande egenskaper.
spark.synapse.diagnostic.emitters: MyEventHub spark.synapse.diagnostic.emitter.MyEventHub.type: "AzureEventHub" spark.synapse.diagnostic.emitter.MyEventHub.categories: "Log,EventLog,Metrics" spark.synapse.diagnostic.emitter.MyEventHub.secret: <connection-string> spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.Fyll i parametrarna
<connection-string>i konfigurationsfilen. Mer information finns i Azure Event Hubs-konfigurationer.
Alternativ 2: Konfigurera med Azure Key Vault
Kommentar
Känt problem: Det går inte att starta en session med alternativ 2 preliminärt. För närvarande förhindrar lagring av hemligheter i Key Vault Spark-sessioner från att starta. Prioritera konfigurationen med hjälp av den metod som beskrivs i alternativ 1.
Se till att användare som skickar Apache Spark-program beviljas läshemliga behörigheter. Mer information finns i Ge åtkomst till Key Vault-nycklar, certifikat och hemligheter med en rollbaserad åtkomstkontroll i Azure.
Så här konfigurerar du Azure Key Vault för lagring av arbetsytenyckeln:
Skapa och gå till ditt nyckelvalv i Azure Portal.
På inställningssidan för nyckelvalvet väljer du Hemligheter och sedan Generera/importera.
Välj följande värden på skärmen Skapa en hemlighet:
- Namn: Ange ett namn för hemligheten.
- Värde: Ange
<connection-string>för hemligheten. - Lämna standardvärdena för de andra alternativen. Välj sedan Skapa.
Skapa en infrastrukturmiljöartefakt i infrastrukturresurser.
Lägg till följande Spark-egenskaper. Eller välj Lägg till från .yml i menyfliksområdet för att ladda ned yaml-exempelfilen, som innehåller följande Spark-egenskaper.
spark.synapse.diagnostic.emitters: MyEventHub spark.synapse.diagnostic.emitter.MyEventHub.type: "AzureEventHub" spark.synapse.diagnostic.emitter.MyEventHub.categories: "Log,EventLog,Metrics" spark.synapse.diagnostic.emitter.MyEventHub.secret.keyVault: <AZURE_KEY_VAULT_NAME> spark.synapse.diagnostic.emitter.MyEventHub.secret.keyVault.secretName: <AZURE_KEY_VAULT_SECRET_KEY_NAME> spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.Fyll i följande parametrar i konfigurationsfilen:
<AZURE_KEY_VAULT_NAME>,<AZURE_KEY_VAULT_SECRET_KEY_NAME>. Mer information om dessa parametrar finns i Azure Event Hubs-konfigurationer.Spara och publicera ändringarna.
Steg 3: Koppla miljöartefakten till notebook-filer eller Spark-jobbdefinitioner eller ange den som standard för arbetsytan
Så här kopplar du miljön till notebook- eller Spark-jobbdefinitioner:
- Navigera till den specifika notebook-filen eller Spark-jobbdefinitionen i Infrastrukturresurser.
- Välj menyn Miljö på fliken Start och välj miljön med de konfigurerade Spark-egenskaperna för diagnostik.
- Konfigurationen tillämpas när du startar en Spark-session.
Så här anger du miljön som standard för arbetsytan:
- Gå till Arbetsyteinställningar i Infrastrukturresurser.
- Hitta Spark-inställningarna i inställningarna för arbetsytan (inställningen Arbetsyta –> Dataingenjör ing/Science –> Spark-inställningar).
- Välj fliken Miljö och välj miljön med diagnostik spark-egenskaper konfigurerade och klicka på Spara.
Kommentar
Endast arbetsyteadministratörer kan hantera konfigurationer av arbetsytor. Ändringar som görs här gäller för alla notebook-filer och Spark-jobbdefinitioner som är kopplade till arbetsyteinställningarna. Mer information finns i Inställningar för infrastrukturarbetsyta.
Tillgängliga konfigurationer
Kommentar
Azure Eventhub-instansen anslutningssträng ska alltid innehålla EntityPath, som är namnet på Azure Event Hubs-instansen.
Exempel på loggdata
Här är en exempelloggpost i JSON-format:
{
"timestamp": "2024-09-06T03:09:37.235Z",
"category": "Log|EventLog|Metrics",
"fabricLivyId": "<fabric-livy-id>",
"applicationId": "<application-id>",
"applicationName": "<application-name>",
"executorId": "<driver-or-executor-id>",
"fabricTenantId": "<my-fabric-tenant-id>",
"capacityId": "<my-fabric-capacity-id>",
"artifactType": "SynapseNotebook|SparkJobDefinition",
"artifactId": "<my-fabric-artifact-id>",
"fabricWorkspaceId": "<my-fabric-workspace-id>",
"fabricEnvId": "<my-fabric-environment-id>",
"executorMin": "<executor-min>",
"executorMax": "<executor-max>",
"isHighConcurrencyEnabled": "true|false",
"properties": {
// The message properties of logs, events and metrics.
"timestamp": "2024-09-06T03:09:37.235Z",
"message": "Initialized BlockManager: BlockManagerId(1, vm-04b22223, 34319, None)",
"logger_name": "org.apache.spark.storage.BlockManager",
"level": "INFO",
"thread_name": "dispatcher-Executor"
//...
}
}
Infrastrukturarbetsytor med hanterat virtuellt nätverk
Skapa en hanterad privat slutpunkt för azure-målhändelsehubbar. Detaljerade anvisningar finns i Skapa och använda hanterade privata slutpunkter i Microsoft Fabric – Microsoft Fabric.
När den hanterade privata slutpunkten har godkänts kan användarna börja generera loggar och mått till azure-målhändelsehubbar.