Monitoraggio di Azure Databricks
Azure Databricks è un servizio rapido e potente di analisi, basato su Apache Spark, che semplifica lo sviluppo e la distribuzione rapida di soluzioni di analisi dei Big Data e di intelligenza artificiale. Molti utenti sfruttano la semplicità dei notebook nelle soluzioni Azure Databricks. Per gli utenti che richiedono opzioni di elaborazione più affidabili, Azure Databricks supporta l'esecuzione distribuita del codice dell'applicazione personalizzata.
Il monitoraggio è una parte fondamentale di qualsiasi soluzione a livello di produzione e Azure Databricks offre funzionalità affidabili per il monitoraggio di metriche dell'applicazione personalizzate, eventi di query di streaming e messaggi del log applicazioni. Azure Databricks può inviare questi dati di monitoraggio a diversi servizi di registrazione.
Gli articoli seguenti illustrano come inviare dati di monitoraggio da Azure Databricks a Azure Monitor, la piattaforma di dati di monitoraggio di Azure.
- Inviare i log delle applicazioni di Azure Databricks al Monitoraggio di Azure
- Usare i dashboard per visualizzare le metriche di Azure Databricks
- Analizzare le strozzature delle prestazioni
La libreria di codice che accompagna questi articoli estende le funzionalità di monitoraggio di base di Azure Databricks per inviare metriche, eventi e informazioni di registrazione Spark ad Azure Monitor.
I destinatari di questi articoli e la libreria di codice associata sono sviluppatori di soluzioni Apache Spark e Azure Databricks. Il codice deve essere integrato in file jar (Java Archive) e quindi distribuito in un cluster Azure Databricks. Il codice è una combinazione di Scala e Java, con un set corrispondente di file POM (modello a oggetti del progetto) di Maven per compilare i file JAR di output. Le informazioni su Java, Scala e Maven sono consigliate come prerequisiti.
Passaggi successivi
Per iniziare, compilare la libreria di codice e distribuirla nel cluster Azure Databricks.