Supervision d’Azure Databricks
azure Databricks est un service d’analytique rapide et puissant Apache Spark, qui facilite le développement et le déploiement rapide de solutions d’analytique big data et d’intelligence artificielle (IA). De nombreux utilisateurs tirent parti de la simplicité des notebooks dans leurs solutions Azure Databricks. Pour les utilisateurs qui nécessitent des options de calcul plus robustes, Azure Databricks prend en charge l’exécution distribuée du code d’application personnalisé.
La supervision est une partie essentielle de n’importe quelle solution au niveau de la production, et Azure Databricks offre des fonctionnalités robustes pour surveiller les métriques d’application personnalisées, les événements de requête de streaming et les messages de journal des applications. Azure Databricks peut envoyer ces données de surveillance à différents services de journalisation.
Les articles suivants montrent comment envoyer des données de surveillance d’Azure Databricks à azure Monitor, la plateforme de données de surveillance pour Azure.
- Envoyer les journaux des applications Azure Databricks à Azure Monitor
- Utiliser des tableaux de bord pour visualiser les métriques Azure Databricks
- Résoudre les problèmes de goulot d’étranglement des performances
La bibliothèque de code qui accompagne ces articles étend les fonctionnalités de supervision principales d’Azure Databricks pour envoyer des métriques Spark, des événements et des informations de journalisation à Azure Monitor.
L’audience de ces articles et de la bibliothèque de code associée est apache Spark et les développeurs de solutions Azure Databricks. Le code doit être intégré dans des fichiers JAR (Java Archive), puis déployés sur un cluster Azure Databricks. Le code est une combinaison de fichiers Scala et Java, avec un ensemble correspondant de fichiers Maven de modèle objet projet (POM) pour générer les fichiers JAR de sortie. La compréhension de Java, Scala et Maven est recommandée en tant que conditions préalables.
Étapes suivantes
Commencez par créer la bibliothèque de code et la déployer sur votre cluster Azure Databricks.