Monitoramento do Azure Databricks
Azure Databricks é um serviço de análise rápido e poderoso baseado no Apache Sparkque facilita o desenvolvimento e a implantação rápida de soluções de análise de Big Data e inteligência artificial (IA). Muitos usuários aproveitam a simplicidade dos notebooks em suas soluções do Azure Databricks. Para usuários que exigem opções de computação mais robustas, o Azure Databricks dá suporte à execução distribuída do código do aplicativo personalizado.
O monitoramento é uma parte crítica de qualquer solução de nível de produção, e o Azure Databricks oferece funcionalidade robusta para monitorar métricas personalizadas de aplicativo, eventos de consulta de streaming e mensagens de log de aplicativos. O Azure Databricks pode enviar esses dados de monitoramento para diferentes serviços de log.
Os artigos a seguir mostram como enviar dados de monitoramento do Azure Databricks para do Azure Monitor, a plataforma de dados de monitoramento do Azure.
- enviar logs de aplicativos do Azure Databricks para o Azure Monitor
- Usar dashboards para visualizar as métricas do Azure Databricks
- Solucionar problemas de gargalos de desempenho
A biblioteca de códigos que acompanha esses artigos estende a funcionalidade de monitoramento principal do Azure Databricks para enviar métricas, eventos e informações de log do Spark para o Azure Monitor.
O público-alvo desses artigos e a biblioteca de códigos que acompanham são os desenvolvedores de soluções do Apache Spark e do Azure Databricks. O código deve ser integrado aos arquivos JAR (Arquivo Java) e, em seguida, implantado em um cluster do Azure Databricks. O código é uma combinação de Scala e Java, com um conjunto correspondente de arquivos de Modelo de Objeto de Projeto (POM) do Maven para criar os arquivos JAR de saída. Noções básicas sobre Java, Scala e Maven são recomendados como pré-requisitos.
Próximas etapas
Comece criando a biblioteca de códigos e implantando-a no cluster do Azure Databricks.