Detetar dados
O Azure Databricks fornece um conjunto de ferramentas e produtos que simplificam a descoberta de ativos de dados acessíveis por meio da Plataforma de Inteligência de Dados Databricks. Este artigo fornece uma visão geral opinativa de como você pode descobrir e visualizar dados que já foram configurados para acesso em seu espaço de trabalho.
- Para se conectar a fontes de dados, consulte Conectar-se a fontes de dados.
- Para obter informações sobre como obter acesso a dados no Databricks Marketplace, consulte O que é o Databricks Marketplace?.
Os tópicos desta seção se concentram na exploração de objetos de dados e arquivos de dados. Se você estiver procurando informações sobre como trabalhar com ativos como blocos de anotações, consultas SQL, bibliotecas e modelos, consulte Navegar no espaço de trabalho.
Se você estiver procurando orientação sobre como gerar estatísticas de resumo para conjuntos de dados ou outras tarefas associadas à análise exploratória de dados (EDA), consulte Análise exploratória de dados no Azure Databricks: ferramentas e técnicas.
Como você pode descobrir ativos de dados?
As ferramentas de descoberta de dados no Azure Databricks se enquadram nas seguintes categorias gerais:
- Insights, resumo e pesquisa assistidos por IA.
- Pesquisa por palavra-chave.
- Exploração do catálogo usando a interface do usuário.
- Listagem programática e exploração de metadados.
As ferramentas de descoberta de dados são otimizadas para dados regidos pelo Unity Catalog. Os ativos de dados que não foram registrados como objetos do Unity Catalog podem não ser detetáveis usando algumas dessas abordagens.
Localizar dados usando a interface do usuário
O Catalog Explorer fornece ferramentas para explorar e controlar ativos de dados. Você acessa o Catalog Explorer usando o catálogo na barra lateral do espaço de trabalho. Consulte O que é o Catalog Explorer?.
Os blocos de anotações e o editor de consultas SQL também fornecem um navegador de catálogo para explorar objetos de banco de dados. Clique no ícone Catálogo nessas interfaces para expandir ou recolher o navegador de catálogo sem sair do editor de códigos.
Depois de descobrir um conjunto de dados de interesse, você pode usar a guia Insights para saber como os dados estão sendo usados em seu espaço de trabalho. Consulte Ver consultas frequentes e utilizadores de uma tabela.
Explore dados programaticamente
Você pode usar o SHOW
comando em todos os objetos de banco de dados para descobrir ativos registrados no Unity Catalog. Use o LIST
comando, o %fs
comando magic ou Databricks Utilities para listar arquivos.
Consulte Explorar armazenamento e localizar arquivos de dados e Explorar objetos de banco de dados.
Rever comentários de dados
Você pode revisar os comentários para saber mais sobre o conteúdo dos conjuntos de dados disponíveis em sua casa do lago. Os comentários podem ser definidos em objetos de dados, incluindo catálogos, esquemas, tabelas e colunas. Você pode exibir comentários no Catalog Explorer ou usando o DESCRIBE
comando para um objeto.
O Catalog Explorer pode fornecer comentários gerados por IA para tabelas, o que torna mais fácil para os proprietários de ativos de dados fornecer uma visão geral avançada dos conjuntos de dados. Consulte Adicionar comentários gerados por IA a objetos do Catálogo Unity.
Os usuários também podem, opcionalmente, fornecer comentários sobre tabelas e outros objetos de banco de dados usando markdown, que é renderizado no Gerenciador de Catálogos. Consulte Adicionar comentários a dados e ativos de IA.
Procure mesas na sua casa no lago
Você pode usar a barra de pesquisa no Azure Databricks para localizar tabelas registradas no Unity Catalog. Você pode executar uma pesquisa por palavra-chave ou usar a pesquisa semântica para localizar conjuntos de dados ou colunas relacionados à sua consulta de pesquisa. A pesquisa retorna apenas resultados para tabelas que você tem permissão para ver. Revisa de pesquisa nomes de tabelas, nomes de colunas, comentários de tabelas e comentários de colunas. Consulte Pesquisar objetos de espaço de trabalho.