O que é um espaço do Genie de IA/BI?

Este artigo apresenta o AI/BI Genie, um recurso do Azure Databricks que permite que as equipes de negócios interajam com seus dados usando linguagem natural. Ele usa IA generativa adaptada à terminologia e aos dados da sua organização, com a capacidade de monitorar e refinar seu desempenho por meio de comentários do usuário.

Visão geral

Especialistas na área, como analistas de dados, configuram espaços do Genie com conjuntos de dados, consultas de exemplo e diretrizes de texto para ajudar o Genie a traduzir perguntas de negócios em consultas analíticas. Após a configuração, os usuários empresariais podem fazer perguntas e gerar visualizações para entender os dados operacionais. Você pode atualizar continuamente o conhecimento semântico do Genie conforme seus dados mudam e os usuários fazem novas perguntas. Para obter informações adicionais sobre o DatabricksIQ, consulte Recursos habiilitados pelo DatabricksIQ.

O AI/BI Genie seleciona nomes e descrições relevantes de tabelas e colunas anotadas para converter perguntas de linguagem natural em uma consulta SQL equivalente. Em seguida, ele responde com a consulta gerada e a tabela de resultados, se possível. Se o Genie não puder gerar uma resposta, ele poderá fazer perguntas de acompanhamento para esclarecer antes de fornecer uma resposta.

Casos de uso de exemplo

Você pode criar diferentes espaços do Genie para atender a vários públicos não técnicos. Os cenários a seguir descrevem dois possíveis casos de uso.

Exemplo 1: visualizar status de oportunidade

Um gerente de vendas deseja obter o status atual de oportunidades abertas e fechadas por etapa em seu pipeline de vendas. Eles podem interagir com o espaço do Genie usando a linguagem natural e gerar automaticamente uma visualização.

O gif a seguir mostra essa interação:

Exemplo 2: logística de rastreamento

Uma empresa de logística deseja usar espaços Genie para ajudar usuários empresariais de diferentes departamentos a acompanhar detalhes operacionais e financeiros. Eles criaram um espaço Genie para seus gerentes de instalações de remessa para acompanhar os embarques e outro para seus executivos financeiros entenderem sua saúde financeira.

Como o Genie gera uma resposta

O Genie usa um sistema de IA composto para interpretar perguntas de negócios e gerar respostas. Em vez de usar um único modelo de linguagem grande, os sistemas de IA compostos processam tarefas em aplicativos de IA combinando vários componentes de interação. Os sistemas compostos de IA são um padrão de design cada vez mais comum para aplicativos de IA devido ao seu desempenho e flexibilidade. Para obter mais informações, consulte A Mudança de Modelos para Sistemas de IA Compostos.

Quando um usuário envia uma pergunta, o Genie analisa a solicitação, identifica fontes de dados relevantes e determina como responder ao prompt. As instruções fornecidas, combinadas com os metadados do Catálogo do Unity, permitem que o Genie infera lógica técnica e comercial. O Genie filtra de forma inteligente exemplo de consultas SQL, metadados de tabela e coluna e histórico de chat para selecionar as informações mais relevantes para responder à solicitação.

O Genie usa os seguintes componentes para gerar respostas:

• metadados de tabela: inclui nomes de tabela, descrições e relações de chave primária definida (PK) e FK (chave estrangeira). O Genie usa esses dados à medida que analisa a solicitação e converte o prompt de linguagem natural em SQL.
• Nomes e descrições de coluna: o genie filtra de forma inteligente os nomes e descrições de coluna relevantes a serem incluídos.
• Exemplos de consultas SQL: o Genie seleciona de forma inteligente exemplos relevantes de SQL a partir das Instruções .
• Funções SQL: todas as funções SQL que foram adicionadas ao espaço.
• Instruções: as notas de texto sem formatação fornecidas como Instruções gerais são incluídas como contexto.
• Histórico de interações: mensagens e respostas do chat atual são incluídas como contexto. Se necessário, por causa das limitações de token definidas , as partes mais antigas do registro de chat serão excluídas.

Observação

Alguns detalhes da tabela, como o proprietário e o tamanho da tabela, não são incluídos por padrão. Para acessar essas informações, use exibições do esquema de informações disponíveis para todos os catálogos do Unity Catalog. As exibições padrão podem incluir detalhes desnecessários, portanto, criar uma exibição personalizada em cima disso pode ajudar a se concentrar nas informações específicas de que você precisa. Para obter mais informações sobre o que está disponível no esquema de informações, consulte Esquema de informações.

Se o Genie retornar uma consulta como resultado, ela será executada no SQL Warehouse designado. As novas tentativas são tratadas automaticamente e o SQL Warehouse manipula simultaneidade e escala.

Quais dados devo usar?

Um espaço do Genie pode incluir uma ou mais tabelas registradas no Catálogo do Unity, incluindo tabelas gerenciadas, tabelas externas, tabelas estrangeiras, visões e visões materializadas. O AI/BI Genie usa os metadados anexados aos objetos do Catálogo do Unity para gerar respostas. Conjuntos de dados bem anotados, emparelhados com instruções específicas que você fornece, são fundamentais para criar uma experiência positiva para os usuários finais.

O Databricks recomenda o seguinte:

• Coletar dados para consumo analítico: exibições de camada para reduzir o número de colunas e adicionar informações específicas do caso de uso para aumentar a qualidade da resposta.
• Minimizar o número de tabelas e colunas em um espaço Genie: inclua apenas as tabelas e colunas necessárias para responder perguntas para um determinado domínio. Tabelas ou colunas desnecessárias podem fazer com que o Genie forneça respostas confusas ou incorretas ou exiba uma mensagem de erro.
• Definir relações de chave primária (PK)/FK (chave estrangeira): use o Catálogo do Unity para definir relações PK/FK para que o Genie entenda como seus dados estão conectados.

Ativos confiáveis

Os ativos confiáveis transmitem uma camada extra de garantia na precisão de um resultado para um usuário de espaço. Quando o texto exato de uma consulta de exemplo parametrizada ou função SQL é usado para gerar uma resposta, o Genie marca a resposta como um ativo confiável. Consulte Usar ativos confiáveis em espaços Genie de IA/BI.

Conversas de chat

A maioria das interações de espaço do Genie ocorre em uma janela de chat. Os threads de chat salvam um registro de interações para cada usuário. Cada tópico de chat mantém o contexto sobre perguntas anteriores que foram feitas. O Genie usa o contexto no histórico de chat encadeado para aprender à medida que os usuários fazem perguntas de acompanhamento para explorar mais ou redirecionar um conjunto de resultados.

Usuários com pelo menos acesso de EXIBIÇÃO a um espaço podem exibir seu próprio histórico de chats. Usuários com pelo menos privilégios de EDIÇÃO podem examinar todas as perguntas e respostas na guia Histórico do espaço.

Examinar respostas

A maioria das respostas inclui uma explicação de linguagem natural e uma tabela mostrando o conjunto de resultados relevante. Quando o Genie detecta que uma visualização poderia melhorar a clareza da resposta, ela também retorna uma visualização. A estrutura de resposta precisa varia de acordo com a pergunta. Todas as respostas incluem a consulta SQL gerada para responder à pergunta.

Os usuários e autores do espaço podem examinar as respostas às suas perguntas. Eles podem classificar cada resposta com pontos positivos ou negativos ou solicitar que uma resposta seja revisada. Editores e autores do espaço podem revisar estes comentários usando a guia Histórico no espaço do Genie.

Avalie as respostas com parâmetros de comparação

Os parâmetros de comparação permitem que você amplie o teste e a avaliação de respostas individuais em um espaço Genie. Ao contrário das instruções, os parâmetros de comparação destinam-se a avaliar, não informar, seu espaço Genie. O Genie não usa perguntas de parâmetro de comparação ou SQL de exemplo para melhorar o contexto do Genie.

Ao usar parâmetros de comparação, você pode executar uma coleção de perguntas de teste e usar as respostas para medir a precisão do Genie. Opcionalmente, você pode incluir uma instrução SQL que retorna os resultados esperados. Quando a pergunta de benchmark é executada, a resposta do Genie é comparada aos resultados fornecidos pela instrução SQL e pontuada quanto à precisão. A pergunta será marcada para revisão se nenhuma resposta SQL tiver sido fornecida.

Consulte Usar parâmetros de comparação em um espaço Genie.

Privacidade e segurança

P: Qual modelo o Genie usa?

O Genie usa o modelo OpenAI do Azure.

P: Quais dados estão sendo enviados para o modelo?

Os espaços do Genie geram respostas a perguntas em linguagem natural usando metadados e instruções. O Genie não tem acesso a dados em nível de linha.

Para processar respostas, o Genie usa o seguinte:

• O prompt de linguagem natural enviado pelo usuário
• Nomes e descrições de tabelas
• Títulos e descrições de colunas
• Instruções gerais
• Exemplo de consultas SQL
• Funções do SQL

P: O Azure OpenAI coleta meus dados?

Não. A Databricks optou pelo programa de isenção de monitoramento de abuso e revisão humana, sob o qual a Microsoft não armazena nenhum prompt e conclusão enviado ao serviço Azure OpenAI. Para obter mais informações, consulte a documentação da Microsoft.