Compartilhar via

Configuração e considerações para ai_generate_text()

  • Artigo

Importante

Esse recurso está em uma versão prévia.

Aviso

A função IA ai_generate_text() foi preterida. O Databricks recomenda o uso de ai_query com modelos externos.

Este artigo descreve o que considerar e o que configurar antes de começar a usar a função ai_generate_text(), especificamente como recuperar credenciais de autenticação e armazená-las com segurança. Ele também inclui limitações de funcionalidade e considerações de custo-desempenho.

O que é ai_generate_text()?

A função ai_generate_text() é uma função interna do SQL do Azure Databricks que permite acessar LLMs (modelos de linguagem grande) diretamente do SQL. Atualmente, essa função dá suporte ao acesso a modelos OpenAI e OpenAI do Azure e permite que os clientes os usem como blocos de construção em pipelines de dados e cargas de trabalho de machine learning. Para obter padrões de sintaxe e design, consulte o conteúdo manual da linguagem de função ai_generate_text.

Possíveis casos de uso para ai_generate_text() incluir tradução, resumo, ações recomendadas, identificação de tópicos ou temas e muito mais.

Veja a seguir algumas vantagens de usar LLMs no Azure Databricks:

  • Camada de gerenciamento e acesso unificado em código aberto e LLMs proprietárias.
  • Infraestrutura llm integrada a dados sem servidor, dimensionamento automático.
  • Simplicidade de ponto e clique para personalizar LLMs para seus requisitos de negócios e casos de uso.
  • Para usuários avançados, ferramentas para desenvolvimento rápido e personalização de LLMs código aberto.

Requisitos

  • Registro na Versão prévia Pública do AI Functions. Para se inscrever na visualização pública, preencha e envie o formulário de inscrição da visualização pública do AI Functions.
  • SQL Pro ou Sem Servidor do Azure Databricks.
  • Entenda que a habilitação e o uso dessa funcionalidade direcionam os dados para sair do ambiente SQL e passar para provedores de modelo LLM de terceiros: OpenAI e OpenAI do Azure.
  • Você tem acesso ao OpenAI ou OpenAI do Azure.
  • Um modelo GPT 3.5 Turbo implantado.

Recuperar detalhes de autenticação

Para usar a função ai_generate_text(), você precisa ser capaz de acessar o OpenAI do Azure ou o OpenAI.

Recupere os detalhes de autenticação do OpenAI do Azure com as etapas a seguir. Os detalhes de autenticação preenchem os parâmetros resourceName e deploymentName de ai_generate_text().

  1. Navegue até Serviços Cognitivos no Portal do Azure e selecione Azure OpenAI.
  2. Selecione o recurso que você deseja usar.
  3. Selecione Chaves e Ponto de Extremidade em Gerenciamento de Recursos.
  4. Copie sua chave e o nome do recurso.
  5. Selecione Implantações de Modelo em Gerenciamento de Recursos.
  6. Copie o nome da implantação do modelo.

Para OpenAI, você pode navegar até OpenAI e selecionar chaves de API para criar sua chave.

Observação

Não é possível copiar chaves para uma configuração de chave existente.

Você pode:

  • Recupere a chave da pessoa, também conhecida como a entidade de segurança, que criou a configuração.
  • Crie uma nova chave e copie a chave fornecida após a criação bem-sucedida.

Armazenar tokens de acesso

Importante

Não inclua seu token em texto sem formatação em seu notebook, código ou repositório git.

Você pode usar segredos do Azure Databricks para armazenar seus tokens de API. Use a CLI do Databricks ou a API do Secrets 2.0 para criar seus segredos. As etapas no exemplo a seguir usam a CLI de Segredos:

  1. Se você ainda não tiver um escopo de segredo para manter suas chaves OpenAI, crie uma:

    databricks secrets create-scope openai

  2. Você precisa conceder permissões READ ou superiores a usuários ou grupos que têm permissão para se conectar ao OpenAI. O Databricks recomenda criar um grupo openai-users e adicionar usuários permitidos a esse grupo.

    databricks secrets put-acl openai openai-users READ

  3. Crie um segredo para o token de acesso à API. O Databricks recomenda o formato <resource-name>-key:

    databricks secrets put-secret openai demo-key --string-value yourkey123

Limitações

  • ai_generate_text() não há suporte em clusters interativos ou de trabalhos.
  • Os únicos modelos com suporte na versão prévia são openai/gpt-3.5-turbo e azure_openai/gpt-35-turbo.
  • O limite de token para openai/gpt-3.5-turbo e azure_openai/gpt-35-turbo é de 4096 tokens.

Considerações sobre custo e desempenho

  • Os Serviços OpenAI e OpenAI do Azure exigem assinaturas e cobram separadamente do Azure Databricks.
  • Em uma determinada consulta, as chamadas para as APIs LLM são feitas sequencialmente para as colunas nas quais as funções são chamadas.
    • Em comparação com a maioria das funções SQL, as consultas que usam ai_generate_text() tendem a ser executadas mais lentamente.
  • O tempo de resposta de uma consulta que invoca funções de IA depende da tarefa especificada no prompt, bem como do número de tokens fornecidos e solicitados.
  • O Serviço OpenAI do Azure só está disponível em um pequeno número de regiões do Azure no momento desta versão prévia.

Recursos adicionais

Consulte a documentação manual do idioma para obter padrões de sintaxe e design para a função ai_generate_text.

Consulte Analisar revisões de clientes com ai_generate_text() e OpenAI para obter um exemplo sobre como usar ai_generate_text() em um cenário de negócios.