Partilhar via

Configuração e considerações para ai_generate_text()

  • Artigo

Importante

Esta funcionalidade está em Pré-visualização Pública.

Aviso

A função ai_generate_text() de IA está obsoleta. A Databricks recomenda o uso de ai_query com modelos externos.

Este artigo descreve o que considerar e o que configurar antes de começar a usar a ai_generate_text() função, especificamente como recuperar credenciais de autenticação e armazená-las com segurança. Também inclui limitações de funcionalidade e considerações de custo-desempenho.

O que é ai_generate_text()?

A ai_generate_text() função é uma função SQL interna do Azure Databricks que permite acessar modelos de linguagem grandes (LLMs) diretamente do SQL. Atualmente, essa função oferece suporte ao acesso aos modelos OpenAI e Azure OpenAI e permite que os clientes os usem como blocos de construção em pipelines de dados e cargas de trabalho de aprendizado de máquina. Para obter padrões de sintaxe e design, consulte o conteúdo do manual da linguagem de função ai_generate_text.

Possíveis casos de uso incluem ai_generate_text() tradução, sumarização, ações recomendadas, identificação de tópicos ou temas e muito mais.

A seguir estão algumas vantagens de usar LLMs no Azure Databricks:

  • Acesso unificado e camada de gerenciamento em LLMs proprietários e de código aberto.
  • Infraestrutura LLM sem servidor, dimensionamento automático e integrada a dados.
  • Simplicidade de apontar e clicar para personalizar LLMs de acordo com seus requisitos de negócios e casos de uso.
  • Para usuários avançados, ferramentas para rápido desenvolvimento e personalização de LLMs de código aberto.

Requisitos

  • Inscrição na Pré-visualização Pública de Funções de IA. Para se inscrever na visualização pública, preencha e envie o formulário de inscrição do AI Functions Public Preview.
  • Azure Databricks SQL Pro ou Serverless.
  • Entenda que a habilitação e o uso dessa funcionalidade direcionam os dados para que saiam do seu ambiente SQL e passem para provedores de modelo LLM de terceiros: OpenAI e Azure OpenAI.
  • Você tem acesso ao Azure OpenAI ou OpenAI.
  • Um modelo GPT 3.5 Turbo implantado.

Recuperar detalhes de autenticação

Para usar a função, você precisa ser capaz de acessar o ai_generate_text() Azure OpenAI ou OpenAI.

Recupere detalhes de autenticação para o Azure OpenAI com as etapas a seguir. Seus detalhes de autenticação preenchem os parâmetros e deploymentName do resourceName ai_generate_text().

  1. Navegue até Serviços Cognitivos no Portal do Azure e selecione Azure OpenAI.
  2. Selecione o recurso que deseja usar.
  3. Selecione Chaves e Ponto Final em Gerenciamento de Recursos.
  4. Copie a sua chave e o nome do seu recurso.
  5. Selecione Implantações de modelo em Gerenciamento de recursos.
  6. Copie o nome da implantação do modelo.

Para OpenAI, você pode navegar até OpenAI e selecionar chaves de API para criar sua chave.

Nota

Não é possível copiar chaves para uma configuração de chave existente.

Pode:

  • Recupere a chave da pessoa, também chamada de entidade de segurança, que criou a configuração.
  • Crie uma nova chave e copie a chave fornecida após a criação bem-sucedida.

Armazenar tokens de acesso

Importante

Não inclua seu token em texto sem formatação em seu bloco de anotações, código ou repositório git.

Você pode usar os segredos do Azure Databricks para armazenar seus tokens de API. Use a CLI do Databricks ou a API Secrets 2.0 para criar seus segredos. As etapas no exemplo a seguir usam a CLI Secrets:

  1. Se você ainda não tem um escopo secreto para manter suas chaves OpenAI, crie uma:

    databricks secrets create-scope openai

  2. Você precisa dar permissões de LEITURA ou superiores para usuários ou grupos que têm permissão para se conectar ao OpenAI. O Databricks recomenda a criação de um grupo openai-users e a adição de usuários permitidos a esse grupo.

    databricks secrets put-acl openai openai-users READ

  3. Crie um segredo para seu token de acesso à API. Databricks recomenda o formato <resource-name>-key:

    databricks secrets put-secret openai demo-key --string-value yourkey123

Limitações

  • ai_generate_text() não é suportado em clusters interativos ou de trabalhos.
  • Os únicos modelos suportados na pré-visualização são openai/gpt-3.5-turbo e azure_openai/gpt-35-turbo.
  • O limite de tokens para openai/gpt-3.5-turbo e azure_openai/gpt-35-turbo é de 4096 tokens.

Considerações sobre custo e desempenho

  • O OpenAI e os Serviços OpenAI do Azure exigem assinaturas e cobram separadamente do Azure Databricks.
    • Os custos de token do OpenAI e do Azure OpenAI Services aplicam-se tanto à entrada como à saída.
    • Consulte a página de preços do OpenAI e a página de preços do Azure OpenAI para obter detalhes.
  • Dentro de uma determinada consulta, as chamadas para as APIs do LLM são feitas sequencialmente para a(s) coluna(s) na qual as funções são chamadas.
    • Em comparação com a maioria das funções SQL, as consultas que usam ai_generate_text() tendem a ser executadas mais lentamente.
  • O tempo de resposta de uma consulta que invoca funções AI depende da tarefa especificada no prompt, bem como do número de tokens fornecidos e solicitados.
  • O Serviço OpenAI do Azure só está disponível em um pequeno número de regiões do Azure no momento desta visualização.

Recursos adicionais

Consulte a documentação do manual da linguagem para obter sintaxe e padrões de design para a função ai_generate_text.

Consulte Analisar avaliações de clientes com ai_generate_text() e OpenAI para obter um exemplo sobre como usar ai_generate_text() em um cenário de negócios.