Função ai_mask

Aplica-se a: SQL do Databricks Runtime do Databricks

Importante

Esse recurso está em uma versão prévia.

Na versão preliminar:

• O modelo de idioma subjacente pode lidar com vários idiomas; no entanto, essas funções são ajustadas para inglês.
• Há limitação de fluxo para as APIs subjacentes do modelo de base. Consulte Limites de APIs do Modelo de Base para atualizar esses limites.
• Devido à limitação de taxa, essa função foi projetada para teste em pequenos conjuntos de dados com menos de 100 linhas. Para casos de uso com mais de 100 linhas de dados, o Databricks recomenda usar ai_query e um ponto de extremidade de taxa de transferência provisionado. Veja Executar inferência LLM em lote usando ai_query.

A função ai_mask() permite invocar um modelo de IA generativo de última geração para mascarar entidades especificadas em um determinado texto usando SQL. Essa função utiliza um ponto final de serviço de modelo de chat disponibilizado pelas APIs Databricks Foundation Model.

Requisitos

Importante

Os modelos subjacentes que podem ser usados neste momento são licenciados sob a Licença Apache 2.0, Copyright © The Apache Software Foundation ou a Licença da Comunidade LLAMA 3.1 Copyright © Meta Platforms, Inc. Todos os direitos reservados. Os clientes são responsáveis por garantir a conformidade com as licenças de modelo aplicáveis.

O Databricks recomenda revisar essas licenças para garantir a conformidade com quaisquer termos aplicáveis. Se surgirem modelos no futuro com melhor desempenho de acordo com os parâmetros de comparação internos da Databricks, a Databricks poderá alterar o modelo (e a lista de licenças aplicáveis fornecida nesta página).

Atualmente, Meta-Llama-3.1-70B-Instruct é o modelo subjacente que alimenta essas funções de IA.

• Essa função só está disponível em workspaces em Funções de IA usando regiões compatíveis com APIs do Foundation Model.
• Essa função não está disponível no SQL Clássico do Azure Databricks.
• Confira a página de preços do SQL do Databricks.

Observação

No Databricks Runtime 15.1 e superior, essa função tem suporte nos notebooks do Databricks, incluindo notebooks que são executados como uma tarefa em um fluxo de trabalho do Databricks.

Sintaxe

ai_mask(content, labels)

Argumentos

• content: uma expressão STRING.
• labels: um ARRAY<STRING> literal. Cada elemento representa um tipo de informação a ser mascarada.

Devoluções

Um STRING onde a informação especificada é mascarada.

Se content for NULL, o resultado é NULL.

Exemplos

> SELECT ai_mask(
    'John Doe lives in New York. His email is john.doe@example.com.',
    array('person', 'email')
  );
 "[MASKED] lives in New York. His email is [MASKED]."

> SELECT ai_mask(
    'Contact me at 555-1234 or visit us at 123 Main St.',
    array('phone', 'address')
  );
 "Contact me at [MASKED] or visit us at [MASKED]"

Funções relacionadas

• função ai_extract