Compartir a través de

Configuración y consideraciones para ai_generate_text()

  • Artículo

Importante

Esta característica está en versión preliminar pública.

Advertencia

La función de IA, ai_generate_text() está en desuso. Databricks recomienda usar ai_query con modelos externos.

En este artículo se describe lo que se debe tener en cuenta y qué configurar antes de empezar a usar la función ai_generate_text(), específicamente cómo recuperar las credenciales de autenticación y almacenarlas de forma segura. También incluye limitaciones de funcionalidad y consideraciones sobre el rendimiento de los costos.

¿Qué es ai_generate_text()?

La función ai_generate_text() es una función SQL de Azure Databricks integrada que permite acceder a modelos de lenguaje grandes (LLM) directamente desde SQL. Esta función admite actualmente el acceso a los modelos OpenAI y Azure OpenAI, y permite a los clientes usarlos como bloques de creación en canalizaciones de datos y cargas de trabajo de aprendizaje automático. Para conocer la sintaxis y los patrones de diseño, consulte el contenido manual del lenguaje de la función ai_generate_text.

Entre los posibles casos de uso de ai_generate_text() se incluyen la traducción, el resumen, las acciones recomendadas, la identificación de artículos o temas, y mucho más.

A continuación se muestran algunas ventajas del uso de LLM en Azure Databricks:

  • Nivel de administración y acceso unificado entre código abierto y LLM de su propiedad.
  • Infraestructura LLM sin servidor, de escalado automático e integrada en los datos.
  • Simplicidad de apuntar y hacer clic para personalizar las LLM a sus requisitos empresariales y casos de uso.
  • Para usuarios avanzados, herramientas para el desarrollo rápido y la personalización de LLM de código abierto.

Requisitos

  • Inscripción en la versión preliminar pública de AI Functions. Para inscribirse en la vista previa pública, rellene y envíe el formulario de inscripción a la vista previa pública de AI Functions.
  • Azure Databricks SQL Pro o sin servidor.
  • Comprenda que la habilitación y el uso de esta funcionalidad dirige los datos para dejar el entorno de SQL y pasar a proveedores de modelos LLM de terceros: OpenAI y Azure OpenAI.
  • Tiene acceso a Azure OpenAI u OpenAI.
  • Se implementó un modelo GPT 3.5 Turbo.

Recuperación de los detalles de autenticación

Para usar la función ai_generate_text(), debe poder acceder a Azure OpenAI u OpenAI.

Recupere los detalles de autenticación de Azure OpenAI con los pasos siguientes. Los detalles de autenticación rellenan los parámetros resourceName y deploymentName de ai_generate_text().

  1. Vaya a Cognitive Services en Azure Portal y seleccione Azure OpenAI.
  2. Seleccione el recurso que desea usar.
  3. Seleccione Claves y punto de conexión en Administración de recursos.
  4. Copie la clave y el nombre del recurso.
  5. Seleccione Implementaciones de modelos en Administración de recursos.
  6. Copie el nombre de la implementación del modelo.

En OpenAI, puede ir a OpenAI y seleccionar claves de API para crear la clave.

Nota:

No se pueden copiar claves para una configuración de clave existente.

Puede:

  • Recupere la clave de la persona, también denominada entidad de seguridad, que creó la configuración.
  • Cree una nueva clave y copie la clave proporcionada al crearse correctamente.

Almacenamiento de tokens de acceso

Importante

No incluya el token en texto sin formato en el cuaderno, el código o el repositorio de Git.

Puede usar secretos de Azure Databricks para almacenar los tokens de API. Use la CLI de Databricks o API de secretos 2.0 para crear los secretos. En los pasos del ejemplo siguiente se usa la CLI de secretos:

  1. Si aún no tiene un ámbito de secreto para guardar las claves de OpenAI, cree uno:

    databricks secrets create-scope openai

  2. Debe conceder permisos de LECTURA o superior a los usuarios o grupos que pueden conectarse a OpenAI. Databricks recomienda crear un grupo openai-users y agregar usuarios permitidos a ese grupo.

    databricks secrets put-acl openai openai-users READ

  3. Cree un secreto para el token de acceso de la API. Databricks recomienda el formato <resource-name>-key:

    databricks secrets put-secret openai demo-key --string-value yourkey123

Limitaciones

  • ai_generate_text() no se admite en clústeres interactivos o de trabajos.
  • Los únicos modelos admitidos en la versión preliminar son openai/gpt-3.5-turbo y azure_openai/gpt-35-turbo.
  • El límite de tokens para openai/gpt-3.5-turbo y azure_openai/gpt-35-turbo es de 4096 tokens.

Consideraciones sobre costos y rendimiento

  • OpenAI y Azure OpenAI Services requieren suscripciones y cargos por separado de Azure Databricks.
  • Dentro de una consulta determinada, las llamadas a las API de LLM se realizan secuencialmente para las columnas en las que se llama a las funciones.
    • En comparación con la mayoría de las funciones SQL, las consultas que usan ai_generate_text() tienden a ejecutarse más lentamente.
  • El tiempo de respuesta de una consulta que invoca a AI Functions depende de la tarea especificada en el símbolo del sistema, así como del número de tokens proporcionados y solicitados.
  • El servicio de Azure OpenAI solo está disponible en un pequeño número de regiones de Azure en el momento de esta versión preliminar.

Recursos adicionales

Consulte la documentación manual del lenguaje para ver los patrones de sintaxis y diseño de la función ai_generate_text.

Consulte Análisis de revisiones de clientes con ai_generate_text() y OpenAI para obtener un ejemplo sobre cómo usar ai_generate_text() en un escenario empresarial.