¿Qué es un espacio de AI/BI Genie?

En este artículo se presenta AI/BI Genie, una característica de Azure Databricks que permite a los equipos empresariales interactuar con sus datos mediante lenguaje natural. Usa IA generativa adaptada a la terminología y los datos de la organización, con la capacidad de supervisar y refinar su rendimiento mediante los comentarios de los usuarios.

Información general

Expertos en dominios, como analistas de datos, configuran espacios de Genie con conjuntos de datos, consultas de ejemplo y directrices de texto para ayudar a Genie a traducir preguntas empresariales en consultas analíticas. Después de la configuración, los usuarios empresariales pueden formular preguntas y generar visualizaciones para comprender los datos operativos. Puede actualizar continuamente el conocimiento semántico de Genie a medida que cambian los datos y los usuarios plantean nuevas preguntas. Para obtener información general sobre DatabricksIQ, vea Características con tecnología de DatabricksIQ.

AI/BI Genie selecciona nombres y descripciones relevantes de tablas y columnas anotadas para convertir preguntas de lenguaje natural en una consulta SQL equivalente. Después, responde con la consulta generada y la tabla de resultados, si es posible. Si Genie no puede generar una respuesta, puede formular preguntas de seguimiento para esclarecer antes de proporcionar una respuesta.

Casos de uso de ejemplo

Puede crear diferentes espacios de Genie para servir una variedad de audiencias no técnicas. En los escenarios siguientes se describen dos posibles casos de uso.

Ejemplo 1: Visualización del estado de oportunidad

Un administrador de ventas quiere obtener el estado actual de las oportunidades abiertas y cerradas por fase en su canalización de ventas. Pueden interactuar con el espacio de Genie mediante lenguaje natural y generar automáticamente una visualización.

El gif siguiente muestra esta interacción:

Ejemplo 2: Seguimiento de la logística

Una empresa logística quiere usar espacios de Genie para ayudar a los usuarios empresariales de diferentes departamentos a realizar un seguimiento de los detalles operativos y financieros. Configuran un espacio de Genie para que sus gerentes de instalaciones de envío realicen un seguimiento de los envíos y otro para que sus ejecutivos financieros comprendan su salud financiera.

Cómo genera Genie una respuesta

Genie usa un sistema de IA compuesto para interpretar las preguntas empresariales y generar respuestas. En lugar de usar un único modelo de lenguaje grande, los sistemas compuestos de inteligencia artificial procesan tareas en las aplicaciones de IA mediante la combinación de varios componentes interactivos. Los sistemas de IA compuestos son un patrón de diseño cada vez más común para las aplicaciones de inteligencia artificial debido a su rendimiento y flexibilidad. Para obtener más información, consulte The Shift from Models to Compound AI Systems.

Cuando un usuario envía una pregunta, Genie analiza la solicitud, identifica los orígenes de datos pertinentes y determina cómo responder a la pregunta. Las instrucciones que proporcione, combinadas con los metadatos del Unity Catalog, permiten a Genie deducir tanto la lógica empresarial como la técnica. Genie filtra de manera inteligente las consultas SQL de ejemplo, los metadatos de tabla y columna y el historial de chat para seleccionar la información más relevante para responder a la solicitud.

Genie usa los siguientes componentes para generar respuestas:

• Metadatos de tabla: incluye nombres de tabla, descripciones y relaciones de clave principal (PK) y clave externa (FK) definidas. Genie utiliza estos datos mientras analiza la solicitud y convierte el indicador de lenguaje natural en SQL.
• Nombres y descripciones de columnas: Genie filtra de manera inteligente los nombres y descripciones de columnas pertinentes que se van a incluir.
• Ejemplos de consultas SQL: Genie selecciona de forma inteligente ejemplos relevantes de SQL a partir de Instrucciones.
• Funciones SQL: todas las funciones SQL que se han agregado en el espacio.
• Instrucciones: las notas de texto plano proporcionadas como Instrucciones Generales se incluyen a modo de contexto.
• Historial de solicitudes y respuestas: Las solicitudes y respuestas del chat actual se incluyen como contexto. Si es necesario, debido a los límites de tokens establecidos , se excluyen las partes más antiguas del registro de chat.

Nota:

Algunos detalles de la tabla, como el propietario y el tamaño de la tabla, no se incluyen de manera predeterminada. Para acceder a esta información, utilice las vistas del esquema de información disponible para todos los catálogos de Unity Catalog. Las vistas predeterminadas pueden incluir detalles innecesarios, por lo que crear una vista personalizada sobre eso puede ayudar a centrarse en la información específica que necesita. Para obtener más información sobre lo que está disponible en el esquema de información, consulte Esquema de información.

Si Genie devuelve una consulta como resultado, se ejecuta en el almacén de SQL designado. Los reintentos se gestionan automáticamente y el almacén SQL gestiona la simultaneidad y la escala.

¿Qué datos debo usar?

Un espacio de Genie puede incluir una o varias tablas registradas en Unity Catalog, incluidas tablas administradas, tablas externas, tablas foráneas, vistas y vistas materializadas. AI/BI Genie usa los metadatos adjuntos a objetos de Unity Catalog para generar respuestas. Los conjuntos de datos anotados correctamente, emparejados con instrucciones específicas que proporcione, son clave para crear una experiencia positiva para los usuarios finales.

Databricks recomienda lo siguiente:

• Curación de datos para el consumoanalítico: vistas de capa para reducir el número de columnas y agregar información específica del caso de uso para aumentar la calidad de la respuesta.
• Minimizar el número de tablas y columnas de un espacio de Genie: incluya solo las tablas y columnas necesarias para responder a preguntas de un dominio determinado. Las tablas o columnas innecesarias pueden hacer que Genie proporcione respuestas confusas o incorrectas, o que muestre un mensaje de error.
• Definir relaciones de clave principal (PK)/clave externa (FK): use el Unity Catalog para definir relaciones de PK/FK de modo que Genie comprenda cómo están conectados los datos.

Recursos de confianza

Los activos confiables transmiten un nivel adicional de confianza en la precisión de un resultado a un usuario espacial. Cuando se usa el texto exacto de una consulta de ejemplo con parámetros o una función SQL para generar una respuesta, Genie marca la respuesta como un Recurso de confianza. Consulte Uso de recursos de confianza en espacios de AI/BI Genie.

Hilos de chat

La mayoría de las interacciones del espacio de Genie tienen lugar en una ventana de chat. Las conversaciones de chat guardan un registro de interacciones para cada usuario. Cada subproceso de chat mantiene contexto acerca de las preguntas anteriores que ha hecho. Genie usa el contexto en el historial de chats con subprocesos para aprender a medida que los usuarios hacen preguntas de seguimiento para explorar más a fondo o redefinir un conjunto de resultados.

Los usuarios con al menos acceso CAN VIEW a un espacio pueden ver su propio historial de chat. Los usuarios con al menos privilegios CAN EDIT pueden revisar todas las preguntas y respuestas en la pestaña Historial del espacio.

Revisar respuestas

La mayoría de las respuestas incluyen una explicación en lenguaje natural y una tabla que muestra el conjunto de resultados pertinente. Cuando Genie detecta que una visualización podría mejorar la claridad de la respuesta, también devuelve una visualización. La estructura de respuesta precisa varía en función de la pregunta. Todas las respuestas incluyen la consulta SQL que se generó para responder a la pregunta.

Los usuarios y autores del espacio pueden revisar las respuestas a sus preguntas. Pueden evaluar cada respuesta con un pulgar hacia arriba o hacia abajo o pedir que se revise una respuesta. Los editores y autores del espacio pueden revisar estos comentarios mediante la pestaña Historial en el espacio de Genie.

Evaluación de respuestas con pruebas comparativas

Las pruebas comparativas permiten escalar verticalmente las pruebas y la evaluación de respuestas individuales en un espacio de Genie. A diferencia de las instrucciones, las pruebas comparativas están diseñados para evaluar, no informar, su espacio de Genie. Genie no usa preguntas comparativas ni SQL de ejemplo para mejorar el contexto de Genie.

Mediante pruebas comparativas, puede ejecutar una colección de preguntas de prueba y usar las respuestas para medir la precisión de Genie. Opcionalmente, puede incluir una instrucción SQL que devuelva los resultados esperados. Cuando se ejecuta la pregunta de la prueba comparativa, la respuesta de Genie se compara con los resultados proporcionados por la instrucción SQL y se puntúa para obtener precisión. La pregunta se marca para su revisión si no se ha proporcionado ninguna respuesta SQL.

Consulte Uso de pruebas comparativas en un espacio de Genie.

Privacidad y seguridad

P: ¿Qué modelo usa Genie?

Genie usa el modelo de Azure OpenAI.

P: ¿Qué datos se envían al modelo?

Los espacios de Genie generan respuestas a preguntas de lenguaje natural mediante metadatos e instrucciones. Genie no tiene acceso a los datos de nivel de fila.

Para procesar las respuestas, Genie usa lo siguiente:

• Mensaje de lenguaje natural enviado por el usuario
• Nombres y descripciones de tablas
• Títulos y descripciones de columnas
• Instrucciones generales
• Consultas SQL de ejemplo
• Funciones de SQL

P: ¿Recopila Azure OpenAI mis datos?

No. Databricks ha optado por la exención del programa de supervisión de abusos y revisión humana, en el que Microsoft no almacena las solicitudes y finalizaciones enviadas al servicio Azure OpenAI. Para obtener más información, consulte la documentación de Microsoft.