Mantener un espacio eficaz de Genie
El objetivo de mantener un espacio de Genie es crear un entorno en el que los usuarios empresariales puedan plantear preguntas de lenguaje natural y recibir respuestas precisas y coherentes en función de sus datos. Los espacios de Genie usan modelos avanzados que generan consultas sofisticadas y comprenden el conocimiento general del mundo.
La mayoría de las preguntas empresariales son específicas del dominio, por lo que un conservador espacial es para salvar la brecha entre ese conocimiento general del mundo y el idioma especializado utilizado en un dominio específico o por una empresa determinada. Los conservadores usan metadatos e instrucciones para ayudar a Genie a interpretar y responder con precisión a las preguntas de los usuarios empresariales. En este artículo se describen los procedimientos recomendados y los principios para guiarle en el desarrollo de un espacio correcto.
Procedimientos recomendados para definir un nuevo espacio
En las secciones siguientes se recomiendan procedimientos para crear un espacio efectivo.
Empezar por algo pequeño
La selección de un espacio de Genie es un proceso iterativo. Al crear un nuevo espacio, comience lo más pequeño posible, con instrucciones mínimas y un conjunto limitado de preguntas para responder. A continuación, puede agregar a medida que itera en función de los comentarios y la supervisión. Este enfoque ayuda a simplificar la creación y el mantenimiento del espacio y le permite organizarlo de forma eficaz en respuesta a las necesidades reales del usuario.
Use las instrucciones siguientes para ayudar a crear un pequeño espacio de Genie:
- Mantener el foco: incluya solo las tablas necesarias para responder a las preguntas que desea que controle el espacio. Apunte a cinco o menos tablas. Cuanto más centrado sea la selección, mejor. Mantener el espacio centrado estrechamente en una pequeña cantidad de datos es ideal, por lo que limitar el número de columnas de las tablas incluidas.
- Plan para iterar: comience con una configuración mínima para el espacio, centrándose en tablas esenciales e instrucciones básicas. Agregue instrucciones y ejemplos más detallados a medida que refina el espacio a lo largo del tiempo, en lugar de apuntar a la perfección inicialmente.
- Compilación en tablas bien anotadas: Genie usa nombres y descripciones de columnas del catálogo de Unity para generar respuestas. Borrar los nombres de columna y las descripciones ayudan a generar respuestas de alta calidad. Las descripciones de columna deben ofrecer información contextual precisa. Evite detalles ambiguos o innecesarios. Inspeccione las descripciones generadas por IA para obtener precisión y claridad, y úselas solo si se alinean con lo que proporcionaría manualmente.
Hacer que un experto en dominio defina el espacio
Un creador de espacio eficaz debe comprender los datos y la información que se puede obtener de él. Los analistas de datos que son expertos en SQL suelen tener conocimientos y aptitudes para mantener el espacio.
Definir el propósito del espacio
Identificar la audiencia y el propósito específicos del espacio le ayuda a decidir qué datos, instrucciones y preguntas de prueba usar. Un espacio debe responder a preguntas para un tema y público concretos, no preguntas generales en varios dominios.
Prueba y ajuste
Debe ser el primer usuario del espacio’. Después de crear un nuevo espacio, empiece a formular preguntas. Examine cuidadosamente el CÓDIGO SQL generado en respuesta a sus preguntas. Si Genie interpreta mal los datos, las preguntas o jerga empresarial, puede intervenir editando el SQL generado o proporcionando otras instrucciones específicas. Siga probando y editando hasta que obtenga respuestas confiables.
Después de revisar una pregunta, puede agregarla como una pregunta comparativa que puede usar para probar y puntuar sistemáticamente el espacio para obtener una precisión general. Puede usar variaciones y expresiones de preguntas diferentes para probar las respuestas de Genie. Consulte Uso de pruebas comparativas en un espacio de Genie.
Consulte Solución de problemas para obtener ideas sobre cómo corregir respuestas erróneas.
Realizar pruebas de usuario
Después de comprobar la calidad de la respuesta a través de las pruebas, reclute a un usuario empresarial para probar el espacio de Genie. Use las siguientes instrucciones para proporcionar un recorrido de usuario sin problemas y recopilar comentarios para mejorar en curso:
- Establezca las expectativas de que su trabajo es ayudar a refinar la sala.
- Pídales que centren sus pruebas en el tema específico y preguntas que el espacio está diseñado para responder.
- Si reciben una respuesta incorrecta, anime a los usuarios a agregar instrucciones y aclaraciones adicionales en el chat para refinar la respuesta. Cuando se proporciona una respuesta correcta, deben invocar la consulta final para minimizar errores similares en futuras interacciones.
- Indique a los usuarios que voten a favor o en contra de las respuestas mediante el mecanismo de comentarios integrado.
- Invite a los usuarios a compartir comentarios adicionales y preguntas sin resolver directamente con los autores del espacio. Los autores y editores pueden usar comentarios para refinar instrucciones, ejemplos y recursos de confianza.
Considere la posibilidad de proporcionar materiales de aprendizaje o un documento escrito con instrucciones para probar la sala y proporcionar comentarios. A medida que los usuarios empresariales prueban el espacio, verá las preguntas que han hecho en la pestaña Historial. Siga añadiendo instrucciones para ayudar a Genie a interpretar correctamente las preguntas y los datos para proporcionar respuestas precisas. Consulte Revisar el historial y los comentarios para obtener más información sobre cómo supervisar espacios de Genie.
Nota:
Los usuarios empresariales deben ser miembros del área de trabajo de origen para acceder al espacio. Consulte Permisos necesarios para obtener información sobre cómo proporcionar los permisos adecuados para interactuar con el espacio.
Solución de problemas
En las secciones siguientes se describe cómo resolver problemas comunes.
Jerga empresarial mal entendida
La mayoría de las empresas o dominios tienen una abreviatura específica que usan para comunicarse sobre eventos específicos de la empresa. Por ejemplo, al hacer referencia a un año, siempre podría significar el año fiscal y este año fiscal podría comenzar en febrero o marzo en lugar de enero. Para habilitar que Genie responda a estas preguntas de forma natural y precisa, incluya instrucciones que asignen explícitamente su jerga empresarial a palabras y conceptos que Genie puede comprender. Consulte Proporcionar instrucciones.
Uso incorrecto de tablas o columnas
Si Genie intenta extraer datos de una tabla incorrecta o ejecutar análisis en columnas incorrectas, puede ajustar los datos de una de las maneras siguientes:
- Proporcionar descripciones claras y precisas: compruebe las tablas y los metadatos asociados para comprobar que la terminología usada allí coincide con la terminología de los usuarios en las preguntas enviadas. Si no es así, refinar la descripción o agregar una instrucción que asigne la terminología usada en la tabla a la terminología usada en la pregunta.
- Agregar consultas de ejemplo: proporcione consultas SQL de ejemplo que Genie puede usar para obtener información sobre cómo responder a determinadas preguntas. Consulte Proporcionar instrucciones.
- Quitar tablas o columnas del espacio: algunas tablas pueden incluir columnas o conceptos superpuestos que dificultan que Genie sepa qué datos usar en una respuesta. Si es posible, quite tablas o columnas innecesarias o superpuestas. Es posible que quiera crear una vista que incluya solo las columnas necesarias.
Errores de filtrado
Las consultas generadas suelen incluir una cláusula WHERE para filtrar los resultados según un valor específico. Dado que Genie no tiene visibilidad sobre los datos reales, puede establecer la cláusula WHERE para filtrar el valor incorrecto. Por ejemplo, podría intentar coincidir con el nombre “California” cuando la tabla usa abreviaturas como “CA.”
Para situaciones como esta, pruebe una de las estrategias siguientes:
- Si el conjunto de valores de columna es razonablemente pequeño, enumere las cadenas válidas para cada descripción de columna. Coloque comillas alrededor de los valores de cadena, especialmente si tienen espacios o números. A veces, para enumeraciones comunes, basta con decir: "Usar el código ISO de país de tres letras" en lugar de enumerar cada valor de estado.
Combinaciones incorrectas
Si las referencias de clave externa no están definidas en el catálogo de Unity, es posible que el espacio no sepa cómo se deben combinar tablas diferentes.
Pruebe a implementar una o varias de las siguientes soluciones:
- Defina las referencias de clave externa en el catálogo de Unity siempre que sea posible. Consulte Cláusula CONSTRAINT.
- Proporcione consultas de ejemplo en las que se unen tablas de maneras estándar.
- Si las tablas relaciones de clave externa no se especifican en el catálogo de Unity, documéntelos en las instrucciones..
Si ninguno de estos resuelve el problema, únase previamente a la tabla en una vista y úselo como entrada para el espacio en su lugar. Esta estrategia es útil para escenarios de unión más complejos, como autocombinaciones.
Problemas de cálculo de métricas
La forma en que se calculan y se acumulan las métricas puede ser arbitrariamente complicada y abarcar muchos detalles empresariales que el espacio no entiende. Esto puede provocar informes incorrectos.
Pruebe a implementar una o varias de las siguientes soluciones:
- Si las métricas se agregan a partir de tablas base, proporcione un ejemplo de consultas SQL que calculan cada valor acumulativo.
- Si las métricas se han calculado previamente y se encuentran en tablas agregadas, explíquela en los comentarios de la tabla. Especifique agregaciones válidas para cada métrica si las métricas de esa tabla se pueden inscribir aún más.
- Si SQL que intenta generar es muy complicado, intente crear vistas que ya hayan agregado las métricas para el espacio.
Omitir instrucciones
Incluso si ha explicado las tablas y columnas en comentarios y ha proporcionado instrucciones generales, es posible que el espacio todavía no los use correctamente.
Pruebe una o más de las estrategias siguientes:
- Proporcione consultas de ejemplo que usen correctamente las tablas. Las consultas de ejemplo son especialmente eficaces para enseñar el espacio a usar los datos.
- Cree vistas a partir de las tablas que proporcionan una vista más simplificada de los datos.
- Revise las instrucciones e intente centrar el espacio quitando las tablas o instrucciones irrelevantes.
- Intente iniciar un nuevo chat. Las interacciones anteriores pueden influir en las respuestas de Genie en cualquier chat dado, pero iniciar un nuevo chat le ofrece un punto de partida en blanco para probar nuevas instrucciones.
Problemas de rendimiento
Cuando Genie necesita generar consultas o respuestas de texto excepcionalmente largas, puede tardar mucho tiempo en responder o incluso agotar el tiempo de espera durante la fase de pensamiento.
Pruebe una o varias de las siguientes acciones para mejorar el rendimiento:
- Use recursos o vistas de confianza para encapsular consultas complejas. Consulte Uso de recursos de confianza en espacios de AI/BI Genie.
- Reduzca la longitud de las consultas SQL de ejemplo siempre que sea posible.
- Inicie un nuevo chat si Genie comienza a generar respuestas lentas o con errores.
Respuestas poco confiables a preguntas críticas
Use recursos de confianza para proporcionar respuestas comprobadas a preguntas específicas que espera que los usuarios hagan. Consulte Uso de recursos de confianza en espacios de AI/BI Genie.
Advertencia de límite de tokens
Los tokens son las unidades básicas de texto que Genie usa para procesar y comprender el lenguaje. El texto incluido como instrucciones o metadatos en un espacio de Genie se convierte en tokens. Si el número de tokens del espacio está cerca del límite, el producto le notifica con advertencias. Genie aplica el filtrado de contexto inteligente para seleccionar los tokens que representan los metadatos y algunos tipos de instrucciones incluidos en el espacio de Genie. Incluso si supera el límite, el espacio debe seguir generando respuestas a preguntas.
Si el espacio de Genie se aproxima al límite de tokens, Genie podría priorizar solo las partes del esquema de tabla y las instrucciones más relevantes para la pregunta. Esto puede reducir la calidad de respuesta si se filtra el contexto importante. Tenga en cuenta los procedimientos siguientes para reducir el recuento de tokens:
- Quitar columnas innecesarias: las columnas innecesarias de las tablas pueden aumentar significativamente el uso de tokens. Cree vistas para excluir campos redundantes o no esenciales de las tablas sin procesar.
- Simplificar las descripciones de columnas: aunque las descripciones de columnas son importantes, evite repetir la información que ya haya transmitido en los nombres de columna. Por ejemplo, si una columna se denomina
account_name, una descripción como “el nombre de la cuenta” podría ser redundante y se puede omitir. - Simplificar instrucciones: compruebe que las instrucciones sean claras y concisas. Evite palabras innecesarias.
- Instrucciones SQL de ejemplo de eliminación: incluya una amplia gama de instrucciones SQL de ejemplo para cubrir varios tipos de preguntas, pero quitar ejemplos superpuestos o redundantes.
La cuenta no está habilitada para el procesamiento entre regiones geográficas
Genie es un servicio designado administrado por Azure Databricks. Los servicios designados usan Databricks Geos para administrar la residencia de datos. En algunas regiones, los datos no se pueden procesar en la misma ubicación geográfica que el área de trabajo. Si el área de trabajo está en una de esas regiones, el administrador de la cuenta debe habilitar el procesamiento entre ubicaciones geográficas.