Что такое пространство AI/BI Genie

В этой статье описывается ИИ/BI Genie, функция Azure Databricks, которая позволяет бизнес-командам взаимодействовать с данными с помощью естественного языка. Он использует созданный ИИ, адаптированный к терминологии и данным вашей организации, с возможностью мониторинга и уточнения производительности с помощью отзывов пользователей.

Обзор

Доменные эксперты, такие как аналитики данных, настраивают пространства Genie с наборами данных, примерами запросов и текстовыми рекомендациями для того чтобы помочь Genie конвертировать бизнес-вопросы в аналитические запросы. После настройки бизнес-пользователи могут задавать вопросы и создавать визуализации для понимания операционных данных. Вы можете постоянно обновлять семантические знания Genie по мере того, как ваши данные изменяются и появляются новые вопросы от пользователей. Для получения дополнительной информации о DatabricksIQ смотрите раздел Функции на базе DatabricksIQ.

AI/BI Genie выбирает соответствующие имена и описания из аннотированных таблиц и столбцов, чтобы преобразовать вопросы естественного языка в эквивалентный SQL-запрос. Затем он реагирует на созданный запрос и таблицу результатов, если это возможно. Если Genie не может создать ответ, он может задать дальнейшие вопросы, чтобы уточнить перед предоставлением ответа.

Примеры вариантов использования

Вы можете создать разные пространства Genie для обслуживания различных не технических аудиторий. В следующих сценариях описаны два возможных варианта использования.

Пример 1. Визуализация состояния возможности

Менеджер по продажам хочет получить текущее состояние открытых и закрытых сделок по стадиям в своей воронке продаж. Они могут взаимодействовать с пространством Genie с помощью естественного языка и автоматически создавать визуализацию.

В следующем gif-файле показано следующее взаимодействие:

Пример 2. Отслеживание логистики

Логистическая компания хочет использовать пространства Genie, чтобы помочь бизнес-пользователям из разных отделов отслеживать операционные и финансовые сведения. Они создали пространство Genie для менеджеров их грузовых объектов, позволяющее отслеживать поставки, и другое пространство для своих финансовых руководителей, чтобы лучше понять финансовое состояние предприятия.

Как Genie создает ответ

Genie использует составную систему искусственного интеллекта для интерпретации бизнес-вопросов и создания ответов. Вместо использования одной крупной языковой модели составные системы ИИ обрабатывают задачи в приложениях ИИ путем объединения нескольких взаимодействующих компонентов. Составные системы ИИ являются все более распространенным шаблоном проектирования для приложений ИИ из-за их производительности и гибкости. Дополнительные сведения см. в статье Переход от моделей к составным системам ИИ.

Когда пользователь отправляет вопрос, Genie анализирует запрос, определяет соответствующие источники данных и определяет, как реагировать на запрос. Инструкции, предоставляемые вместе с метаданными каталога Unity, позволяют Genie выводить бизнес-и техническую логику. Genie интеллектуально фильтрует примеры запросов SQL, метаданных таблиц и столбцов и журнала чатов, чтобы выбрать наиболее релевантную информацию для ответа на запрос.

Genie использует следующие компоненты для создания ответов:

• метаданные таблицы: включает имена таблиц, описания и определенные связи первичного ключа (PK) и внешнего ключа (FK). Genie использует эти данные, так как он анализирует запрос и преобразует запрос естественного языка в SQL.
• Имена и описания столбцов: Genie интеллектуально фильтрует релевантные имена и описания столбцов для включения.
• Примеры SQL-запросов: Genie интеллектуально выбирает соответствующие примеры SQL из Инструкции.
• функции SQL: все функции SQL, добавленные в пространство.
• инструкции. Заметки с открытым текстом, предоставленные как общие инструкции, включаются в качестве контекста.
• История запросов и ответов: Запросы и ответы из текущего чата используются в качестве контекста. При необходимости из-за ограничений на токены , наиболее ранние части записи чата исключаются.

Примечание.

Некоторые сведения о таблице, такие как владелец и размер таблицы, не включаются по умолчанию. Чтобы получить доступ к этой информации, используйте представления из схемы сведений, доступной для всех каталогов каталога Unity. Представления по умолчанию могут содержать ненужные сведения, поэтому создание настраиваемого представления поверх этого может помочь сосредоточиться на конкретных необходимых сведениях. Дополнительные сведения о том, что доступно в схеме сведений, см. в схеме сведений.

Если Genie возвращает запрос в результате, он выполняется в указанном хранилище SQL. Повторные попытки обрабатываются автоматически, а хранилище SQL обрабатывает параллелизм и масштабирование.

Какие данные следует использовать?

Пространство Genie основано на данных, зарегистрированных в каталоге Unity, включая управляемые таблицы, внешние таблицы, чужие таблицы, представления и материализованные представления. Ai/BI Genie использует метаданные, подключенные к объектам каталога Unity, для создания ответов. Хорошо аннотированные наборы данных, в сочетании с определенными инструкциями, которые вы предоставляете, являются ключевыми для создания положительного интерфейса для конечных пользователей.

В Databricks рекомендуется следующее:

• Подготовьте данные для аналитической обработки: Распределите представления, чтобы сократить количество столбцов и добавить информацию, специфическую для использования, чтобы повысить качество отклика.
• свести к минимуму количество таблиц и столбцов в пространстве Genie: включите только таблицы и столбцы, необходимые для ответа на вопросы для данного домена. Ненужные таблицы или столбцы могут привести к тому, что Genie предоставляет запутанные или неправильные ответы или отображает сообщение об ошибке.
• Определите связи первичного ключа (PK)/внешнего ключа (FK): используйте каталог Unity для определения связей PK/FK, чтобы Genie понимал, как ваши данные связаны.

Отправка файлов

Это важно

Эта функция доступна в общедоступной предварительной версии.

Пользователи также могут отправлять собственные небольшие файлы данных в пространство Genie. Чтобы включить отправку файлов, обратитесь к группе учетной записи Databricks. Дополнительные сведения см. в разделе Отправка файла.

Доверенные ресурсы

Доверенные ресурсы передают дополнительный уровень гарантии в точности результата пользователю пространства. Если для генерации ответа используется точный текст параметризованного примера запроса или функции SQL, Genie помечает ответ как доверенный ресурс. См. "Использование доверенных ресурсов в пространствах AI/BI Genie".

Потоки чата

Большинство взаимодействий с пространством Genie происходят в окне чата. Потоки чата сохраняют запись взаимодействия для каждого пользователя. Каждый поток чата сохраняет контекст предыдущих вопросов, которые ему задавали. Genie использует контекст в истории сообщений чата, чтобы учиться из того, как пользователи задают дополнительные вопросы, для дальнейшего исследования или пересмотра набора результатов.

Пользователи, имеющие доступ уровня CAN VIEW или выше к пространству, могут просматривать историю своих чатов. Пользователи с привилегиями CAN EDIT могут просматривать все вопросы и ответы на вкладке истории пространства.

Просмотр ответов

Большинство ответов включают объяснение на естественном языке и таблицу с соответствующим результирующим набором. Исходные таблицы отображаются ниже объяснения, а SQL-запрос, используемый для создания результатов, доступен в подробных сведениях ответа. Когда визуализация могла бы улучшить ясность, Genie включает одну. Структура каждого ответа зависит от вопроса.

Пользователи и авторы пространства могут просматривать ответы на их вопросы. Они могут оценивать каждый ответ "пальцем вверх" или "пальцем вниз" или запрашивать проверку ответа. Редакторы пространства и авторы могут просмотреть эти отзывы, используя значок и вкладку История в пространстве Genie.

Оценка ответов с помощью ориентиров

Эталоны позволяют масштабировать процесс тестирования и оценки отдельных ответов в пространстве Genie. В отличие от инструкций, эталонные тесты предназначены для оценки пространства Genie, а не для его информирования. Genie не использует контрольные вопросы или образцы запросов SQL для улучшения его контекста.

С помощью эталонов можно запустить набор тестовых вопросов и использовать ответы для измерения точности Genie. При необходимости можно включить инструкцию SQL, которая возвращает ожидаемые результаты. При выполнении вопроса теста ответ Genie сравнивается с результатами, предоставленными инструкцией SQL, и оценивается по точности. Вопрос помечается для проверки, если не предоставлен ответ SQL.

См. Использование бенчмарков в пространстве Genie.

Конфиденциальность и безопасность

Вопрос. Какая модель использует Genie?

Genie использует модель Azure OpenAI.

Вопрос. Какие данные отправляются в модель?

Genie spaces создает ответы на вопросы естественного языка с помощью метаданных и инструкций. Genie не имеет доступа к данным на уровне строк.

Для обработки ответов Genie использует следующее:

• Запрос естественного языка, отправленный пользователем
• Имена и описания таблиц
• Заголовки и описания столбцов
• Общие инструкции
• Примеры запросов SQL
• Функции SQL

Вопрос. Собирает ли Azure OpenAI мои данные?

№ Databricks выбрал участие в программе освобождения от мониторинга злоупотреблений и проверки человеком, согласно которой корпорация Майкрософт не хранит никакие запросы и ответы, отправленные в службу Azure OpenAI. Для получения дополнительной информации см. документацию Майкрософт.