Работа с пространством AI/BI Genie

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии. См. раздел "Включение пространств Genie" в учетной записи.

Обзор

Эксперты домена, такие как аналитики данных, настройте пространства Genie с наборами данных, примерами запросов и текстовыми рекомендациями, чтобы помочь Genie перевести бизнес-вопросы в аналитические запросы. После настройки бизнес-пользователи могут задавать вопросы и создавать визуализации для понимания операционных данных. Вы можете постоянно обновлять семантические знания Genie, так как изменения данных и пользователи задают новые вопросы. Дополнительные сведения о функциях DatabricksIQ см. в разделе DatabricksIQ.

AI/BI Genie выбирает соответствующие имена и описания из аннотированных таблиц и столбцов, чтобы преобразовать вопросы естественного языка в эквивалентный SQL-запрос. Затем он реагирует на созданный запрос и таблицу результатов, если это возможно. Если Genie не может создать ответ, он может задать дальнейшие вопросы, чтобы уточнить, как он пытается предоставить ответ.

Примеры вариантов использования

Вы можете создать разные пространства Genie для обслуживания различных не технических аудиторий. В следующих сценариях описаны два возможных варианта использования.

Пример 1. Визуализация состояния возможности

Менеджер по продажам хочет получить текущее состояние открытых и закрытых возможностей на этапе в своем конвейере продаж. Они могут взаимодействовать с пространством Genie с помощью естественного языка и автоматически создавать визуализацию.

В следующем gif-файле показано следующее взаимодействие:

Пример 2. Отслеживание логистики

Логистическая компания хочет использовать пространств Genie, чтобы помочь бизнес-пользователям из разных отделов отслеживать операционные и финансовые сведения. Они создали пространство Genie для их менеджеров по доставке объектов для отслеживания поставок и другого для своих финансовых руководителей, чтобы понять их финансовое здоровье.

Технические требования и ограничения

При использовании пространств Genie применяются следующие требования и ограничения.

• Каталог Unity: данные для пространства Genie должны быть зарегистрированы в каталоге Unity
• Вычисление. Необходимо использовать pro или бессерверное хранилище SQL.
• Емкость рабочей области: каждая рабочая область может содержать до 1000 пространств Genie.

Необходимые разрешения

Для создания, редактирования и использования пространств Genie требуются следующие разрешения:

• Разрешения на вычислительные ресурсы: создатели, редакторы и пользователи могут использовать доступ к хранилищу SQL по умолчанию, указанному для пространства. Создатели выбирают хранилище SQL по умолчанию при создании пространства. Они могут выбрать любое хранилище SQL, для которого у них есть разрешения CAN RUN.
• Разрешения на доступ к данным: любой пользователь, взаимодействующий с пространством, должен иметь по крайней мере SELECT права доступа к данным, используемым в пространстве.
• Разрешения на пространство Genie: пользователям требуется разрешение CAN RUN в пространстве Genie для взаимодействия с Genie и данными, используемыми в пространстве. Сведения о полном сопоставлении привилегий и возможностей для пространства Genie см . в пространстве Genie.

Примечание.

Для настройки данных и доступа к вычислительным ресурсам требуются повышенные разрешения, как правило, ограниченные администратором. См. статью "Создание хранилища SQL" и управление привилегиями в каталоге Unity.

Включение пространств Genie в учетной записи

Примечание.

Чтобы включить эту функцию, необходимо быть администратором учетной записи.

Genie использует функции с поддержкой ИИ Azure, которые должны быть включены на уровне учетной записи.

Администратор учетной записи может включить эти функции, выполнив следующие действия.

1. На боковой панели консоли учетной записи нажмите кнопку "Параметры".
   1. Перейдите на вкладку включения компонентов.
   2. Включите параметр включения функций, управляемых службами ИИ Azure.

Функции , управляемые службами ИИ Azure, должны быть включены на уровне учетной записи, прежде чем Genie можно включить для рабочей области.

Включение Genie в рабочей области

Genie управляется со страницы предварительной версии рабочей области, где она включена по умолчанию. После включения функций искусственного интеллекта Azure для учетной записи Genie становится доступным для пользователей с правами SQL.

Администраторы рабочей области могут управлять доступом Genie на уровне рабочей области. См. статью "Управление предварительными версиями Azure Databricks".

Создание нового пространства Genie

Если в аналитиках данных рабочей области включены пробелы Genie, можно создать для бизнес-пользователей возможности для конкретного домена, выполнив следующие действия:

1. Щелкните Genie на боковой панели.

2. Щелкните "Создать" в правом верхнем углу экрана.

   

3. В диалоговом окне "Создать" выберите начальные параметры. Параметры описаны следующим образом:

• Заголовок: заголовок отображается в браузере рабочей области с другими объектами рабочей области. Выберите название, которое поможет конечным пользователям обнаружить пространство Genie.
• Описание. Пользователи видят описание при открытии пространства Genie. Используйте эту текстовую область, чтобы описать назначение пробелов. Поле описания поддерживает форматирование Markdown, чтобы можно было стиль текста и ссылки на полезные контексты и ссылки. Дополнительные сведения о синтаксисе Markdown см . в этом руководстве.
• Хранилище по умолчанию: этот вычислительный ресурс выполняет инструкции SQL, созданные в пространствах Genie. Конечные пользователи должны получить доступ к этому хранилищу для взаимодействия с пространством. Пространство Genie может использовать pro или бессерверное хранилище SQL. Для оптимальной производительности Databricks рекомендует использовать бессерверное хранилище SQL.
• Таблицы: пространства Genie могут быть основаны на одной или нескольких таблицах. Кнопка "Добавить таблицы" открывает новое диалоговое окно, в котором можно выбрать таблицы каталога Unity, которые требуется включить.
• Примеры вопросов: примеры вопросов являются необязательными. Они отображаются в чатах, чтобы предоставить примеры типов вопросов, которые пользователи могут задавать. Их можно добавить во время создания или более поздней версии из параметров пространства.

Какие данные следует использовать?

Вы можете создать новые пространства Genie на основе одной или нескольких таблиц, зарегистрированных в каталоге Unity, включая управляемые таблицы, внешние таблицы, внешние таблицы и материализованные представления. Ai/BI Genie использует метаданные, подключенные к объектам каталога Unity, для создания ответов. Хорошо аннотированные наборы данных, в сочетании с определенными инструкциями, которые вы предоставляете, являются ключевыми для создания положительного интерфейса для конечных пользователей.

В Databricks рекомендуется следующее:

• Курировать данные для аналитического потребления: представления слоев для уменьшения количества столбцов и добавления сведений об использовании для повышения качества отклика.
• Свести к минимуму количество таблиц и столбцов в пространстве Genie: введите только таблицы и столбцы, необходимые для ответа на вопросы для заданного домена. Ненужные таблицы или столбцы могут привести к тому, что Genie предоставляет запутанные или неправильные ответы или отображает сообщение об ошибке.

Укажите инструкции

Инструкции помогут вам поработать с ответами Genie, чтобы он смог обработать уникальные jargon, логику и понятия в определенном домене. Комплексные инструкции критически важны для простого, интуитивно понятного пространства Genie. Чтобы ввести инструкции, нажмите кнопку "Инструкции " на боковой панели пространства Genie, чтобы открыть область инструкций. Используйте эту область для добавления общих инструкций, примеров запросов SQL и функций SQL.

Общие инструкции

Предоставьте простые текстовые инструкции, которые четко передают ваши бизнес-предпочтения или предпочтения ответа для Genie, чтобы следовать. Инструкции можно отформатировать как единую исчерпывающую заметку или классифицировать по разделам для лучшей организации.

Ниже показан пример информации, которую можно включить в общие инструкции:

• Бизнес-информация для конкретной компании:
  • "Наш финансовый год начинается в феврале"
• Значения, псевдонимы или распространенные фильтры:
  • "Всегда преобразуйте в строчные регистры и используйте оператор like при применении фильтров".
  • "Используйте сокращенные выражения для состояний в значениях фильтра".
• Укажите функции для ответа на вопросы и укажите инструкции по возвращаемым значениям:
  • "Для кварталов используется adventureworks.oneb.get_quarter(date) UDF. Результатом get_quarter() является квартал и либо 1,2,3, либо 4. Используйте это для фильтрации данных по мере необходимости.

Примеры запросов SQL

Примеры SQL-запросов — это SQL-запросы, которые вы готовитесь к обучению Genie. При ответе на вопросы Genie интеллектуально выбирает соответствующие запросы, чтобы помочь создать ответ. При добавлении примеров запросов вы эффективно показываете, как использовать данные для ответа на вопросы. Вы также можете добавить примеры вопросов, чтобы научить Genie о типах вопросов, которые вы ожидаете, что пример запроса будет отвечать. Если Genie получает соответствующий вопрос, он может использовать пример запроса непосредственно для предоставления ответа. Если он получает аналогичный вопрос, он может использовать подсказки из примера запроса, чтобы помочь структурировать SQL, предоставленный в ответе. Сосредоточьтесь на предоставлении примеров, которые выделяют логику, уникальную для вашей организации и данных, как показано в следующем примере:

  -- Return our current total open pipeline by region.
  -- Opportunities are only considered pipelines if they are tagged as such.
  SELECT
    a.region__c AS `Region`,
    sum(o.amount) AS `Open Pipeline`
  FROM
    sales.crm.opportunity o
    JOIN sales.crm.accounts a ON o.accountid = a.id
  WHERE
    o.forecastcategory = 'Pipeline' AND
    o.stagename NOT ILIKE '%closed%'
  GROUP BY ALL;

Добавление параметров в запросы SQL

Параметры позволяют создавать примеры запросов, включающих заполнители для замены определенных значений во время выполнения. С параметрами Genie может принимать определенные входные данные из вопросов пользователей и повторно использовать структуру примера запроса для предоставления проверенных ответов в качестве доверенных ресурсов. Например, можно настроить предыдущий SQL-запрос, чтобы включить параметр, фильтрующий по значению, что позволяет запросу решать вопросы о возможностях, o.forecastcategory помеченных различными категориями прогнозов. Дополнительные сведения об использовании параметризованных запросов для создания репонсов, помеченных как доверенные активы, см. в разделе "Использование доверенных ресурсов в пространствах AI/BI Genie".

В следующем фрагменте кода показан предыдущий пример, измененный путем добавления параметра для o.forecastcategory значения. Параметры используют тот же синтаксис, что и именованные маркеры параметров. См . метки именованных параметров.

-- Return our current pipeline at a stage by region.
-- Opportunities are only considered pipelines if they are tagged as such.
  SELECT
    a.region__c AS `Region`,
    sum(o.amount) AS `Open Pipeline`
  FROM
    sales.crm.opportunity o
    JOIN sales.crm.accounts a ON o.accountid = a.id
  WHERE
    o.forecastcategory = :forecast_category AND
    o.stagename NOT ILIKE '%closed%'
  GROUP BY ALL;

Чтобы добавить параметр в запрос, выполните приведенные действия.

1. Поместите курсор в расположение параметра в запросе.

2. Нажмите кнопку "Добавить параметр ", чтобы вставить новый параметр.

   При этом создается новый параметр с именем parameterпо умолчанию. Чтобы изменить имя по умолчанию, замените его в редакторе запросов. Можно также добавить параметры, введя двоеточие, за которым следует имя параметра (:parameter_name) в редактор.

Изменение параметра запроса

Чтобы изменить параметр, сделайте следующее:

1. Щелкните рядом с именем параметра. Откроется диалоговое окно сведений о параметрах и включает следующие параметры конфигурации:

   • Ключевое слово: ключевое слово, представляющее параметр в запросе. Это можно изменить только путем непосредственного обновления текста в запросе.

   • Отображаемое имя: удобочитаемое пользователем имя, которое Genie использует в чате. Когда Genie использует параметризованный запрос для создания ответа, он включает отображаемое имя и связанное значение в ответе.

   • Тип: поддерживаемые типы: String, Date, Date и Time, and Numeric.

     • Тип по умолчанию — String.
     • Числовый тип данных позволяет указать между десятичным и целым числом. Числовой тип по умолчанию — Десятичный.

     Примечание.

     Если фактическое входное значение не соответствует выбранному типу параметра, Genie обрабатывает входное значение как неправильный тип, что может привести к неточным результатам.

2. Щелкните другую часть пользовательского интерфейса, чтобы закрыть диалоговое окно.

Функции SQL

Функции SQL — это пользовательские функции, хранящиеся в каталоге Unity и используемые Genie для ответа на конкретные вопросы. Genie может вызывать эти функции и вставлять все указанные пользователем параметры, но он не может получить доступ к базовому содержимому SQL. Это означает, что функции SQL идеально подходят для ответов на распространенные вопросы, которые включают сложные аргументы или вычисления, которые Genie не должны иметь доступа или редактирования. Инструкции по регистрации функции в каталоге Unity см. в статье "Создание функции таблицы SQL" и определяемых пользователем функций в каталоге Unity.

Доверенные ресурсы

Если для создания ответа используется точный текст параметризованного примера запроса или функции SQL, Genie помечает ответ как доверенный ресурс. Доверенные ресурсы предназначены для передачи дополнительного уровня уверенности в точности результата пользователю пространства. См. раздел "Использование доверенных ресурсов в пространствах AI/BI Genie".

Чат в пространстве Genie

Большинство взаимодействий с пространством Genie происходят в окне чата.

В новом окне чата содержится проверенный набор вопросов. Эти примеры вопросов помогают пользователям понять, какие вопросы они могут задать свое пространство Genie. Текстовое поле, в котором пользователи вводит вопросы, находится в нижней части экрана.

Ответы отображаются над текстовым полем. После ввода вопроса пользователь сохраняется в потоке журнала чата в левой области.

Журнал чата

Потоки журнала чата сохраняются для каждого пользователя, чтобы они могли ссылаться на прошлые вопросы и ответы. Пользователи также могут повторно отправить или пересмотреть вопросы из потока чата. Кнопка "Создать чат" в левой области запускает новый поток.

Каждый поток чата поддерживает контекст по предыдущим вопросам, которые он был задан. Это позволяет пользователям задавать дальнейшие вопросы для дальнейшего изучения или перенаправки результирующих наборов.

Потоки журнала чата хранятся неограниченно и остаются доступными до удаления потока или пространства Genie. Пользователи с разрешением CAN MANAGE или выше могут просматривать все чаты в пространстве.

Структура ответа

Точную структуру ответа зависит от вопроса. Часто ответы включают объяснение естественного языка и таблицу с соответствующим результирующий набор. Все ответы включают SQL-запрос, созданный для ответа на этот вопрос. Нажмите кнопку "Показать созданный код ", чтобы просмотреть созданный запрос.

Набор кнопок под ответом позволяет выполнять различные действия. Вы можете включить или вниз, чтобы указать качество ответа или запросить проверку пользователями с разрешением CAN EDIT или выше в пространстве Genie. Дополнительные параметры включают добавление ответа в качестве инструкции, повторное создание ответа или просмотр кода SQL, используемого для создания результирующий набор в ответе.

Набор плиток быстрых действий следует ответам, включающим табличные данные. Их можно использовать для создания визуализаций.

Вы также можете создать визуализацию, охарактеризовав ее словами после получения результата запроса.

Форматирование результатов

Чтобы отформатировать столбец в таблице в ответе, щелкните меню кебаб в заголовке столбца, а затем выберите "Формат ", чтобы просмотреть доступные параметры. Параметры форматирования зависят от типа данных столбца.

Скачивание результирующий набор

Пользователи пространства могут скачать до примерно 1 ГБ данных результатов в виде CSV- файла. Размер окончательного скачивания файла может быть немного больше или меньше 1 ГБ, так как ограничение на 1 ГБ применяется к предыдущему шагу, чем к окончательному скачиванию файла. Чтобы скачать результаты, щелкните значок скачивания в ответе.

Предоставление обратной связи по ответу

Каждый ответ AI/BI Genie включает кнопку обратной связи вверх или пальцем вниз. Databricks рекомендует поощрять пользователей предоставлять отзывы о пространстве с помощью этого механизма.

Для ответа, включающего результаты запроса, пользователи могут запросить, чтобы он был проверен редактором пространства Genie, щелкнув его . Если у пользователя есть вопросы о качестве или точности созданного ответа, он может пометить его для проверки и, при необходимости, добавить свой комментарий или вопрос.

Бизнес-пользователи могут просматривать обновления вопросов, помеченных для просмотра на странице журнала . Пользователи с разрешением CAN MANAGE в пространстве Genie могут просматривать конкретный обмен, комментировать запрос и подтвердить или исправить ответ. Они могут получать доступ к отзывам и просматривать запросы на странице мониторинга. Затем вы можете использовать эту обратную связь для настройки ответов и итерации в пространстве. Ознакомьтесь с журналом и отзывом.

Просмотр журнала и отзывов

Пространство Genie предназначено для непрерывной совместной работы для групп данных и бизнес-пользователей, чтобы накапливать знания, а не однократное развертывание. Понимание новых вопросов, на которые бизнес-пользователи нуждаются в ответах, является важным для создания знаний. На странице журнала можно просмотреть отдельные вопросы и ответы, отпечаток или отзыв вниз, предоставляемые пользователями, и вопросы, помеченные для проверки. Чтобы открыть страницу журнала, щелкните "Журнал " на боковой панели Genie.

На странице журнала отображаются все вопросы и ответы, которые были заданы в пространстве. Вы можете фильтровать вопросы по времени, рейтингу, пользователю или состоянию. Отслеживая пространство, редакторы пространства Genie могут заранее понять запросы, поднятые бизнес-пользователями, и как пространство Genie ответило.

Определив вопросы, с которыми борется Genie, вы можете обновить пространство Genie с конкретными инструкциями, чтобы улучшить свои ответы. Щелкните вопрос, чтобы открыть текст вопроса и ответа. Вы также можете получить доступ к полному потоку чата из этого представления.

Изменение созданного SQL

Вы можете просмотреть и изменить созданный SQL в любом ответе. Авторы пространства Genie обычно знают домен и данные, которые позволяют им распознавать, когда Genie создает неправильный ответ. Часто ошибки можно исправить с небольшим количеством ручной настройки в созданном SQL-запросе. Чтобы просмотреть созданный SQL для любого ответа, нажмите кнопку Показать созданный код , чтобы проверить запрос.

Вы можете изменить созданную инструкцию SQL, чтобы исправить ее, если у вас есть возможность ИЗМЕНИТЬ или повысить привилегии в пространстве Genie. После внесения исправлений выполните запрос. Затем вы можете сохранить его в качестве инструкции для обучения Genie, как ответить в будущем. Чтобы сохранить измененный запрос, нажмите кнопку "Сохранить как инструкцию".

Оценка ответов с помощью тестов

Тесты позволяют масштабировать тестирование и оценку отдельных ответов в пространстве Genie. В отличие от инструкций, тесты предназначены для оценки, а не информирования, пространства Genie. Genie не использует вопросы о тестах или пример SQL для улучшения контекста Genie.

С помощью тестов можно запустить коллекцию тестовых вопросов и использовать ответы для измерения точности Genie. При необходимости можно включить инструкцию SQL, которая возвращает ожидаемые результаты. При выполнении вопроса теста ответ Genie сравнивается с результатами, предоставленными инструкцией SQL, и оценивается по точности. Если ответ SQL не указан, этот вопрос помечается для проверки.

См. статью "Использование тестов в пространстве Genie".

Общий доступ к пространству Genie

Внимание

Пользователи пространства Genie должны использовать собственные учетные данные для доступа к данным. Любой вопрос о данных, к ним не удается получить доступ, создает пустой ответ.

Пользователи пространства Genie должны иметь разрешения CAN USE на складе, подключенном к пространству Genie, и разрешения на доступ к объектам каталога Unity, размещенным в пространстве. См . сведения о том, какие данные следует использовать?.

Новые пространства Genie сохраняются в папке пользователя по умолчанию. Как и другие объекты рабочей области, они наследуют разрешения от их включающей папки. Структуру папок рабочей области можно использовать для совместного использования с другими пользователями. См. статью "Упорядочить объекты рабочей области в папки".

Вы также можете указать определенных пользователей или групп для совместного использования на определенном уровне разрешений: CAN MANAGE, CAN EDIT, CAN RUN и CAN VIEW.

Чтобы предоставить общий доступ определенным пользователям или группам, выполните указанные действия.

1. Нажмите Поделиться.
2. Введите пользователей или группы, с которыми вы хотите поделиться пространством. Затем нажмите кнопку "Добавить " и задать соответствующие уровни разрешений.
3. Нажмите кнопку "Копировать ссылку" в нижней части диалогового окна "Общий доступ", чтобы получить доступную ссылку на пространство Genie. Привилегированные пользователи могут щелкнуть ссылку, чтобы открыть пространство Genie на новой вкладке и задать вопросы.

Клонирование пространства Genie

Клонирование пространства Genie создает копию, включая все контексты установки и инструкции. Это полезно, если у вас есть хорошо разработанное пространство и хотите создать новое пространство для дополнительного тестирования или повторно использовать контекст из исходного пространства. После клонирования пространства новое пространство не зависит от исходного, что позволяет вносить изменения и корректировки без влияния на исходный.

Следующие элементы копируются в клонированное пространство Genie:

• Таблицы и параметры
• Общие инструкции
• Примеры запросов SQL
• Функции SQL

Существующие потоки чата и данные журнала не копируются в новое пространство.

Чтобы клонировать пространство Genie, сделайте следующее:

1. Откройте пространство Genie, которое вы хотите клонировать.
2. Щелкните меню кебаб в правом верхнем углу пространства.
3. Щелкните Клонировать.
4. (Необязательно) В диалоговом окне клонирования укажите новое имя и папку рабочей области для клонированного пространства Genie.
5. Нажмите кнопку "Клонировать", чтобы создать новое пространство.

Конфиденциальность и безопасность

Вопрос. Какая модель использует Genie?

Genie использует модель Azure OpenAI.

Вопрос. Какие данные отправляются в модель?

Genie spaces создает ответы на вопросы естественного языка с помощью метаданных и инструкций. Genie не имеет доступа к данным на уровне строк.

Для обработки ответов Genie использует следующее:

• Запрос естественного языка, отправленный пользователем
• Имена и описания таблиц
• Заголовки и описания столбцов
• Общие инструкции
• Примеры запросов SQL
• Функции SQL

Вопрос. Собирает ли Azure OpenAI мои данные?

№ Databricks принял решение об исключении из программы мониторинга злоупотреблений и проверки человека, в которой корпорация Майкрософт не хранит никаких запросов и завершения, отправленных в службу Azure OpenAI. Дополнительные сведения см . в документации Майкрософт.

Рекомендации по подготовке пространства

• Перед сборкой создайте набор четко определенных вопросов, на которые вы хотите, чтобы пользователи пространства могли отвечать.
• Проверьте пространство Genie, чтобы проверить качество ответа. Попробуйте узнать, предоставляет ли модель ожидаемый ответ:
  • Переразите предоставленные вопросы.
  • Задайте другие вопросы, связанные с наборами данных.
• Добавьте и уточните инструкции по пространству Genie, пока вопросы не предоставляют ожидаемый ответ.

Дополнительные рекомендации по рекомендациям и помощь в устранении неполадок см. в разделе "Курирование эффективного пространства Genie".