Измерение влияния помощника Databricks

В этой статье содержатся сведения об измерении влияния Помощника Databricks с точки зрения внедрения, egagement и сообщаемых о повышении производительности.

Требования

Чтобы оценить влияние помощника Databricks, вам потребуется:

• Права администратора учетной записи, необходимые для включения системных таблиц. См. Включите системные таблицы.
• Внутренний опрос с целью получения субъективных отзывов о помощнике от вашей команды.

Данные и метрики

Вы получаете необработанные данные из системных таблиц и опроса. Чтобы понять влияние помощника, необходимо проанализировать и сообщить данные в виде метрик. Метрики — это вычисляемые значения, используемые для измерения конкретных аспектов или действий, связанных с воздействием помощника. Эта статья также относится к метрикам в качестве мер.

Советы по измерению влияния помощника

Чтобы понять, как ваша организация использует Помощник по Databricks, начните с измерения его внедрения и взаимодействия с Помощником Databricks. Эти данные можно вычислить из системных таблиц.

Регулярно просматривайте данные и упрощайте его доступ на общей панели мониторинга. В качестве примера и шаблона панели мониторинга см. справочник и пример системной таблицы Databricks Assistant.

Метрики влияния помощника

Ниже приведены рекомендуемые меры влияния помощника, как из системных таблиц, так и из отзывов пользователей. Примеры вычислений метрик, скачивание файла панели мониторинга событий Помощника из GitHub и чтение вычислений в ФОРМАТЕ JSON. Сведения о импорте файла панели мониторинга см. в статье "Импорт файла панели мониторинга"

Опрос вашей организации также помогает понять эффективность взаимодействия с помощником. Ознакомьтесь с рекомендуемыми вопросами опроса.

Измерение	Определение	Этап	Источник данных
Основные пользователи в целом	Пользователи в заданном периоде, которые чаще всего взаимодействуют с помощником	Внедрение	Вычислите данные из системной таблицы Databricks Assistant.
Данные отправки: на рабочую область и общую сумму	Количество запросов, отправленных помощнику по рабочей области и каждой учетной записи	Внедрение	Вычислите данные из системной таблицы Databricks Assistant.
Активные пользователи по дням и месяцам	Уникальные пользователи, которые получили и приняли 1+ предложения или приняли участие в 1+ чатах в данный день.	Взаимодействие	Посчитайте данные из системной таблицы Databricks Assistant.
Активные пользователи на рабочую область	Уникальные пользователи в данной рабочей области, взаимодействующие с помощником	Взаимодействие	Вычислите данные из системной таблицы Databricks Assistant.
Основные роли заданий с помощью помощника Databricks	Количество пользователей из каждой роли, определенных в организации, которые используют помощника	Взаимодействие	Опрос вашей организации
Основные задачи помощника	С помощью помощника по наиболее распространенным задачам	Взаимодействие	Опрос вашей организации
Как часто вы используете помощника	Самостоятельная частота использования помощника для каждого пользователя	Взаимодействие	Опрос вашей организации
Основные области использования помощника	Области самостоятельного использования: редактор SQL, записные книжки или оба	Взаимодействие	Опрос вашей организации
Удовлетворенность пользователей справкой помощника	Самостоятельное удовлетворение ответами помощника в масштабе 1–5	Удовлетворенность пользователей	Опрос вашей организации
Повышение производительности пользователей	Самостоятельное увеличение производительности, полученное с помощью помощника в масштабе 1-5	Удовлетворенность пользователей	Опрос вашей организации
Время экономии пользователей с помощью помощника	Самостоятельный процент времени, сохраненный с помощью помощника для выполнения задач	Удовлетворенность пользователей	Опрос вашей организации

Рекомендуемые вопросы опроса

Системные таблицы не смогут записать все сведения о том, как ваша организация использует Databricks Assistant. Используйте вопросы опроса, такие как приведенные ниже, чтобы понять, как ваша организация использует помощника.

• Какова ваша роль? Перечислите роли в вашей организации
• Как часто вы используете помощника?
  • Почасовая
  • Ежедневно
  • Weekly (Еженедельно);
  • Ежемесячная
• Где вы используете помощник по ИИ?
  • Редактор SQL
  • Записные книжки
  • Оба
• Каковы основные варианты использования помощника?
  • Устранение ошибок и устранение неполадок
  • Справка по написанию кода
  • Рефакторинг кода
  • Написание запросов SQL
  • Создание модульных тестов
  • Поиск документации
• Насколько вы удовлетворены ответами помощника? Масштаб от 1 до 5, не удовлетворен крайне удовлетворен
• Так как вы используете помощник по искусственному интеллекту, вы сказали бы, что вы более продуктивный? Масштаб 1-5, гораздо менее продуктивный и гораздо более продуктивный
• Сколько времени вы считаете, что вы экономите на средней задаче с помощью помощника?
  • 0-10%
  • 10-30%
  • 30-50 %
  • 50–70 %
  • Более 70 %