Поделиться через

Обзор интеграции распознавания разговорной речи

  • Статья

Модель распознавания устной речи (CLU) можно интегрировать с агентом Copilot Studio. Распознавание разговорного языка — это одна из настраиваемых функций, предлагаемых Azure Cognitive Service для языковой службы. Это облачная служба, которая применяет аналитику машинного обучения, чтобы вы могли создать компонент распознавания естественного языка, который будет использоваться в комплексном разговорном приложении. Доступны API-интерфейсы языковой службы (но они не требуются для интеграции с Copilot Studio), а Azure Language Studio предоставляет функции обработки естественного языка (NLP) для анализ разговорного текста.

Для проектов, созданных с этой возможностью, создатели агентов теперь могут получать доступ к существующим намерениям и сущностям модели CLU непосредственно в Copilot Studio. Теперь пользователи Copilot Studio могут сопоставлять намерения CLU с триггерными диалогами агента так же, как и с собственными триггерами высказываний Copilot Studio. Сущности, импортированные из модели CLU, отображаются на странице Copilot Studio Сущности и могут использоваться вместе с готовыми сущностями Copilot Studio. Создатели ботов могут добавлять новые узлы вопросов в теме и выбирать доступные сущности и намерения из импортированной модели CLU. Сущности CLU привязываются к эквивалентным объектам Copilot Studio. Пользователи указывают имя, тип данных и структуру JSON пользовательского типа данных, если это необходимо, для каждой сущности.

Заметка

Для существующих агентов, с которыми вы хотите воспользоваться преимуществами интеграции CLU, необходимо сопоставить модель CLU с Copilot Studio, затем обновить фразы-триггеры агента, чтобы привязать каждую тему к соответствующему намерению CLU. Вы также можете вручную управлять связью между моделью CLU и Copilot Studio.

Предварительные условия

Основные понятия

Рассматриваемые в этой статье понятия помогут вам понять, как интегрировать модели CLU с проектами Copilot Studio. Дополнительные сведения см. в разделе Начало работы с интеграцией распознавания разговорной речи.

Соединители CLU

Соединитель — это оболочка вокруг API, которая позволяет Azure Cognitive Service взаимодействовать с Copilot Studio. Кроме того, он позволяет пользователям подключать свои учетные записи и создавать собственные приложения и рабочие процессы, используя набор готовых триггеров и действий. Подробнее см. в статье Azure Cognitive Service для языковой службы — соединители.

Соединители Power Platform позволяют службам Майкрософт взаимодействовать с API CLU. Дополнительные сведения см. в документации по соединителям Power Platform и Azure Logic Apps. Хотя вы можете импортировать любые типы соединителей, Copilot Studio в настоящее время не проверяет соединители.

Подключения в Copilot Studio

Подключение — это сохраненные учетные данные проверки подлинности для соединителя, например учетные данные OAuth для соединителя SharePoint. Ссылка на подключение — это компонент решения, содержащий ссылку на подключение для определенного соединителя.

Подключения Copilot Studio относятся к конкретной среде. При импорте агента необходимо настроить для него подключение. В Power Platform существует стандартный способ реализовать это — с помощью ссылки на подключение. Дополнительные сведения см. в статье Ссылки на подключения в решениях — Power Apps.

Внешние распознаватели

Интеграция CLU поддерживает определенные внешние распознаватели. Триггер OnRecognize срабатывает в следующих сценариях:

  • При запуске темы: LanguageUnderstandingReason.TriggerTopic

  • Когда узел вопроса не поддерживает прерывания и требует ответа: LanguageUnderstandingReason.AnswerQuestion

  • Когда узел вопроса поддерживает прерывания и требует ответа: LanguageUnderstandingReason.AnswerQuestionWithInterruptions

Внешние намерения

Интеграция с CLU поддерживает распознанные внешние намерения, использующие системную переменную System.Recognizer.IntentOptions, в следующих сценариях:

  • Повторное использование TopicId в качестве идентификатора внешнего намерения
  • Повторное использование TriggerId в качестве идентификатора внешнего намерения
  • Создание нового свойства IntentId в качестве идентификатора внешнего намерения
  • Системные переменные, поддерживающие причину срабатывания распознавателя
Имя свойства Type Описание:
DisplayName String Отображаемое имя для распознанного намерения; локализованное на текущий язык, и предназначенное для отображения в уточнении «вы имели в виду» (если применимо)
Балл Число Оценка распознавателя
TopicId String Имя темы в схеме Dataverse
TriggerId String Уникальный идентификатор триггера в теме AdaptiveDialog

Полный список переменных Copilot Studio, включая системные переменные, см. в разделе Обзор переменных.

Смешивание различных типов компонентов сущностей

Сущности CLU включают релевантную информацию, извлеченную из речевых фрагментов NLU. Сущности могут извлекаться с использованием различных методов. Их можно узнать из контекста, выбрать методом подбора из списка или обнаружить с помощью готовой распознанной сущности. Полный список типов компонентов сущностей см. в статье Типы компонентов.

Заметка

Вы также можете использовать готовые сущности Copilot Studio наряду с сущностями CLU.

Связанный контент

Другие функции создания агентов, поддерживаемые интеграцией CLU, включают: