Настройка языковой модели с помощью Индексатора видео Azure AI

Индексатор видео Azure AI поддерживает автоматическое распознавание речи с помощью интеграции с Пользовательской службой распознавания речи Майкрософт. Вы можете настроить языковую модель, отправив текст адаптации. Этот текст поступает из домена, словарь которого вы хотите использовать подсистему для адаптации. После обучения модели новые слова, отображаемые в тексте адаптации, распознается, предполагая произношение по умолчанию, и языковая модель узнает новые вероятные последовательности слов. Список поддерживаемых языков Индексатора видео в Azure AI см. в поддерживаемых ланге.

Например, Kubernetes (в контексте службы Azure Kubernetes ) — это слово, которое является очень конкретным. Так как слово является новым для Индексатора видео в Azure AI, оно признано "сообществами". Обучить модель, чтобы распознать ее как Kubernetes. В других случаях слова существуют, но языковая модель не ожидает их отображения в определенном контексте. Например, "служба контейнеров" не является 2-словной последовательностью, которую неспециализированная языковая модель распознает как определенный набор слов.

Существует два способа настройки языковой модели:

• Вариант 1. Изменение расшифровки, созданной индексатором видео Azure AI. Изменив и исправив расшифровку, вы обучаете языковую модель, чтобы обеспечить улучшенные результаты в будущем.
• Вариант 2. Отправка текстовых файлов для обучения языковой модели. Файл может содержать список слов, так как они должны отображаться в расшифровке индексатора видео или соответствующие слова, включенные естественным образом в предложения и абзацы. По мере достижения лучших результатов с помощью последнего подхода рекомендуется отправить файл, чтобы он содержал полные предложения или абзацы, связанные с вашим содержимым.

Внимание

Не включайте слова или предложения, как в настоящее время неправильно транскрибированные (например, "сообщества") в файл отправки, так как это приведет к снижению предполагаемого влияния. Включайте только слова, как они будут отображаться (например, Kubernetes).

Оптимизация пользовательской языковой модели

Индексатор видео Azure AI учится на основе вероятностей сочетаний слов, поэтому для лучшего изучения:

• Предоставляйте достаточно реальных примеров предложений так, как их могли бы произносить.
• Размещайте только одно предложение в строке, не более. В противном случае система изучит вероятности между предложениями.
• Это нормально поставить одно слово в качестве предложения, чтобы повысить слово против других, но система учится лучше всего из полных предложений.
• Если возможно, при внедрении новых слов или сокращений предоставляйте как можно больше примеров использования в полном предложении, чтобы предоставить системе как можно больше контекста.
• Попробуйте несколько вариантов адаптации и узнайте, как они работают для вас.
• Избегайте повторения одного предложения несколько раз. Может возникнуть смещение относительно остальных входных данных.
• Избегайте включения необычных символов (~, # # % &) по мере того, как они будут удалены. Предложения, в которых они появляются, также будут отклонены.
• Избегайте размещения слишком больших входных данных, например тысячи предложений, так как это может ослабить эффект бустинга.

Необходимые компоненты

• Учетная запись Azure.
• Учетная запись индексатора видео Azure AI

Веб-портал

Создание языковой модели

1. Перейдите на веб-сайт Индексатора видео Azure ИИ и войдите в систему.
2. Чтобы настроить модель в учетной записи, в левой части страницы нажмите кнопку Настройка модели содержимого.
3. Выберите вкладку "Язык ". Вы увидите список поддерживаемых языков.
4. Под требуемым языком выберите Добавить модель.
5. Введите имя языковой модели и нажмите клавишу ВВОД. На этом этапе будет создана модель, и у вас появится возможность передавать в нее текстовые файлы.
6. Чтобы добавить текстовый файл, выберите Добавить файл. Откроется обозреватель файлов.
7. Перейдите к текстовому файлу и выберите его. В языковую модель можно добавить несколько текстовых файлов. Вы также можете добавить текстовый файл, нажав кнопку ... в правой части языковой модели и нажав кнопку "Добавить файл".
8. После передачи текстовых файлов нажмите кнопку Обучить зеленого цвета.

Процесс обучения может занять несколько минут. После завершения обучения обученный появится рядом с моделью. Вы можете просматривать, скачивать и удалять файл из модели.

Использование языковой модели в новом видео

Чтобы использовать языковую модель в новом видео, выполните одно из следующих действий:

1. Нажмите кнопку Передать в верхней части страницы.
2. Перетащите аудио- или видеофайл или перейдите к своему файлу.
3. Выберите языковую модель, созданную в раскрывающемся списке "Исходный язык видео".
4. Выберите параметр Передать в нижней части страницы, и новое видео будет проиндексировано с использованием вашей языковой модели.

Использование языковой модели для переиндексации

1. Войдите на домашнюю страницу Индексатора видео Azure AI.
2. Нажмите кнопку ... на видео и выберите пункт Повторное индексирование.
3. Выберите раскрывающийся список "Исходный видео" и выберите языковую модель, созданную в списке.
4. Нажмите кнопку "Переиндексировать", и видео будет переиндексировано с помощью языковой модели.

Изменение языковой модели

Вы можете изменить языковую модель, изменив его имя, добавив в него файлы и удалив файлы из него. При добавлении или удалении файлов из языковой модели необходимо снова обучить модель, выбрав зеленый параметр "Обучение ".

Переименование языковой модели

Вы можете изменить имя языковой модели, нажав кнопку с многоточием (...) в правой части языковой модели и выбрав "Переименовать". Введите новое имя.

Добавление файлов

1. Щелкните Добавить файл. Откроется обозреватель файлов.
2. Перейдите к текстовому файлу и выберите его. В языковую модель можно добавить несколько текстовых файлов.

Вы также можете добавить текстовый файл, нажав кнопку с многоточием (...) в правой части языковой модели и нажав кнопку "Добавить файл".

Удаление файлов

Это действие полностью удаляет файл из языковой модели.

1. Нажмите кнопку с многоточием (...) справа от текстового файла.
2. Выберите команду Удалить. Появится новое окно с сообщением о том, что удаление невозможно отменить.
3. Выберите пункт Удалить в новом окне.

Удаление языковой модели

Это действие полностью удаляет языковую модель из учетной записи. Любое видео, использующее модель deletedlLanguage, будет хранить тот же индекс, пока не будет переиндексировать видео. При повторном индексе видео можно назначить новую языковую модель видео. В противном случае индексатор видео Azure AI будет использовать свою модель по умолчанию для повторного анализа видео.

1. Нажмите кнопку с многоточием (...) в правой части языковой модели.
2. Выберите команду Удалить. Появится новое окно с сообщением о том, что удаление невозможно отменить.
3. Выберите пункт Удалить в новом окне.

Настройка языковых моделей путем исправления расшифровок

Индексатор видео Azure AI настраивает языковые модели на основе фактических исправлений, внесенных пользователями в транскрибирование видео. Он записывает все строки, исправленные в транскрибировании видео, и добавляет их в текстовый файл с именем From transcript edits. Эти изменения используются для повторного обучения языковой модели, которая использовалась для индексирования видео.

Изменения, выполненные на временной шкале мини-приложения , также включены.

Если вы не указали языковую модель при индексировании этого видео, все изменения для этого видео хранятся в языковой модели по умолчанию, вызываемой Account adaptations в пределах обнаруженного языка видео.

Если в одной строке было выполнено несколько изменений, для обновления языковой модели используется только последняя версия исправленной строки.

Примечание.

Для настройки используются только текстовые исправления. Исправления, не затрагивающие реальные слова (например, знаки пунктуации и пробелы), не включаются.

1. Выберите видео, которое нужно изменить из библиотеки.
2. Перейдите на вкладку Временная шкала.
3. Щелкните значок с изображением карандаша, чтобы изменить произносимый текст.
4. Вы увидите исправления расшифровки на вкладке "Язык" страницы настройки Con режим палатки l. Чтобы просмотреть файл "Из изменений в расшифровке" для каждой языковой модели, выберите его, чтобы открыть.

API

Создание языковой модели

Запрос на создание языковой модели создает новую настраиваемую языковую модель для указанной учетной записи. Файлы для языковой модели можно отправить с помощью этого запроса. Кроме того, вы можете создать языковую модель здесь и отправить файлы для модели позже, обновив языковую модель.

Файлы необходимо отправить в текст, используя FormData, помимо предоставления значений необходимых параметров. Существует два способа определения пары ключей для этой задачи:

1. Ключом является имя и значение файла txt.
2. Ключом является имя файла и значение — URL-адрес файла txt.

Примечание.

По-прежнему следует провести обучение модели с поддержкой файлов для модели, чтобы освоить содержимое из файлов.

Пример отклика

{
    "id": "dfae5745-6f1d-4edd-b224-42e1ab57a891",
    "name": "TestModel",
    "language": "En-US",
    "state": "None",
    "languageModelId": "00000000-0000-0000-0000-000000000000",
    "files": [
    {
        "id": "25be7c0e-b6a6-4f48-b981-497e920a0bc9",
        "name": "hellofile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-28T11:55:34.6733333"
    },
    {
        "id": "33025f5b-2354-485e-a50c-4e6b76345ca7",
        "name": "worldfile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-28T11:55:34.86"
    }
    ]
}

Обучение языковой модели

Запрос на обучение языковой модели обучает пользовательскую языковую модель для указанной учетной записи с содержимым отправленных и включенных файлов в языковой модели.

Примечание.

Сначала необходимо создать языковую модель и отправить файлы. Файлы можно отправлять при создании языковой модели или обновлении языковой модели.

Пример отклика

{
    "id": "41464adf-e432-42b1-8e09-f52905d7e29d",
    "name": "TestModel",
    "language": "En-US",
    "state": "Waiting",
    "languageModelId": "531e5745-681d-4e1d-b124-12e5ab57a891",
    "files": [
    {
        "id": "84fcf1ac-1952-48f3-b372-18f768eedf83",
        "name": "RenamedFile",
        "enable": false,
        "creator": "John Doe",
        "creationTime": "2018-04-27T20:10:10.5233333"
    },
    {
        "id": "9ac35b4b-1381-49c4-9fe4-8234bfdd0f50",
        "name": "hellofile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-27T20:10:10.68"
    }
    ]
}

Это id уникальный идентификатор, используемый для различения языковых моделей, в то время languageModelId как используется для отправки видео в индексирование и повторное индексирование видеозаявок (также известных как linguisticModelId в запросах отправки и повторной индексации видео Azure).

Удаление языковой модели

Запрос на удаление языковой модели удаляет пользовательскую языковую модель из указанной учетной записи. Любое видео, использующее удаленную языковую модель, сохраняет тот же индекс, пока не будет переиндексировано видео. Если видео было повторно индексировано, то ему можно назначить новую языковую модель. В противном случае Индексатор видео Azure использует свою модель по умолчанию для повторного анализа видео.

Пример отклика

При успешном удалении языковой модели содержимое не возвращается.

Обновление языковой модели

Запрос языковой модели обновления обновляет пользовательскую модель пользователя языка в указанной учетной записи.

Примечание.

Необходимо уже создать языковую модель. Этот вызов можно использовать, чтобы включить или отключить все файлы в модели, обновить имя языковой модели и передать файлы для добавления в языковую модель.

Чтобы передать файлы, добавляемые в языковую модель, необходимо передать файлы в тексте с помощью FormData, а также предоставить значения для необходимых параметров выше. Эту задачу можно выполнить двумя способами:

• Ключом является имя и значение файла txt.
• Ключом является имя файла и значение — URL-адрес файла txt.

Пример отклика

{
    "id": "41464adf-e432-42b1-8e09-f52905d7e29d",
    "name": "TestModel",
    "language": "En-US",
    "state": "Waiting",
    "languageModelId": "531e5745-681d-4e1d-b124-12e5ab57a891",
    "files": [
    {
        "id": "84fcf1ac-1952-48f3-b372-18f768eedf83",
        "name": "RenamedFile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-27T20:10:10.5233333"
    },
    {
        "id": "9ac35b4b-1381-49c4-9fe4-8234bfdd0f50",
        "name": "hellofile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-27T20:10:10.68"
    }
    ]
}

Используйте id файлов из ответа для загрузки содержимого файлов.

Обновление файла из языковой модели

Запрос файла языковой модели обновления позволяет обновить имя и enable состояние файла в пользовательской языковой модели в указанной учетной записи.

Пример отклика

{
  "id": "84fcf1ac-1952-48f3-b372-18f768eedf83",
  "name": "RenamedFile",
  "enable": false,
  "creator": "John Doe",
  "creationTime": "2018-04-27T20:10:10.5233333"
}

Используйте id файла из ответа для загрузки содержимого файла.

Получение определенной языковой модели

Запрос "Получить языковую модель" возвращает сведения о указанной языковой модели в указанной учетной записи, такой как язык и файлы, которые находятся в языковой модели.

Пример отклика

{
    "id": "dfae5745-6f1d-4edd-b224-42e1ab57a891",
    "name": "TestModel",
    "language": "En-US",
    "state": "None",
    "languageModelId": "00000000-0000-0000-0000-000000000000",
    "files": [
    {
        "id": "25be7c0e-b6a6-4f48-b981-497e920a0bc9",
        "name": "hellofile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-28T11:55:34.6733333"
    },
    {
        "id": "33025f5b-2354-485e-a50c-4e6b76345ca7",
        "name": "worldfile",
        "enable": true,
        "creator": "John Doe",
        "creationTime": "2018-04-28T11:55:34.86"
    }
    ]
}

Используйте id файла из ответа для загрузки содержимого файла.

Получение всех языковых моделей

Запрос "Получить языковые модели " возвращает все пользовательские языковые модели в указанной учетной записи в списке.

Пример отклика

[
    {
        "id": "dfae5745-6f1d-4edd-b224-42e1ab57a891",
        "name": "TestModel",
        "language": "En-US",
        "state": "None",
        "languageModelId": "00000000-0000-0000-0000-000000000000",
        "files": [
        {
            "id": "25be7c0e-b6a6-4f48-b981-497e920a0bc9",
            "name": "hellofile",
            "enable": true,
            "creator": "John Doe",
            "creationTime": "2018-04-28T11:55:34.6733333"
        },
        {
            "id": "33025f5b-2354-485e-a50c-4e6b76345ca7",
            "name": "worldfile",
            "enable": true,
            "creator": "John Doe",
            "creationTime": "2018-04-28T11:55:34.86"
        }
        ]
    },
    {
        "id": "dfae5745-6f1d-4edd-b224-42e1ab57a892",
        "name": "AnotherTestModel",
        "language": "En-US",
        "state": "None",
        "languageModelId": "00000000-0000-0000-0000-000000000001",
        "files": []
    }
]

Удаление файла из языковой модели

Запрос на удаление файла языковой модели удаляет указанный файл из указанной языковой модели в указанной учетной записи.

Пример отклика

При успешном удалении файла из языковой модели не возвращается содержимое.

Получение метаданных файла из языковой модели

Запрос данных файлов языковой модели возвращает содержимое и метаданные указанного файла из выбранной языковой модели в вашей учетной записи.

Пример отклика

{
    "content": "hello\r\nworld",
    "id": "84fcf1ac-1952-48f3-b372-18f768eedf83",
    "name": "Hello",
    "enable": true,
    "creator": "John Doe",
    "creationTime": "2018-04-27T20:10:10.5233333"
}

Примечание.

Содержимое этого примера файла — это слова hello и world в двух отдельных строках.

Скачивание файла из языковой модели

Запрос содержимого файла языковой модели загружает текстовый файл, содержащий содержимое указанного файла из указанной языковой модели в указанной учетной записи. Этот текстовый файл должен соответствовать содержимому текстового файла, который был изначально передан.

Пример отклика

Ответ — это скачивание текстового файла с содержимым файла в формате JSON.