Поделиться через

Тестирование пользовательского переводчика Azure AI

  • Статья

После успешного обучения модели пользовательского переводчика Azure можно использовать переводы для оценки качества модели. Чтобы принять информированное решение о том, следует ли использовать стандартную модель Azure AI Translator или настраиваемую модель, вы должны оценить разность между оценкой личных моделей BLEU и нашей стандартной моделью Azure AI Translator базовый BLEU. Если модель обучена в узком домене, а данные обучения соответствуют тестовых данных, вы можете ожидать высокую оценку BLEU.

Оценка BLEU

BLEU (двуязычная оценка недоумение) — это алгоритм для оценки точности или точности текста, переведенного с одного языка на другой. Пользовательский переводчик использует метрику BLEU как один из способов оценки точности перевода.

Оценка BLEU — это число от 0 до 100. Нулевой показатель указывает на некачественный перевод, который совершенно не соответствует справочному. Оценка 100 означает идеальный перевод, идентичный справочному. Необязательно стремиться к результату 100 — оценка BLEU между 40 и 60 указывает на высокое качество перевода.

Дополнительные сведения

Сведения о пользовательской модели переводчика Azure

  1. Выберите колонку Сведения о модели.

  2. Выберите имя модели. Просмотрите дату и время обучения, общее время обучения, количество предложений, используемых для обучения, настройки, тестирования и словаря. Проверьте, создана ли система наборов тестов и настроек. Используйте его Category ID для выполнения запросов на перевод.

  3. Выполните оценку BLEU модели. Просмотрите набор тестов: оценка BLEU — это пользовательский показатель модели, а базовый BLEU — это предварительно обученная базовая модель, используемая для настройки. Более высокая оценка BLEU означает высокий уровень перевода с помощью пользовательской модели.

    Снимок экрана: подробные сведения о модели.

Проверка качества перевода модели

  1. Выберите колонку Тест модели.

  2. Выберите имя модели.

  3. Человеческое вычисление перевода из пользовательской модели и базовой модели (предварительно обученная базовая база, используемая для настройки) для ссылок (целевой перевод из тестового набора).

  4. Если результаты обучения удовлетворительны, поместите запрос на развертывание для обученной модели.

Следующие шаги