Как проанализировать цикл обучения, используя автономную оценку

Внимание

Начиная с 20 сентября 2023 г. вы не сможете создавать новые ресурсы Персонализатора. Служба Персонализатора отменяется 1 октября 2026 года.

Узнайте, как создать автономную оценку и интерпретировать результаты.

Автономные оценки позволяют измерять, насколько эффективно персонализатор сравнивается с поведением приложения по умолчанию за период зарегистрированных (исторических) данных, а также оценить, насколько хорошо другие параметры конфигурации модели могут выполняться для модели.

При создании автономной оценки параметр обнаружения оптимизации будет выполнять автономные оценки по различным значениям политики обучения, чтобы найти его, который может повысить производительность модели. Вы также можете предоставить дополнительные политики для оценки в автономной оценке.

Дополнительные сведения см. в разделе Автономные оценки.

Необходимые компоненты

• Настроенный ресурс Персонализатора
• Ресурс Персонализатора должен иметь представительный объем зарегистрированных данных - как фигура ballpark, мы рекомендуем не менее 50 000 событий в своих журналах для значимых результатов оценки. При необходимости вы также можете экспортировать ранее экспортированные файлы политики обучения, которые вы хотите протестировать и сравнить в этой оценке.

Выполнение автономной оценки

1. Выберите ресурс "Персонализатор" на портале Azure.

2. На портале Azure перейдите к разделу Оценки и выберите Создать оценку.

3. Заполните параметры в окне создания оценки :

   • Имя оценки.
   • Даты начала и завершения, которые определяют диапазон данных для оценивания. Эти данные должны присутствовать в журналах, как указано в параметре Хранение данных.
   • Задайте для обнаружения оптимизации значение "Да", если вы хотите, чтобы Персонализатор попыталась найти более оптимальные политики обучения.
   • Добавление параметров обучения — отправка файла политики обучения, если вы хотите оценить пользовательскую или ранее экспортированную политику.l

   

4. Запустите оценку, выбрав "Начать оценку".

Проверить результаты оценки

Выполнение оценки может занять много времени в зависимости от объема обрабатываемых данных, количества сравниваемых политик обучения и того, было ли запрошено оптимизацию.

1. После завершения можно выбрать оценку из списка оценок, а затем сравнить оценку приложения с другими потенциальными параметрами обучения. Выберите эту функцию, чтобы увидеть, как текущая политика обучения выполняется по сравнению с новой политикой.

2. Затем просмотрите производительность политик обучения.

   

Вы увидите различные политики обучения на диаграмме, а также их предполагаемое среднее вознаграждение, доверительные интервалы и параметры для скачивания или применения определенной политики.

• "Online" — текущая политика персонализатора
• "Базовый план1" — базовая политика приложения
• "BaselineRand" — политика принятия действий случайным образом
• "Inter-len#" или "Hyper#" — политики, созданные при обнаружении оптимизации.

Нажмите кнопку Применить, чтобы применить политику, которая повышает эффективность модели для данных.

Следующие шаги

• Узнать больше можно в разделе О работе автономных оценок.