Изучение архитектуры решения

Завершено

При работе с небольшими проектами и небольшими командами может иметь смысл иметь одну рабочую область Машинного обучения Azure. Одна рабочая область может использоваться для всего: для обучения, тестирования и развертывания модели. Однако в Proseware требуется надежное и перспективное решение, которое может с легкостью масштабироваться при создании и обслуживании нескольких моделей, которые вы хотите интегрировать с нашим веб-приложением для практического применения.

Чтобы быстро, но безопасно перенести модель из среды разработки в рабочую среду, вы договорились о создании высокоуровневой архитектуры операций машинного обучения (MLOps).

Примечание.

На схеме демонстрируется упрощенное представление архитектуры MLOps. Чтобы просмотреть архитектуру более подробно, изучите различные варианты использования в акселераторе решений MLOps (версии 2).

Компоненты архитектуры:

1. Настройка: создание всех необходимых ресурсов Azure для решения.
2. Разработка моделей (внутренний цикл): изучение и обработка данных для обучения и оценки модели.
3. Непрерывная интеграция: упаковка и регистрация модели.
4. Развертывание модели (внешний цикл): развертывание модели.
5. Непрерывное развертывание: тестирование модели и перенос в рабочую среду.
6. Мониторинг: мониторинг производительности модели и конечной точки.

Для работы с моделями машинного обучения в большом масштабе Proseware желает использовать отдельные среды для разных этапов. Наличие отдельных сред упрощает управление доступом к ресурсам. Затем каждую среду можно связать с отдельной рабочей областью Машинного обучения Azure.

Примечание.

В этом модуле рассмотрим интерпретацию сред DevOps. Обратите внимание, что в Машинном обучение Azure также используются среды терминов для описания коллекции пакетов Python, необходимых для выполнения скрипта. Эти две концепции сред не зависят друг от друга. Дополнительные сведения о средах Машинного обучения Azure.

Чтобы разрешить тестирование моделей перед развертыванием, необходимо работать с тремя средами:

Среда разработки используется для внутреннего цикла:

1. Специалисты по обработке и анализу данных обучают модель.
2. Модель упаковывается и регистрируется.

Промежуточная среда используется для одной части внешнего цикла:

3. Протестируйте код и модель с помощью анализа кода и модульного тестирования.
4. Разверните модель для тестирования конечной точки.

Рабочая среда используется для другой части внешнего цикла:

5. Разверните модель в рабочей конечной точке. Конечная точка рабочей среды интегрирована с веб-приложением.
6. Отслеживайте производительность модели и конечной точки, чтобы при необходимости запустить повторное обучение.

Несмотря на то что многие задачи машинного обучения могут и должны быть автоматизированы, вы также хотите спланировать точки, в которых утверждение с проверкой изменений. Когда модель обучена и упакована, необходимо уведомить ведущего специалиста по обработке и анализу данных о необходимости проверить модель, прежде чем она будет перемещена в промежуточную среду.

Аналогичным образом, после того, как модель была тщательно протестирована в промежуточной среде, необходимо добавить утверждение с проверкой изменений, чтобы убедиться, что кто-либо из команды разработчиков программного обеспечения проверил, успешно ли выполнены все тесты перед развертыванием модели в рабочей среде.

При работе со средами утверждения с проверкой изменений позволяют управлять развертываниями из одной среды в следующую.