Машинное обучение Azure как продукт данных для облачной аналитики
Машинное обучение Azure — это интегрированная платформа для управления жизненным циклом машинного обучения от начала до конца, включая помощь в создании, эксплуатации и использовании моделей и рабочих процессов машинного обучения. Ниже перечислены некоторые преимущества использования службы.
Возможности позволяют разработчикам повысить производительность, помогая им управлять экспериментами, получать доступ к данным, отслеживать выполнение заданий, настраивать гиперпараметры и автоматизировать рабочие процессы.
Способность модели объясняться, воспроизводиться, проверяться и интегрироваться с DevOps, а также богатая модель управления безопасностью помогают операторам выполнять требования системы управления и соответствия требованиям.
Возможности управляемого вывода и надежная интеграция со службами вычислений и данных Azure упрощают использование службы.
Машинное обучение Azure охватывает все аспекты жизненного цикла обработки и анализа данных. Оно включает регистрацию хранилища и набора данных в развертывании модели. Его можно использовать для любого типа машинного обучения, от классического до глубокого. Оно включает обучение как с учителем, так и без. Если вы предпочитаете писать код на Python или R или использовать варианты без кода или с минимальным созданием кода, например в конструкторе, можно создавать, изучать и отслеживать высокоточные модели машинного обучения и глубокого обучения в рабочей области Машинного обучения Azure.
Машинное обучение Azure, платформа Azure и службы искусственного интеллекта Azure могут работать совместно для управления жизненным циклом машинного обучения. Специалисты по машинному обучению могут использовать Azure Synapse Analytics, Базу данных SQL Azure или Microsoft Power BI для начала анализа данных и перехода на Машинное обучение Azure для создания прототипов, управления экспериментами и эксплуатации. В целевых зонах Azure Машинное обучение Azure можно рассматривать как продукт данных.
Машинное обучение Azure в облачной аналитике
База целевой зоны Cloud Adoption Framework (CAF), целевые зоны облачной аналитики и конфигурация Машинное обучение Azure настроить специалистов по машинному обучению с предварительно настроенной средой, в которую они могут многократно развертывать рабочие нагрузки машинного обучения или переносить существующие рабочие нагрузки. Эти возможности помогают специалистам машинного обучения стать более гибкими и эффективно использовать свое время.
Следующие принципы проектирования помогут в реализации целевых зон Машинного обучения Azure.
Ускоренный доступ к данным. Выполните предварительную настройку компонентов хранилища целевых зон в качестве хранилищ данных в рабочей области Машинного обучения Azure.
Использование совместной работы. Упорядочьте рабочие области по проектам и централизуйте управление доступом для ресурсов целевой зоны для поддержки совместной работы специалистов по инжинирингу данных, обработке и анализу данных и машинному обучению.
Безопасная реализация. По умолчанию для каждого развертывания следуйте лучшим методикам и используйте изоляцию сети, удостоверения и управление доступом для защиты ресурсов данных.
Самообслуживание. Специалисты по машинному обучению могут стать более гибкими и организованными, исследуя варианты развертывания новых ресурсов проекта.
Разделение проблем между управлением данными и потреблением данных. Транзитная передача идентификатора является типом проверки подлинности по умолчанию для Машинного обучения Azure и хранилища.
Быстрое приложение данных (выровненное по источнику): Фабрика данных Azure, Azure Synapse Analytics и целевые зоны Databricks можно предварительно настроить для связи с Машинное обучение Azure.
Наблюдаемость: Централизованное журналирование и конфигурации ссылок помогают выполнять мониторинг среды.
Обзор реализации
Примечание.
В этом разделе рекомендуются конфигурации, относящиеся к аналитике в облаке. Она дополняет Машинное обучение Azure документацию и рекомендации по Cloud Adoption Framework.
Организация и настройка рабочей области
Можно развернуть столько рабочих областей машинного обучения, сколько требуется для рабочих нагрузок, и для каждой развертываемой целевой зоны. Следующие рекомендации помогут в настройке.
Разверните по меньшей мере одну рабочую область машинного обучения для каждого проекта.
В зависимости от жизненного цикла проекта машинного обучения разверните одну рабочую область разработки (dev) для создания прототипов вариантов использования и изучения данных на раннем этапе. Для работы, которая требует непрерывного экспериментирования, тестирования и развертывания, разверните рабочую область для промежуточной и рабочей среды.
Если в целевой зоне данных требуются несколько сред для рабочих областей среды разработки, промежуточной и рабочей среды, рекомендуется исключить дублирование данных, помещая каждую среду в одну и ту же целевую зону производственных данных.
Дополнительные сведения о том, как организовать и настроить ресурсы Машинного обучения Azure, см. в статье Организация и настройка ресурсов Машинного обучения Azure.
Для каждой конфигурации ресурсов по умолчанию в целевой зоне данных служба Машинного обучения Azure развертывается в выделенной группе ресурсов со следующими конфигурациями и зависимыми ресурсами.
- Azure Key Vault
- Application Insights
- Реестр контейнеров Azure
- Используйте Машинное обучение Azure для подключения к учетной записи служба хранилища Azure и аутентификации на основе удостоверений Microsoft Entra, чтобы помочь пользователям подключаться к учетной записи.
- Ведение журнала диагностики настраивается для каждой рабочей области и подключается к центральному ресурсу Log Analytics корпоративного уровня. Это помогает Машинному обучению Azure централизованно анализировать работоспособность заданий и состояния ресурсов внутри и между целевыми зонами.
- Дополнительные сведения о ресурсах и зависимостях Машинного обучения Azure см. в разделе Что такое рабочая область Машинного обучения Azure?
Интеграция с основными службами целевой зоны данных
Целевая зона данных поставляется с набором служб по умолчанию, развернутых на уровне основных служб. Эти основные службы можно настроить при развертывании Машинного обучения Azure в целевой зоне данных.
Подключите рабочие области Azure Synapse Analytics или Databricks в качестве связанных служб для интеграции данных и обработки больших данных.
По умолчанию службы озера данных подготавливаются в целевой зоне данных, а развертывания продуктов Машинного обучения Azure поставляются с подключениями (хранилищами данных), которые предварительно настроены для этих учетных записей хранения.
Сетевое соединение
Параметры сети для реализации Машинного обучения Azure в целевых зонах Azure настраиваются в соответствии с рекомендациями по обеспечению безопасности для Машинного обучения Azure и рекомендациями CAF по настройке сети. Эти рекомендации включают в себя следующие конфигурации.
- Машинное обучение Azure и зависимые ресурсы настроены для использования конечных точек Приватного канала.
- Управляемые вычислительные ресурсы развертываются только с частными IP-адресами.
- Сетевое подключение к репозиторию общедоступных базовых образов Машинного обучения Azure и партнерским службам, таким как Azure Artifacts, можно настроить на уровне сети.
Управление удостоверениями и доступом
Примите во внимание следующие рекомендации по управлению удостоверениями пользователей и доступом с помощью Машинного обучения Azure.
Хранилища данных в Машинном обучении Azure можно настроить для использования проверки подлинности на основе учетных данных или удостоверений. При использовании конфигураций управления доступом и озера данных в Azure Data Lake Storage 2-го поколения настройте хранилища данных для использования проверки подлинности на основе удостоверений. Это позволяет Машинному обучению Azure оптимизировать разрешения на доступ пользователей в хранилище.
Используйте группы Microsoft Entra для управления разрешениями пользователей для ресурсов хранилища и машинного обучения.
Машинное обучение Azure может использовать назначенные пользователем управляемые удостоверения для контроля доступа и ограничивать объем доступа к Реестру контейнеров Azure, хранилищу ключей Key Vault, службе хранилища Azure и Application Insights.
Создайте назначенные пользователем управляемые удостоверения для управляемых вычислительных кластеров, созданных в Машинном обучении Azure.
Подготовка инфраструктуры с помощью самообслуживания
Самообслуживание можно включить и управлять им с помощью политик для Машинного обучения Azure. В следующей таблице приведен набор политик по умолчанию при развертывании Машинного обучения Azure. Дополнительные сведения см. в статье Встроенные определения Политик Azure для Машинного обучения Azure.
| Полис | Тип | Ссылка |
|---|---|---|
| Рабочие области Машинного обучения Azure должны использовать приватный канал Azure. | Встроенный | Просмотр на портале Azure |
| Рабочие области Машинного обучения Azure должны использовать назначаемые пользователем управляемые удостоверения. | Встроенный | Просмотр на портале Azure |
| [Предварительная версия] Настройка разрешенных реестров для указанных вычислений Машинного обучения Azure. | Встроенный | Просмотр на портале Azure |
| Настройка частных конечных точек для рабочих областей Машинного обучения Azure | Встроенный | Просмотр на портале Azure |
| Настройте вычислительную среду машинного обучения так, чтобы отключить методы локальной проверки подлинности. | Встроенный | Просмотр на портале Azure |
| Append-machinelearningcompute-setupscriptscreationscript | Пользовательская (целевые зоны CAF) | Просмотр на сайте GitHub |
| Deny-machinelearning-hbiworkspace | Пользовательская (целевые зоны CAF) | Просмотр на сайте GitHub |
| Deny-machinelearning-publicaccesswhenbehindvnet | Пользовательская (целевые зоны CAF) | Просмотр на сайте GitHub |
| Deny-machinelearning-AKS | Пользовательская (целевые зоны CAF) | Просмотр на сайте GitHub |
| Deny-machinelearningcompute-subnetid | Пользовательская (целевые зоны CAF) | Просмотр на сайте GitHub |
| Deny-machinelearningcompute-vmsize | Пользовательская (целевые зоны CAF) | Просмотр на сайте GitHub |
| Deny-machinelearningcomputecluster-remoteloginportpublicaccess | Пользовательская (целевые зоны CAF) | Просмотр на сайте GitHub |
| Deny-machinelearningcomputecluster-scale | Пользовательская (целевые зоны CAF) | Просмотр на сайте GitHub |
Рекомендации по управлению средой
Целевая реализация целевых зон данных в масштабе облака описывает эталонную реализацию для повторяющихся развертываний, которые помогут вам настроить управляемые и управляемые среды. Примите во внимание следующие рекомендации по использованию Машинного обучения Azure для управления средой.
Используйте группы Microsoft Entra для управления доступом к ресурсам машинного обучения.
Опубликуйте центральную панель мониторинга для отслеживания работоспособности конвейера, использования вычислительных ресурсов и управления квотами для машинного обучения.
Если вы традиционно используете встроенные политики Azure и хотите обеспечить соответствие дополнительным требованиям, создайте собственные политики Azure, чтобы улучшить систему управления и самообслуживание.
Для контроля затрат на исследование и разработку разверните на ранних стадиях вашего варианта использования одну рабочую область машинного обучения в целевой зоне как общий ресурс.
Важно!
Используйте кластеры Машинного обучения Azure для обучения моделей производственного уровня и Службу Azure Kubernetes (AKS) для развертываний в рабочих средах.
Совет
Используйте Машинное обучение Azure для проектов по обработке и анализу данных. Это включает комплексный рабочий процесс с подслужбами и компонентами и позволяет полностью автоматизировать процесс.
Следующие шаги
Используйте шаблон аналитики продуктов данных и документацию по нему для развертывания Машинного обучения Azure, а документацию и руководства по Машинному обучению Azure для начала работы по созданию решений.
Перейдите к следующим четырем статьям по Cloud Adoption Framework, чтобы узнать больше о рекомендациях по развертыванию и управлению Машинным обучением Azure для предприятий.
Организация и настройка сред Машинного обучения Azure. Как структуры команд, среды или география ресурсов влияют на настройку рабочих областей при планировании развертывания Машинного обучения Azure?
Лучшие методики Машинного обучения Azure для обеспечения безопасности на предприятии. Узнайте, как защитить среду и ресурсы с помощью Машинного обучения Azure.
Управление бюджетами, затратами и квотами для Машинного обучения Azure в масштабах организации. При управлении расходами на вычисления для рабочих нагрузок, команд и пользователей организации сталкиваются со множеством задач по управлению и оптимизации.
Руководство. Машинное обучение DevOps. DevOps для машинного обучения — это организационное изменение, которое основывается на сочетании людей, процессов и технологий для надежного, масштабируемого и автоматизированного предоставления решений машинного обучения. В этом руководстве приведены рекомендации и сведения для предприятий, которые используют Машинное обучение Azure для внедрения DevOps для машинного обучения.