Машинное обучение Azure в качестве продукта данных для облачной аналитики
Машинное обучение Azure — это интегрированная платформа для управления жизненным циклом машинного обучения от начала до конца, включая создание, операцию и использование моделей машинного обучения и рабочих процессов. Ниже приведены некоторые преимущества службы.
Возможности поддерживают создателей для повышения производительности, помогая им управлять экспериментами, получать доступ к данным, отслеживать задания, настраивать гиперпараметры и автоматизировать рабочие процессы.
Способность модели быть объясненной, воспроизведенной, проверенной и интегрированной с DevOps, а также богатая модель управления безопасностью могут поддерживать операторов для соответствия требованиям управления и комплаенса.
Возможности управляемого вывода и надежная интеграция с службами вычислений и данных Azure могут помочь упростить использование службы.
Машинное обучение Azure охватывает все аспекты жизненного цикла обработки и анализа данных. Он охватывает регистрацию хранилища данных и набора данных для развертывания модели. Его можно использовать для любого типа машинного обучения, от классического машинного обучения до глубокого обучения. Он включает в себя защищенное и неконтролируемое обучение. Хотите ли вы писать код Python, R или использовать варианты с нулевым кодом или с низким кодом, такие как конструктор, вы можете создавать, обучать и отслеживать точные модели машинного обучения и глубокого обучения в рабочей области машинного обучения Azure.
Машинное обучение Azure, платформа Azure и службы ИИ Azure могут совместно работать для управления жизненным циклом машинного обучения. Специалист по машинному обучению может использовать Azure Synapse Analytics, Базу данных SQL Azure или Microsoft Power BI для начала анализа данных и перехода в Машинное обучение Azure для создания прототипов, управления экспериментами и эксплуатации. В посадочных зонах Azure можно рассматривать Azure Машинное обучение как продукт данных .
Машинное обучение Azure в облачной аналитике
База зоны приземления Cloud Adoption Framework (CAF), зоны приземления облачных аналитических данных и конфигурация Azure Machine Learning предоставляют специалистам по машинному обучению среду с предварительной настройкой, в которой они могут многократно внедрять новые рабочие нагрузки машинного обучения или мигрировать существующие рабочие нагрузки. Эти возможности могут помочь специалистам по машинному обучению получить больше гибкости и ценности для своего времени.
Принципы проектирования, представленные ниже, могут направлять реализацию целевых зон для Машинного обучения Azure.
Ускоренный доступ к данным: предварительно настройте компоненты хранилища посадочной зоны в качестве хранилищ данных в рабочей области Машинного обучения Azure.
включена возможность совместной работы: организовать рабочие области по проектам и централизовать управление доступом к ресурсам целевой зоны, чтобы поддерживать специалистов в области проектирования данных, анализа данных и машинного обучения в совместной работе.
безопасная реализация: как по умолчанию для каждого развертывания, следуйте рекомендациям и используйте сетевую изоляцию, идентификацию и управление доступом для защиты ресурсов данных.
Самообслуживания: Специалисты по машинному обучению могут получить больше гибкости и упорядоченности, рассматривая варианты развертывания новых ресурсов для проектов.
Разделение ответственности между управлением данными и их использованием: передача удостоверений — это тип аутентификации по умолчанию для Azure Machine Learning и хранения данных.
более быстрое применение данных (выравнивание по источнику): Azure Data Factory, Azure Synapse Analytics и целевые зоны Databricks можно предварительно настроить, чтобы подключиться к Azure Machine Learning.
наблюдаемость: централизованное ведение журналов и референсные конфигурации могут помочь в отслеживании состояния среды.
Обзор реализации
Заметка
В этом разделе рекомендуются конфигурации, относящиеся к аналитике в облаке. Она дополняет документацию по Машинному обучению Azure и рекомендации по Cloud Adoption Framework.
Организация рабочей области и настройка
Вы можете развернуть столько рабочих областей машинного обучения, сколько требуется для рабочих нагрузок, и для каждой целевой зоны, которую вы развертываете. Следующие рекомендации помогут в настройке:
Разверните по крайней мере одну рабочую область машинного обучения для каждого проекта.
В зависимости от жизненного цикла проекта машинного обучения разверните одну рабочую область разработки (dev) для прототипов вариантов использования и изучите данные на ранних этапах. Для работы, требующей непрерывного экспериментирования, тестирования и развертывания, создайте промежуточную и производственную область.
Если для разработки, промежуточной и производственной областей в зоне посадки данных требуется несколько сред, рекомендуется избегать дублирования данных, размещая каждую среду в одной и той же производственной зоне посадки данных.
Чтобы узнать больше о том, как организовать и настроить ресурсы машинного обучения Azure, см. организация и настройка сред машинного обучения Azure в разделе.
Для каждой конфигурации ресурсов по умолчанию в целевой зоне данных служба машинного обучения Azure развертывается в выделенной группе ресурсов со следующими конфигурациями и зависимыми ресурсами:
- Azure Key Vault
- Application Insights
- Реестр контейнеров Azure
- Используйте Машинное обучение Azure для подключения к учетной записи хранения Azure и аутентификации на основе удостоверений Microsoft Entra, чтобы помочь пользователям подключаться к учетной записи.
- Ведение журнала диагностики настраивается для каждой из рабочих областей и конфигурируется в центральном ресурсе Log Analytics в масштабе предприятия. Это может помочь в центральном анализе работоспособности заданий Azure Machine Learning и состояния ресурсов как в пределах отдельных целевых зон, так и между ними.
- См. Что такое рабочая область Машинного обучения Azure? узнать больше о ресурсах и зависимостях Машинного обучения Azure.
Интеграция с основными службами целевой зоны данных
Зона приземления данных предоставляется с набором служб по умолчанию, развернутых в слое платформенных служб . Эти основные службы можно настроить при развертывании Машинного обучения Azure в целевой зоне данных.
Подключите рабочие области Azure Synapse Analytics или Databricks как связанные службы для интеграции данных и обработки больших данных.
По умолчанию службы озера данных создаются в зоне приема данных, а развертывания продуктов машинного обучения Azure приходят с подключениями (хранилищами данных), предварительно настроенными для использования с этими учетными записями хранения.
Сетевое подключение
Сеть для реализации Машинного обучения Azure в целевых зонах Azure настроена согласно рекомендациям по обеспечению безопасности для Azure Machine Learning и рекомендациям CAF по работе с сетями. К этим рекомендациям относятся следующие конфигурации:
- Для использования конечных точек Private Link настроены Azure Machine Learning и зависимые ресурсы.
- Управляемые вычислительные ресурсы развертываются только с частными IP-адресами.
- Сетевое подключение к общедоступному репозиторию базовых образов Машинного обучения Azure и службам партнеров, таким как Артефакты Azure, можно настроить на уровне сети.
Управление удостоверениями и доступом
Рассмотрим следующие рекомендации по управлению удостоверениями пользователей и доступом с помощью Машинного обучения Azure.
Хранилища данных в Машинном обучении Azure можно настроить для использования проверки подлинности на основе учетных данных или удостоверений. При использовании управления доступом и конфигураций озера данных в Azure Data Lake Storage 2-го поколениянастройте хранилища данных для использования проверки подлинности на основе удостоверений; Это позволяет Машинному обучению Azure оптимизировать разрешения доступа пользователей для хранилища.
Используйте группы Microsoft Entra для управления разрешениями пользователей для ресурсов хранилища и машинного обучения.
Машинное обучение Azure может использовать пользовательски назначенные управляемые удостоверения для контроля доступа и ограничивать доступ к реестру контейнеров Azure, Key Vault, Azure Storage и Application Insights.
Создайте назначаемые пользователем управляемые удостоверения для управляемых вычислительных кластеров, созданных в службе Машинного обучения Azure.
Предоставление инфраструктуры посредством самообслуживания
Самообслуживание может быть включено и регулируемо с помощью политик для машинного обучения Azure. В следующей таблице перечислены набор политик по умолчанию при развертывании Машинного обучения Azure. Дополнительные сведения см. в статье Встроенные определения политик Azure длямашинного обучения Azure.
| Политика | Тип | Ссылка |
|---|---|---|
| Рабочие области машинного обучения Azure должны использовать Azure Private Link. | Встроенный | Просмотр в портале Azure |
| Рабочие области машинного обучения Azure должны использовать управляемые идентификаторы, назначаемые пользователем. | Встроенный | Просмотр в портале Azure |
| [Предварительная версия]. Настройте разрешенные реестры для указанных вычислений Машинного обучения Azure. | Встроенный | Просмотр в портале Azure |
| Настройте рабочие области Машинного обучения Azure с помощью частных конечных точек. | Встроенный | Просмотр в портале Azure |
| Настройте вычисления машинного обучения, чтобы отключить локальные методы проверки подлинности. | Встроенный | Просмотреть в портале Azure |
| Добавить-скрипт-создания-настроек-для-обучения-машин-на-вычислительных-мощностях | Кастомные (CAF посадочные зоны) | Просмотр на сайте GitHub |
| Запретить-машинноеобучение-hbiworkspace | Настраиваемые (посадочные зоны CAF) | представление на сайте GitHub |
| Запретить-публичный-доступ-к-машинному-обучению-при-находящемся-за-vnet | Настраиваемые (целевые зоны CAF) | представление на сайте GitHub |
| Запрет-машинное обучение-AKS | Настраиваемые (целевые зоны CAF) | представление на сайте GitHub |
| Deny-machinelearningcompute-subnetid | Настраиваемые (целевые зоны CAF) | представление на сайте GitHub |
| Запретить-размер-вычислительной-виртуальной-машины-машинного-обучения | Настраиваемые (целевые зоны CAF) | представление на сайте GitHub |
| Запрет-доступ-к-кластеру-машинного-обучения-через-публичный-порт-для-удаленного-входа | Настраиваемые (целевые зоны CAF) | представление на сайте GitHub |
| Запретить-масштаб-вычислительного-кластера-для-машинного-обучения | Настраиваемые зоны приземления (CAF) | Просмотреть на сайте GitHub |
Рекомендации по управлению средой
Целевая реализация зон приземления данных для облачной аналитики описывает эталон для повторяющихся развертываний, которые помогут вам настроить управляемые и подконтрольные среды. Рассмотрим следующие рекомендации по использованию Машинного обучения Azure для управления средой:
Используйте группы Microsoft Entra для управления доступом к ресурсам машинного обучения.
Опубликуйте центральную панель мониторинга для мониторинга работоспособности конвейера, использования вычислительных ресурсов и управления квотами для машинного обучения.
Если вы традиционно используете встроенные политики Azure и должны соответствовать дополнительным требованиям соответствия, создайте пользовательские политики Azure для улучшения управления и самообслуживания.
Чтобы отслеживать затраты на исследования и разработку, разверните одну рабочую область машинного обучения в целевой зоне в качестве общего ресурса на ранних этапах изучения варианта использования.
Важный
Используйте кластеры Машинного обучения Azure для обучения модели производственного уровня и службу Azure Kubernetes (AKS) для развертываний производственного уровня.
Подсказка
Используйте Машинное обучение Azure для проектов обработки и анализа данных. Он охватывает комплексный рабочий процесс с вложенными службами и функциями и позволяет полностью автоматизировать процесс.
Дальнейшие действия
Используйте шаблон Data Product Analytics и руководящие указания для развертывания Azure Machine Learning, а также обратитесь к документации и руководствам по Azure Machine Learning, чтобы приступить к созданию своих решений.
Перейдите к следующим четырем статьям Cloud Adoption Framework, чтобы узнать больше о развертывании и управлении Машинным обучением Azure для предприятий:
Упорядочение и настройка сред машинного обучения Azure. При планировании развертывания Машинного обучения Azure, как структуры групп, среды или география ресурсов влияют на настройку рабочих областей?
Рекомендации по обеспечению безопасности в Azure Machine Learning. Узнайте, как защитить среду и ресурсы с помощью Azure Machine Learning.
управление бюджетами, затратами и квотами для Машинного обучения Azure в масштабах организации. Организации сталкиваются с множеством проблем управления и оптимизации при управлении рабочими нагрузками, командой и затратами на вычисления пользователей, вызванными машинным обучением Azure.
Руководство по DevOps в машинном обучении: DevOps в машинном обучении — это организационные изменения, основанные на сочетании людей, процессов и технологий для предоставления решений машинного обучения в надежном, масштабируемом и автоматизированном виде. В этом руководстве приведены рекомендации и сведения для предприятий, использующих Машинное обучение Azure для внедрения DevOps машинного обучения.