Azure Machine Learning como um produto de dados para análise em escala de nuvem
O Azure Machine Learning é uma plataforma integrada para gerenciar o ciclo de vida do aprendizado de máquina do início ao fim, incluindo ajuda com a criação, operação e consumo de modelos e fluxos de trabalho de aprendizado de máquina. Alguns benefícios do serviço incluem:
Os recursos ajudam os criadores a aumentar sua produtividade, ajudando-os a gerenciar experimentos, acessar dados, rastrear trabalhos, ajustar hiperparâmetros e automatizar fluxos de trabalho.
A capacidade do modelo de ser explicado, reproduzido, auditado e integrado ao DevOps, além de um modelo de controle de segurança avançado, pode ajudar os operadores a atender aos requisitos de governança e conformidade.
Os recursos de inferência gerenciados e a integração robusta com os serviços de computação e dados do Azure podem ajudar a simplificar como o serviço é consumido.
O Azure Machine Learning abrange todos os aspetos do ciclo de vida da ciência de dados. Ele abrange o armazenamento de dados e o registro do conjunto de dados para a implantação do modelo. Ele pode ser usado para qualquer tipo de aprendizado de máquina, desde o aprendizado de máquina clássico até o aprendizado profundo. Inclui aprendizagem supervisionada e não supervisionada. Quer prefira escrever código Python, R ou utilizar opções de código zero ou low-code, como o designer, pode criar, treinar e acompanhar modelos precisos de aprendizagem automática e aprendizagem profunda numa área de trabalho do Azure Machine Learning.
O Azure Machine Learning, a plataforma Azure e os serviços de IA do Azure podem trabalhar juntos para gerenciar o ciclo de vida do aprendizado de máquina. Um profissional de aprendizado de máquina pode usar o Azure Synapse Analytics, o Banco de Dados SQL do Azure ou o Microsoft Power BI para começar a analisar dados e fazer a transição para o Azure Machine Learning para prototipagem, gerenciamento de experimentação e operacionalização. Nas zonas de aterrissagem do Azure, o Aprendizado de Máquina do Azure pode ser considerado um produto de dados .
Azure Machine Learning em análise em escala de nuvem
Uma base de zona de aterrissagem do Cloud Adoption Framework (CAF), zonas de aterrissagem de dados de análise em escala de nuvem e a configuração do Azure Machine Learning configuram profissionais de aprendizado de máquina com um ambiente pré-configurado para o qual eles podem implantar repetidamente novas cargas de trabalho de aprendizado de máquina ou migrar cargas de trabalho existentes. Esses recursos podem ajudar os profissionais de aprendizado de máquina a ganhar mais agilidade e valor para seu tempo.
Os seguintes princípios de design podem orientar a implementação das zonas de aterrissagem do Azure Machine Learning:
Acesso acelerado a dados: Pré-configure os componentes de armazenamento da zona de aterrissagem como armazenamentos de dados no espaço de trabalho do Azure Machine Learning.
Colaboração habilitada: Organize espaços de trabalho por projeto e centralize o gerenciamento de acesso para recursos da zona de aterrissagem para apoiar profissionais de engenharia de dados, ciência de dados e aprendizado de máquina a trabalharem juntos.
Implementação segura: Como padrão para cada implantação, siga as práticas recomendadas e use o isolamento de rede, identidade e gerenciamento de acesso para proteger ativos de dados.
Autoatendimento: profissionais de aprendizagem automática podem ganhar mais agilidade e organização explorando opções para implantar novos recursos do projeto.
Separação de preocupações entre gerenciamento de dados e consumo de dados: passagem de identidade é o tipo de autenticação padrão para o Aprendizado de Máquina e o armazenamento do Azure.
Aplicação mais rápida de dados (alinhada à origem): Zonas de destino do Azure Data Factory, Azure Synapse Analytics e Databricks podem ser pré-configuradas para ligar ao Azure Machine Learning.
Observabilidade: O registro central e as configurações de referência podem ajudar a monitorar o ambiente.
Visão geral da implementação
Observação
Esta seção recomenda configurações específicas para análises em escala de nuvem. Ele complementa a documentação do Azure Machine Learning e as práticas recomendadas do Cloud Adoption Framework.
Organização e configuração do espaço de trabalho
Você pode implantar o número de espaços de trabalho de aprendizado de máquina que suas cargas de trabalho exigem e para cada zona de aterrissagem implantada. As seguintes recomendações podem ajudar na sua configuração:
Implante pelo menos um espaço de trabalho de aprendizado de máquina por projeto.
Dependendo do ciclo de vida do seu projeto de aprendizado de máquina, implante um espaço de trabalho de desenvolvimento (desenvolvedor) para protótipos de casos de uso e explore os dados desde o início. Para trabalhos que exigem experimentação, teste e implantação contínuos, implante um espaço de trabalho de preparação e produção.
Quando vários ambientes são necessários para espaços de trabalho de desenvolvimento, preparação e produção em uma zona de aterrissagem de dados, recomendamos evitar a duplicação de dados fazendo com que cada ambiente fique na mesma zona de aterrissagem de dados de produção.
Consulte Organizar e configurar ambientes do Azure Machine Learning para saber mais sobre como organizar e configurar recursos do Azure Machine Learning.
Para cada configuração de recurso padrão em uma zona de aterrissagem de dados, um serviço do Azure Machine Learning é implantado em um grupo de recursos dedicado com as seguintes configurações e recursos dependentes:
- Azure Key Vault
- Informações sobre aplicativos
- Azure Container Registry
- Use o Aprendizado de Máquina do Azure para se conectar a uma conta de Armazenamento do Azure e a autenticação baseada em identidade do Microsoft Entra para ajudar os usuários a se conectarem à conta.
- O logging de diagnóstico está configurado para cada um dos espaços de trabalho e direcionado para um recurso central do Log Analytics a nível empresarial; isto pode auxiliar a integridade das tarefas de Azure Machine Learning e os estados dos recursos a serem analisados de forma centralizada dentro e entre as zonas de aterrissagem.
- Consulte O que é um espaço de trabalho do Azure Machine Learning? para saber mais sobre os recursos e dependências do Azure Machine Learning.
Integração com serviços principais da zona de aterrissagem de dados
A zona de aterrissagem de dados vem com um conjunto padrão de serviços que são implantados na camada de serviços da plataforma . Esses serviços principais podem ser configurados quando o Azure Machine Learning é implantado na zona de aterrissagem de dados.
Conecte espaços de trabalho do Azure Synapse Analytics ou Databricks como serviços vinculados para integrar dados e processar big data.
Por padrão, os serviços de data lake são provisionados na zona de aterrissagem de dados e as implantações de produtos do Azure Machine Learning vêm com conexões (armazenamentos de dados) pré-configuradas para essas contas de armazenamento.
Conectividade de rede
A rede para implementar o Azure Machine Learning nas zonas de aterrissagem do Azure é configurada com práticas recomendadas de segurança para o Azure Machine Learning e CAF práticas recomendadas de rede. Essas práticas recomendadas incluem as seguintes configurações:
- O Azure Machine Learning e os recursos dependentes estão configurados para utilizar pontos de extremidade de Conexão Privada.
- Os recursos de computação gerenciados são implantados somente com endereços IP privados.
- A conectividade de rede com o repositório de imagens de base público do Azure Machine Learning e os serviços de parceiros, como os Artefatos do Azure, podem ser configurados em um nível de rede.
Gestão de identidades e acessos
Considere as seguintes recomendações para gerenciar identidades de usuário e acesso com o Azure Azure Machine Learning:
Os armazenamentos de dados no Azure Machine Learning podem ser configurados para usar a autenticação baseada em credenciais ou identidade. Quando se usa controle de acesso e configurações de data lake no Azure Data Lake Storage Gen2, configure armazenamentos de dados para usar autenticação baseada em identidade; isso permite que o Azure Machine Learning otimize as permissões de acesso do utilizador para armazenamento.
Use os grupos do Microsoft Entra para gerenciar permissões de usuário para recursos de armazenamento e aprendizado de máquina.
O Azure Machine Learning pode usar identidades geridas atribuídas pelo utilizador para controlo de acesso e limitar o âmbito de acesso ao Azure Container Registry, Cofre das Chaves do Azure, Armazenamento do Azure e Application Insights.
Crie identidades gerenciadas atribuídas pelo usuário a clusters de computação gerenciados criados no Aprendizado de Máquina do Azure.
Provisione infraestrutura por meio de autoatendimento
O autosserviço pode ser habilitado e controlado com políticas de para o Azure Machine Learning. A tabela a seguir lista um conjunto de políticas padrão quando você implanta o Azure Machine Learning. Para obter mais informações, consulte definições de políticas pré-definidas do Azure Policy para o Azure Machine Learning.
| Política | Tipo | Referência |
|---|---|---|
| Os espaços de trabalho do Azure Machine Learning devem usar o Azure Private Link. | Incorporado | Exibir no portal do Azure |
| Os espaços de trabalho do Azure Machine Learning devem usar identidades gerenciadas atribuídas pelo usuário. | Incorporado | Exibir no portal do Azure |
| [Pré-visualização]: Configure registos autorizados para recursos de computação especificados do Azure Machine Learning. | Incorporado | Exibir no portal do Azure |
| Configure espaços de trabalho do Azure Machine Learning com pontos de extremidade privados. | Incorporado | Exibir no portal do Azure |
| Configure cálculos de aprendizado de máquina para desabilitar métodos de autenticação local. | Incorporado | Exibir no portal do Azure |
| Append-machinelearningcompute-setupscriptscreationscript | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
| Negar a workspace de machinelearning-hbi | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
| Negar o acesso público ao machine learning quando atrás de uma vnet | Personalizado (zonas de desembarque CAF) | View no GitHub |
| Bloquear-MachineLearning-AKS | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
| Negar-machine-learning-compute-subnetid | Personalizado (zonas de desembarque CAF) | Visualizar no GitHub |
| Negar-machinelearningcompute-tamanho-da-vm | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
| Negar-acesso-público-à-porta-de-login-remoto-do-cluster-de-computação-de-aprendizagem-de-máquina | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
| Negar-redimensionamento-de-cluster-de-computação-de-aprendizagem-automática | Personalizado (zonas de desembarque CAF) | Ver no GitHub |
Recomendações para gerenciar seu ambiente
As zonas de aterrissagem de dados de análise em escala de nuvem descrevem a implementação de referência para implantações repetíveis, o que pode ajudá-lo a configurar ambientes gerenciáveis e governáveis. Considere as seguintes recomendações para usar o Azure Machine Learning para gerenciar seu ambiente:
Use grupos do Microsoft Entra para gerenciar o acesso a recursos de aprendizado de máquina.
Publique um painel de monitoramento central para monitorar a integridade do pipeline, a utilização da computação e o gerenciamento de cotas para aprendizado de máquina.
Se você tradicionalmente usa políticas internas do Azure e precisa atender a requisitos de conformidade adicionais, crie políticas personalizadas do Azure para aprimorar a governança e o autoatendimento.
Para acompanhar os custos de pesquisa e desenvolvimento, implante um espaço de trabalho de aprendizado de máquina na zona de aterrissagem como um recurso compartilhado durante os estágios iniciais de exploração de seu caso de uso.
Importante
Utilize clusters do Azure Machine Learning para treino de modelos em escala de produção e o Serviço de Kubernetes do Azure (AKS) para implementações em escala de produção.
Dica
Use o Azure Machine Learning para projetos de ciência de dados. Ele cobre o fluxo de trabalho de ponta a ponta com subserviços e recursos, e permite que o processo seja totalmente automatizado.
Próximos passos
Use o modelo e a orientação do do
Continue para os quatro artigos do Cloud Adoption Framework a seguir para saber mais sobre as práticas recomendadas de implantação e gerenciamento do Azure Machine Learning para empresas:
Organizar e configurar ambientes do Azure Machine Learning: Ao planejar uma implantação do Azure Machine Learning, como as estruturas de equipe, os ambientes ou a geografia dos recursos afetam a forma como os espaços de trabalho são configurados?
Melhores práticas de segurança empresarial com o Azure Machine Learning: Saiba como proteger o seu ambiente e recursos com o Azure Machine Learning.
Gerencie orçamentos, custos e cotas para o Azure Machine Learning em escala organizacional: As organizações enfrentam muitos desafios de gerenciamento e otimização ao gerenciar a carga de trabalho, a equipe e os custos de computação do usuário incorridos pelo Azure Machine Learning.
Guia de DevOps de Aprendizado de Máquina: O DevOps de Machine Learning é uma mudança organizacional que depende de uma combinação de pessoas, processos e tecnologia para fornecer soluções de aprendizado de máquina de forma robusta, escalável, confiável e automatizada. Este guia resume as práticas recomendadas e as informações para que as empresas usem o Aprendizado de Máquina do Azure para adotar o DevOps de aprendizado de máquina.