Gerenciar, colaborar e organizar com hubs

Artigo
11/19/2024

Os hubs são o principal recurso de nível superior do Azure para o estúdio de IA e fornecem uma maneira central para uma equipe controlar recursos de segurança, conectividade e computação em playgrounds e projetos. Depois que um hub é criado, ele permite que os desenvolvedores criem projetos por meio de autoatendimento e acessem recursos compartilhados da empresa sem precisar da ajuda constante de um administrador de TI.

Os workspaces de projeto criados usando um hub herdam as mesmas configurações de segurança e acesso a recursos compartilhados. As equipes podem criar workspaces de projeto conforme necessário para organizar seu trabalho, isolar dados e/ou restringir o acesso.

Neste artigo, você aprenderá mais sobre os recursos do hub e como configurar um hub para a sua organização. Você pode ver os recursos criados no portal do Azure e no Estúdio de IA do Azure.

Exploração rápida de casos de uso de IA sem gargalos de TI

Aplicativos e modelos de IA bem-sucedidos normalmente começam como protótipos, com os desenvolvedores testando a viabilidade de uma ideia ou avaliando a qualidade dos dados ou um modelo para uma tarefa específica. O protótipo é um passo importante em direção ao financiamento do projeto ou a uma implementação em larga escala.

Quando apenas uma equipe de plataforma é responsável pela configuração de recursos de nuvem, a transição de provar a viabilidade de uma ideia para um projeto financiado pode ser um gargalo na produtividade. Essa equipe pode ser a única autorizada a configurar segurança, conectividade ou outros recursos que possam incorrer em custos. Essa situação pode causar uma enorme lista de pendências, resultando em equipes de desenvolvimento impedidas de começar a inovar com uma nova ideia. No Estúdio de IA do Azure, os hubs ajudam a mitigar esse gargalo. A TI pode configurar um ambiente pré-configurado e reutilizável (um hub) para uma equipe, uma vez. Em seguida, a equipe pode usar esse hub para criar projetos deles para criação, prototipagem e operação de aplicativos de IA.

Configurar e proteger um hub para sua equipe

Comece criando seu primeiro hub no Estúdio de IA do Azure ou use o portal do Azure ou modelos para opções de configuração avançadas. Você pode personalizar a rede, a identidade, a criptografia, o monitoramento ou as marcas para atender à conformidade com os requisitos da sua organização.

Geralmente, os projetos em um domínio de negócios exigem acesso aos mesmos recursos da empresa, como índices vetoriais, pontos de extremidade de modelo ou repositórios. Como líder de equipe, você pode pré-configurar a conectividade com esses recursos em um hub, para que os desenvolvedores possam acessá-los em qualquer novo espaço de trabalho do projeto, sem atrasos para a TI.

As conexões permitem acessar objetos no Estúdio de IA gerenciados fora do hub. Por exemplo, os dados carregados em uma conta de armazenamento do Azure ou implantações de modelo em um recurso existente do OpenAI do Azure. Uma conexão pode ser compartilhada com todos os projetos ou disponibilizada para um projeto específico. As conexões podem ser configuradas com acesso baseado em chave ou Microsoft Entra ID para autorizar o acesso a usuários no recurso conectado. Além disso, como administrador, você pode acompanhar, auditar e gerenciar conexões entre projetos usando o hub.

Configurações e recursos compartilhados do Azure

Vários conceitos de gerenciamento estão disponíveis nos hubs para ajudar os líderes e administradores da equipe a gerenciar centralmente o ambiente dela.

Configuração de segurança, incluindo acesso à rede pública, rede virtual, criptografia de chave gerenciada pelo cliente e acesso privilegiado a quem pode criar projetos para personalização. As configurações de segurança definidas no hub são automaticamente transferidas para cada projeto. Uma rede virtual gerenciada é compartilhada entre todos os projetos que compartilham o mesmo hub.
As Conexões são referências nomeadas e autenticadas para recursos do Azure e recursos que não são do Azure, como provedores de armazenamento de dados. Use uma conexão como um meio de disponibilizar um recurso externo para um grupo de desenvolvedores sem precisar de expor sua credencial armazenada a um indivíduo.
A Alocação de computação e cota é gerenciada como capacidade compartilhada para todos os projetos no Estúdio de IA que compartilhem o mesmo hub. Essa cota inclui a instância de computação como estação de trabalho baseada em nuvem e gerenciada para um indivíduo. O mesmo usuário pode usar uma instância de computação entre projetos.
As Chaves de acesso dos serviços de IA para os pontos de extremidade de modelos de IA predefinidos são gerenciadas no escopo do hub. Use esses pontos de extremidade para acessar modelos básicos de OpenAI do Azure, Speech, Vision e Content Safety com uma chave de API
A Política imposta no Azure para o escopo do hub se aplica a todos os projetos gerenciados por ela.
Os Recursos dependentes do Azure são configurados uma vez por hub e projetos associados e usados para armazenar artefatos gerados durante o trabalho no Estúdio de IA, como logs ou ao carregar dados. Para obter mais informações, consulte as Dependências de IA do Azure.

Organizar o trabalho em projetos para personalização

Um hub fornece o ambiente de hospedagem para projetos no Estúdio de IA. Um projeto é um contêiner organizacional que tem ferramentas para a personalização e orquestração da IA. Ele permite que você organize seu trabalho, salve o estado em diferentes ferramentas, como prompt flow e colabore com outras pessoas. Por exemplo, você pode compartilhar arquivos carregados e conexões com fontes de dados.

Vários projetos podem usar um hub, e vários usuários podem usar um projeto. Um projeto também o ajuda a controlar o faturamento, gerenciar o acesso e fornecer isolamento de dados. Cada projeto usa contêineres de armazenamento dedicados para permitir que você carregue arquivos e compartilhe-os apenas com outros membros do projeto ao usar as experiências de 'dados'.

Os projetos permitem criar e agrupar componentes reutilizáveis que podem ser usados entre todas as ferramentas no Estúdio de IA:

Ativo	Descrição
Dados	Conjuntos de dados que pode ser usado para criar índices, ajustar modelos e avaliar modelos.
Fluxos	Um conjunto de instruções executável que pode implementar a lógica de IA.
Avaliações	Avaliações de um modelo ou fluxo. Você pode executar avaliações manuais ou baseadas em métricas.
Índices	Índices de busca em vetores gerados a partir de seus dados.

Os projetos também têm configurações específicas que se mantêm apenas a esse projeto:

Ativo	Descrição
Conexões de projeto	Conexões com recursos externos, como provedores de armazenamento de dados que somente você e outros membros do projeto podem usar. Eles complementam as conexões compartilhadas no hub acessível a todos os projetos.
Runtime do prompt flow	O prompt flow é um recurso que pode ser usado para gerar, personalizar ou executar um fluxo. Para usar o prompt flow, você precisa criar um runtime em cima de uma instância de computação.

Observação

No Estúdio de IA, você também pode gerenciar configurações de linguagem e notificação que se aplicam a todos os projetos que você pode acessar, independentemente do hub ou projeto.

Chaves de acesso á API dos serviços de IA do Azure

O hub permite que você configure conexões com os tipos de recursos existentes do OpenAI do Azure ou dos Serviços de IA do Azure, que podem ser usados para hospedar implantações de modelo. Você pode acessar essas implantações de modelo de recursos conectados no Estúdio de IA. As chaves para recursos conectados podem ser listadas no Estúdio de IA ou no portal do Azure. Para obter mais informações, consulte Localizar recursos do Estúdio de IA do Azure no portal do Azure.

Rede Virtual

Hubs, recursos de computação e projetos compartilham a mesma rede virtual do Azure gerenciada pela Microsoft. Depois de definir as configurações de rede gerenciada durante o processo de criação do hub, todos os novos projetos criados usando esse hub herdarão as mesmas configurações de rede virtual. Portanto, todas as alterações nas configurações de rede são aplicadas a todos os projetos atuais e novos nesse hub. Por padrão, os hubs fornecem acesso à rede pública.

Para estabelecer uma conexão de entrada privada para seu ambiente do hub, crie um ponto de extremidade do Link Privado do Azure nos seguintes escopos:

O hub
O Azure AI services dependente que fornece o recurso
Qualquer outra dependência de IA do Azure como o armazenamento do Azure

Embora os projetos apareçam como seus próprios recursos de acompanhamento no portal do Azure, eles não exigem que seus próprios pontos de extremidade de link privado sejam acessados. Novos projetos que são criados após a configuração do hub são adicionados automaticamente ao ambiente isolado de rede.

Conexões com o Azure e recursos de terceiros

A IA do Azure oferece um conjunto de conectores que permite que você se conecte a diferentes tipos de fontes de dados e outras ferramentas do Azure. Você pode aproveitar os conectores para se conectar com dados, como índices na Pesquisa de IA do Azure, para aumentar seus fluxos.

As conexões podem ser configuradas como compartilhadas com todos os projetos no mesmo hub ou criadas exclusivamente para um projeto. Para gerenciar conexões por meio do Estúdio de IA do Azure, acesse seu projeto e selecione o Centro de Gerenciamento. Selecione Recursos conectados na seção Hub ou Projeto para gerenciar conexões compartilhadas para o projeto ou hub, respectivamente. Como administrador, você pode auditar conexões compartilhadas e com escopo de projeto em um nível de hub para ter um painel único de conectividade entre projetos.

Dependências de IA do Azure

Camadas do Estúdio de IA do Azure sobre os serviços existentes do Azure, incluindo a IA do Azure e os serviços do Azure Machine Learning. Embora isso possa não ser visível nos nomes de exibição no portal do Azure, no Estúdio de IA ou ao usar o SDK ou a CLI, alguns desses detalhes de arquitetura se tornam aparentes quando você trabalha com as APIs REST do Azure, usa relatórios de custos do Azure ou usa modelos de infraestrutura como código, como o Azure Bicep ou o Azure Resource Manager. Do ponto de vista do Provedor de Recursos do Azure, os tipos de recursos do Estúdio de IA do Azure são mapeados para os seguintes tipos de provedores de recursos:

Tipo de recurso	Provedor de recursos	Tipo
Hub do Estúdio de IA do Azure	`Microsoft.MachineLearningServices/workspace`	`hub`
Projeto do Estúdio de IA do Azure	`Microsoft.MachineLearningServices/workspace`	`project`
Serviços de IA do Azure ou Serviço OpenAI de IA do Azure	`Microsoft.CognitiveServices/account`	`AIServices` `OpenAI`

Ao criar um hub, é necessário ter um conjunto de recursos dependentes do Azure para armazenar dados que você carrega ou que são gerados ao trabalhar no estúdio de IA. Se não forem fornecidos por você, esses recursos serão criados automaticamente.

Recursos dependentes do Azure	Provedor de recursos	Opcional	Observação
Pesquisa de IA do Azure	`Microsoft.Search/searchServices`	✔	Fornece recursos de pesquisa para seus projetos.
Conta do Armazenamento do Azure	`Microsoft.Storage/storageAccounts`		Armazena artefatos para seus projetos, como fluxos e avaliações. Para isolamento de dados, os contêineres de armazenamento são prefixados usando o GUID do projeto e protegidos condicionalmente usando o ABAC do Azure para a identidade do projeto.
Cofre de Chave do Azure	`Microsoft.KeyVault/vaults`		Armazena segredos como cadeias de conexão para suas conexões de recurso. Para isolamento de dados, segredos não podem ser recuperados em projetos por meio de APIs.
Registro de Contêiner do Azure	`Microsoft.ContainerRegistry/registries`	✔	Armazenam imagens do Docker criadas ao usar o runtime personalizado para o prompt flow. Para isolamento de dados, as imagens do Docker são prefixadas usando o GUID do projeto.
Application Insights do Azure e Workspace do Log Analytics	`Microsoft.Insights/components` `Microsoft.OperationalInsights/workspaces`	✔	Usado como armazenamento de registros quando você escolhe o registro em nível de aplicativo para os prompt flows implantados.

Gerenciar custos

Os custos de IA do Azure são acumulados por vários recursos do Azure.

Em geral, um hub e um projeto não têm um custo mensal fixo e você só é cobrado pelo uso em termos de horas de computação e tokens usados. O Azure Key Vault, o Armazenamento e o Application Insights cobram transações e baseadas em volume, dependendo da quantidade de dados armazenados com seus projetos.

Se você precisar agrupar os custos desses diferentes serviços, recomendamos a criação de hubs em um ou mais grupos de recursos dedicados e assinaturas em seu ambiente do Azure.

Você pode usar o gerenciamento de custos e marcas de recursos do Azure para ajudar com uma divisão de custo detalhada no nível do recurso ou executar a calculadora de preços do Azure nos recursos listados acima para obter uma estimativa de preços. Para obter mais informações, consulte Planejar e gerenciar custos para os serviços de IA do Azure.

Localizar recursos do Estúdio de IA do Azure no portal do Azure

No portal do Azure, você pode encontrar recursos que correspondem ao seu projeto no Estúdio de IA do Azure.