Compartilhar via

Design da arquitetura da IA

  • Artigo

A IA é uma tecnologia que permite que as máquinas imitem o comportamento humano inteligente. Os computadores podem usar a IA para:

  • Analise dados para criar imagens e vídeos.
  • Analise e sintetize a fala.
  • Interaja verbalmente de maneiras naturais.
  • Faça previsões e gere novos dados.

Você pode incorporar IA em aplicativos para executar funções ou tomar decisões que a lógica ou o processamento tradicionais não podem lidar com eficiência. Como arquiteto que projeta soluções, é importante entender o cenário de IA e machine learning e como você pode integrar soluções do Azure ao seu design de carga de trabalho.

Introdução

O Centro de Arquitetura do Azure fornece arquiteturas de exemplo, guias de arquitetura, linhas de base arquitetônicas e ideias que você pode aplicar ao seu cenário. As cargas de trabalho que envolvem componentes de IA e machine learning devem seguir as diretrizes de cargas de trabalho de IA do Azure Well-Architected Framework. Essas diretrizes incluem princípios e guias de design que influenciam a carga de trabalho de IA e machine learning nos cinco pilares de arquitetura. Você deve implementar essas recomendações nos cenários e no conteúdo no Centro de Arquitetura do Azure.

Conceitos de IA

Os conceitos de IA abrangem uma ampla gama de tecnologias e metodologias que permitem que os computadores executem tarefas que normalmente exigem inteligência humana. As seções a seguir fornecem uma visão geral dos principais conceitos de IA.

Algoritmos

algoritmos ou algoritmos de aprendizado de máquina são peças de código que ajudam as pessoas a explorar, analisar e encontrar significado em conjuntos de dados complexos. Cada algoritmo é um conjunto finito de instruções passo a passo inequívocas que um computador pode seguir para atingir uma meta específica. O objetivo de um modelo de machine learning é estabelecer ou descobrir padrões que os humanos podem usar para fazer previsões ou categorizar informações. Um algoritmo pode descrever como determinar se um animal de estimação é um gato, cachorro, peixe, pássaro ou lagarto. Outro algoritmo muito mais complicado pode descrever como identificar uma linguagem escrita ou falada, analisar as palavras, traduzi-las para um idioma diferente e verificar a precisão da tradução.

Escolha uma família de algoritmos que melhor se adapte à sua tarefa. Avalie os vários algoritmos dentro da família para encontrar o ajuste apropriado para sua carga de trabalho. Para obter mais informações, consulte O que são algoritmos de aprendizado de máquina?.

Aprendizado de máquina

O aprendizado de máquina é uma técnica de IA que usa algoritmos para criar modelos preditivos. Esses algoritmos analisam campos de dados e "aprendem" com os padrões dentro dos dados para gerar modelos. Em seguida, os modelos podem tomar previsões ou decisões informadas com base em novos dados.

Os modelos preditivos são validados em relação a dados conhecidos, medidos por métricas de desempenho para cenários de negócios específicos e ajustados conforme necessário. Esse processo de aprendizado e validação é chamado de treinamento. Por meio de retreinamento periódico, os modelos de machine learning melhoram ao longo do tempo.

No design da carga de trabalho, você poderá usar o aprendizado de máquina se o cenário incluir observações anteriores que você pode usar de forma confiável para prever situações futuras. Essas observações podem ser verdades universais, como a visão computacional que detecta uma forma de animal de outra. Ou essas observações podem ser específicas para sua situação, como visão computacional que detecta um possível erro de montagem em suas linhas de montagem com base em dados anteriores de reclamações de garantia.

Para obter mais informações, consulte O que é aprendizado de máquina?.

Aprendizado

Aprendizado profundo é um tipo de aprendizado de máquina que pode aprender por meio de seu próprio processamento de dados. Assim como o aprendizado de máquina, ele também usa algoritmos para analisar dados. Mas analisa dados por meio de redes neurais artificiais que contêm muitas entradas, saídas e camadas de processamento. Cada camada pode processar os dados de uma maneira diferente. A saída de uma camada torna-se a entrada para a próxima. Esse processo permite que o aprendizado profundo crie modelos mais complexos do que o aprendizado de máquina tradicional.

O aprendizado profundo requer um grande investimento para gerar modelos altamente personalizados ou exploratórios. Você pode considerar outras soluções neste artigo antes de adicionar aprendizado profundo à sua carga de trabalho.

Para obter mais informações, consulte O que é aprendizado profundo?.

O que é IA generativa

A IA Generativa treina modelos para gerar conteúdo original com base em muitas formas de conteúdo, como linguagem natural, visão do computador, áudio ou entrada de imagem. Com a IA generativa, você pode descrever uma saída desejada no idioma cotidiano e o modelo pode responder criando texto, imagem e código apropriados. Exemplos de aplicativos de IA generativos incluem o Microsoft Copilot e o Serviço Azure OpenAI.

  • Copilot é principalmente uma interface de usuário que ajuda você a escrever código, documentos e outros conteúdos baseados em texto. É baseado em modelos populares da OpenAI e está integrado a uma ampla variedade de aplicativos e experiências do usuário da Microsoft.

  • OpenAI do Azure é uma plataforma de desenvolvimento como serviço que fornece acesso aos modelos de linguagem avançados do OpenAI, como o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo com Visão, GPT-4, GPT-3.5-Turbo e a série de modelos de incorporações. Você pode adaptar esses modelos às tarefas específicas, como:

    • Geração de conteúdo.
    • Resumo de conteúdo.
    • Compreensão de imagem.
    • Pesquisa semântica.
    • Linguagem natural para tradução de código.

Modelos de linguagem

Modelos de linguagem são um subconjunto de IA generativa que se concentra em tarefas de processamento de linguagem natural, como geração de texto e análise de sentimento. Esses modelos representam a linguagem natural com base na probabilidade de palavras ou sequências de palavras ocorrerem em um determinado contexto.

Os modelos de linguagem convencionais são usados em configurações supervisionadas para fins de pesquisa em que os modelos são treinados em conjuntos de dados de texto bem rotulados para tarefas específicas. Os modelos de linguagem pré-treinados oferecem uma maneira acessível de começar a usar a IA. Eles são mais amplamente usados nos últimos anos. Esses modelos são treinados em coleções de texto em larga escala da Internet por meio de redes neurais de aprendizado profundo. Você pode ajustá-los em conjuntos de dados menores para tarefas específicas.

O número de parâmetros ou pesos determina o tamanho de um modelo de linguagem. Os parâmetros influenciam como o modelo processa dados de entrada e gera saída. Durante o treinamento, o modelo ajusta os pesos para minimizar a diferença entre suas previsões e os dados reais. Esse processo é como o modelo aprende parâmetros. Quanto mais parâmetros um modelo tem, mais complexo e expressivo ele é. Mas também é computacionalmente mais caro para treinar e usar.

Em geral, modelos de linguagem pequenos geralmente têm menos de 10 bilhões de parâmetros e modelos de linguagem grandes têm mais de 10 bilhões de parâmetros. Por exemplo, a família de modelos do Microsoft Phi-3 tem três versões:

  • Mini, 3,8 bilhões de parâmetros
  • Parâmetros pequenos, de 7 bilhões
  • Modelo Médio, 14 bilhões de parâmetros

Para obter mais informações, consulte catálogo de modelos de linguagem.

Copilots

A disponibilidade de modelos de linguagem levou ao surgimento de novas maneiras de interagir com aplicativos e sistemas por meio de copilots digitais e agentes conectados e específicos do domínio. Copilots são assistentes de IA generativos que se integram a aplicativos, geralmente como interfaces de chat. Eles fornecem suporte contextualizado para tarefas comuns nesses aplicativos.

o Microsoft Copilot integra-se a uma ampla gama de aplicativos da Microsoft e experiências do usuário. Ele se baseia em uma arquitetura aberta em que desenvolvedores que não são da Microsoft podem criar seus próprios plug-ins para estender ou personalizar a experiência do usuário com o Copilot. Os desenvolvedores parceiros também podem criar seus próprios copilotos usando a mesma arquitetura aberta.

Para saber mais, consulte os recursos a seguir:

Recuperação Aumentada de Geração

RAG (Retrieval Augmented Generation, Geração ampliada de recuperação) é um padrão de arquitetura que aumenta os recursos de um LLM (Large Language Model, Modelo de linguagem de grande porte), como o ChatGPT, que é treinado apenas com dados públicos. Você pode usar esse padrão para adicionar um sistema de recuperação que fornece dados contextuais relevantes no contexto da solicitação do usuário. Um sistema de recuperação de informações fornece controle sobre os dados de aterramento que um modelo de linguagem usa quando formula uma resposta. A arquitetura RAG ajuda você a definir o escopo da IA generativa para conteúdo proveniente de documentos vetorizados, imagens e outros formatos de dados. O RAG não está limitado ao armazenamento de pesquisa de vetor. Você pode usar qualquer tecnologia de armazenamento de dados.

Para obter mais informações, consulte Projetar e desenvolver uma solução RAG e Escolher um serviço do Azure para busca em vetores.

Serviços de IA do Azure

Com serviços de IA do Azure, desenvolvedores e organizações podem usar APIs e modelos prontos, predefinidos e personalizáveis para criar aplicativos inteligentes, prontos para o mercado e responsáveis. Os casos de uso incluem processamento de linguagem natural para conversas, pesquisa, monitoramento, tradução, fala, visão e tomada de decisão.

Para saber mais, consulte os recursos a seguir:

Modelos de linguagem de IA

LLMs, como os modelos GPT do OpenAI, são ferramentas avançadas que podem gerar linguagem natural em vários domínios e tarefas. Para escolher um modelo, considere fatores como privacidade de dados, uso ético, precisão e viés.

Os modelos abertos Phi são modelos pequenos e menos intensivos em computação para soluções de IA generativa. Um modelo de linguagem pequeno pode ser mais eficiente, interpretável e explicado do que uma LLM.

Ao criar uma carga de trabalho, você pode usar modelos de linguagem como uma solução hospedada por trás de uma API limitada. Como alternativa, para muitos modelos de linguagem pequenos, você pode hospedar modelos de linguagem em processo ou pelo menos na mesma computação que o consumidor. Ao usar modelos de linguagem em sua solução, considere sua escolha de modelo de idioma e suas opções de hospedagem disponíveis para ajudar a garantir uma solução otimizada para seu caso de uso.

Plataformas e ferramentas de desenvolvimento de IA

As seguintes plataformas e ferramentas de desenvolvimento de IA podem ajudá-lo a criar, implantar e gerenciar o aprendizado de máquina e os modelos de IA.

Azure Machine Learning

O Azure Machine Learning é um serviço de machine learning que você pode usar para criar e implantar modelos. O Machine Learning oferece interfaces da Web e SDKs para você treinar e implantar seus modelos e pipelines de machine learning em escala. Use essas funcionalidades com estruturas do Python de software livre, como a PyTorch, a TensorFlow e a Scikit-learn.

Para saber mais, consulte os recursos a seguir:

Arquiteturas de referência de machine learning para o Azure

Machine Learning automatizado

O aprendizado de máquina automatizado (AutoML) é o processo de automatizar as tarefas iterativas e demoradas do desenvolvimento de modelos de aprendizado de máquina. Cientistas de dados, analistas e desenvolvedores podem usar o AutoML para criar modelos de machine learning que tenham alta escala, eficiência e produtividade, ao mesmo tempo em que sustentam a qualidade do modelo.

Para saber mais, consulte os recursos a seguir:

MLflow

Os workspaces do Machine Learning são compatíveis com MLflow, o que significa que você pode usar um workspace do Machine Learning da mesma maneira que usa um servidor MLflow. Essa compatibilidade fornece as seguintes vantagens:

  • O Machine Learning não hospeda instâncias do servidor MLflow, mas pode usar as APIs do MLflow diretamente.
  • Você pode usar um workspace do Machine Learning como servidor de acompanhamento para qualquer código MLflow, seja ele executado ou não no Machine Learning. Você precisa configurar o MLflow para apontar para o espaço de trabalho onde o acompanhamento irá ocorrer.
  • Você pode executar rotinas de treinamento que usam o MLflow no Machine Learning sem fazer nenhuma alteração.

Para obter mais informações, consulte MLflow e Machine Learning e MLflow.

Ferramentas de IA generativa

  • Prompt flow é um conjunto de ferramentas de desenvolvimento que você pode usar para simplificar o ciclo de desenvolvimento de ponta a ponta de aplicativos de IA generativa, desde ideação, prototipagem, testes e avaliação, até implantação e monitoramento em produção. Ele suporta engenharia imediata por meio da expressão de ações em um mecanismo modular de orquestração e fluxo.

  • O Azure AI Foundry ajuda você a experimentar, desenvolver e implantar aplicativos de IA geradores e APIs com responsabilidade com uma plataforma abrangente. O portal do AI Foundry fornece acesso aos serviços de IA do Azure, modelos de base, um playground e recursos para ajudá-lo a criar, treinar, ajustar e implantar modelos de IA. Você também pode avaliar as respostas do modelo e orquestrar componentes de aplicações relacionadas a prompt usando o prompt flow para melhor desempenho.

  • Copilot Studio estende o Copilot no Microsoft 365. Você pode usar o Copilot Studio para criar copilots personalizados para cenários internos e externos. Utilize uma tela de criação abrangente para projetar, testar e publicar copilotos. Você pode facilmente criar conversas habilitadas para IA gerativas, fornecer maior controle de respostas para copilots existentes e acelerar a produtividade usando fluxos de trabalho automatizados.

Plataformas de dados para IA

As plataformas a seguir oferecem soluções abrangentes para movimentação de dados, processamento, ingestão, transformação, análise em tempo real e relatórios.

Microsoft Fabric

O Microsoft Fabric é uma plataforma de dados e análise de ponta a ponta para empresas que exigem uma solução unificada. Você pode conceder às equipes de carga de trabalho acesso aos dados no Fabric. A plataforma aborda movimentação de dados, processamento, ingestão, transformação, roteamento de eventos em tempo real e criação de relatórios. Ele oferece um conjunto abrangente de serviços, incluindo Fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Real-Time Intelligence, Fabric Data Warehouse e Fabric Databases.

O Fabric integra componentes separados em uma pilha coesa. Em vez de depender de diferentes bancos de dados ou data warehouses, você pode centralizar o armazenamento de dados com o OneLake. Os recursos de IA são inseridos no Fabric, o que elimina a necessidade de integração manual.

Para saber mais, consulte os recursos a seguir:

Copilotos em tecido

Você pode usar o Copilot e outros recursos de IA generativos para transformar e analisar dados, gerar insights e criar visualizações e relatórios no Fabric e no Power BI. Você pode criar seu próprio copilot ou escolher um dos seguintes copilots predefinidos:

Habilidades de IA no Fabric

Você pode usar o recurso de habilidade de IA do Fabric para configurar um sistema de IA gerativo para gerar consultas que respondem a perguntas sobre seus dados. Depois de configurar uma habilidade de IA, você pode compartilhá-la com seus colegas, que podem fazer suas perguntas em linguagem simples. Com base em suas perguntas, a IA gera consultas nos dados que respondem a essas perguntas.

Para saber mais, consulte os recursos a seguir:

Plataformas de dados baseadas no Apache Spark para IA

O Apache Spark é uma estrutura de processamento paralelo que dá suporte ao processamento na memória para aumentar o desempenho de aplicativos de análise de Big Data. O Spark fornece blocos de construção básicos para computação em cluster na memória. Um trabalho do Spark pode carregar e armazenar dados em cache na memória e consultá-los repetidamente, o que é mais rápido do que aplicativos baseados em disco, como o Hadoop.

Usar o Apache Spark no Microsoft Fabric

O Fabric Runtime é uma plataforma integrada do Azure baseada no Apache Spark que permite a implementação e o gerenciamento de experiências de engenharia de dados e ciência de dados. O Fabric Runtime combina os principais componentes de fontes internas e de software livre, que fornecem uma solução abrangente.

O Fabric Runtime tem os seguintes componentes principais:

  • o Apache Spark é uma poderosa biblioteca de computação distribuída de software livre que permite tarefas de processamento e análise de dados em larga escala. O Apache Spark fornece uma plataforma versátil e de alto desempenho para experiências de engenharia de dados e ciência de dados.

  • Delta Lake é uma camada de armazenamento de código aberto que integra transações ACID (atomicidade, consistência, isolamento e durabilidade) e outros recursos de confiabilidade de dados ao Apache Spark. Integrado no Fabric Runtime, o Delta Lake aprimora os recursos de processamento de dados e ajuda a garantir a consistência de dados em várias operações simultâneas.

  • pacotes de nível padrão para Java, Scala, Python e R são pacotes que dão suporte a diversos ambientes e linguagens de programação. Esses pacotes são instalados e configurados automaticamente, para que os desenvolvedores possam aplicar suas linguagens de programação preferidas para tarefas de processamento de dados.

O Fabric Runtime é criado em um sistema operacional de software livre robusto para ajudar a garantir a compatibilidade com várias configurações de hardware e requisitos do sistema.

Para obter mais informações, consulte runtimes do Apache Spark no Fabric.

Azure Databricks Runtime para Machine Learning

O Azure Databricks é uma plataforma de análise baseada no Apache Spark que oferece instalação com um clique, simplifica fluxos de trabalho e fornece um workspace interativo para colaboração entre cientistas de dados, engenheiros e analistas de negócios.

Você pode usar Databricks Runtime para Machine Learning para iniciar um cluster do Databricks com todas as bibliotecas necessárias para treinamento distribuído. Esse recurso fornece um ambiente para aprendizado de máquina e ciência de dados. Ele contém várias bibliotecas populares, incluindo TensorFlow, PyTorch, Keras e XGBoost. Ele também dá suporte ao treinamento distribuído por meio do Horovod.

Para saber mais, consulte os recursos a seguir:

Apache Spark no Azure HDInsight

O Apache Spark no Azure HDInsight é a implementação do Apache Spark na nuvem, realizada pela Microsoft. Os clusters Spark no HDInsight são compatíveis com o Armazenamento do Azure e o Armazenamento do Azure Data Lake, para que você possa usar clusters spark do HDInsight para processar dados armazenados no Azure.

SynapseML, anteriormente conhecida como MMLSpark, é a biblioteca de machine learning da Microsoft para Apache Spark. É uma biblioteca de código aberto que adiciona muitas ferramentas de aprendizado profundo e ciência de dados, funcionalidades de rede e desempenho de nível de produção ao ecossistema do Spark.

Para saber mais, consulte os recursos a seguir:

Armazenamento de dados para IA

Você pode usar as plataformas a seguir para armazenar, acessar e analisar com eficiência grandes volumes de dados.

Fabric OneLake

O OneLake in Fabric é um data lake unificado e lógico que você pode adaptar a toda a sua organização. Ele serve como o hub central para todos os dados de análise e está incluído em todas as contas do Fabric. O OneLake in Fabric é criado com base no Data Lake Storage.

OneLake no Fabric:

  • Suporta tipos de arquivos estruturados e não estruturados.
  • Armazena todos os dados tabulares no formato Delta-Parquet.
  • Fornece um único data lake dentro dos limites do locatário que é regido por padrão.
  • Dá suporte à criação de workspaces em um locatário para que sua organização possa distribuir políticas de propriedade e acesso.
  • Dá suporte à criação de vários itens de dados, como lakehouses e warehouses, a partir dos quais você pode acessar dados.

Para obter mais informações, consulte OneLake, o OneDrive para dados.

Data Lake Storage

O Data Lake Storage é um único repositório centralizado em que você pode armazenar seus dados estruturados e não estruturados. Use um data lake para armazenar, acessar e analisar com rapidez e facilidade uma ampla variedade de dados em um único local. Você não precisa ajustar seus dados para se adaptar a uma estrutura existente. Em vez disso, você pode armazenar seus dados em seu formato bruto ou nativo, geralmente como arquivos ou como objetos binários grandes ou blobs.

O Data Lake Storage fornece semântica do sistema de arquivos, segurança em nível de arquivo e escala. Como esses recursos são criados no Armazenamento de Blobs do Azure, você também obtém armazenamento em camadas de baixo custo que tem alta disponibilidade e recursos de recuperação de desastre.

O Data Lake Storage usa a infraestrutura do Armazenamento do Azure para criar uma base para a criação de data lakes corporativos no Azure. O Data Lake Storage pode atender a vários petabytes de informações, mantendo centenas de gigabits de taxa de transferência para que você possa gerenciar grandes quantidades de dados.

Para saber mais, consulte os recursos a seguir:

Processamento de dados para IA

Você pode usar as ferramentas a seguir para preparar dados para machine learning e aplicativos de IA. Verifique se os dados estão limpos e estruturados para que você possa usá-los para análise avançada.

Fábrica de Dados do Fabric

Você pode usar o Fabric Data Factory para ingerir, preparar e transformar dados de várias fontes de dados, como bancos de dados, data warehouses, lakehouses e fluxos de dados em tempo real. Esse serviço pode ajudá-lo a atender aos requisitos de operações de dados ao projetar cargas de trabalho.

O Fabric Data Factory dá suporte a soluções de código e soluções sem código ou de baixo código:

  • Use pipelines de dados para criar recursos de fluxo de trabalho em escala de nuvem. Use a interface de arrastar e soltar para criar fluxos de trabalho que podem atualizar seu fluxo de dados, mover dados de tamanho petabyte e definir pipelines de controle de fluxo.

  • Use fluxos de dados como uma interface de baixo código para ingerir dados de centenas de fontes de dados e transformá-los usando mais de 300 transformações de dados.

Para obter mais informações, consulte cenário de ponta a ponta do Data Factory: introdução e arquitetura.

Azure Databricks

Você pode usar a Plataforma de Inteligência de Dados do Databricks para escrever código para criar um fluxo de trabalho de machine learning usando a engenharia de recursos. A engenharia de características é o processo de transformação de dados brutos em características que você pode usar para treinar modelos de aprendizado de máquina. A Plataforma de Inteligência de Dados do Databricks inclui os principais recursos que dão suporte à engenharia de recursos:

  • Pipelines de dados ingerem dados brutos, criam tabelas de recursos, treinam modelos e executam inferência em lotes. Quando você utiliza a engenharia de características no Unity Catalog para treinar e registrar um modelo, o modelo é empacotado com metadados de características. Quando você usa o modelo para pontuação em lote ou inferência online, ele recupera automaticamente os valores de recursos. O chamador não precisa saber sobre os valores ou incluir lógica para pesquisar ou unir recursos para pontuar novos dados.

  • Modelos e recursos para pontos de extremidade são instantaneamente acessíveis e fornecem latência em milissegundos.

  • O monitoramento ajuda a garantir a precisão e o desempenho de dados e modelos.

Você também pode usar a busca em vetores de IA da Mosaic para armazenar e recuperar incorporações. As inserções são cruciais para aplicativos que exigem pesquisas de similaridade, como RAG, sistemas de recomendação e reconhecimento de imagem.

Para obter mais informações, consulte Azure Databricks: servir dados para aprendizado de máquina e IA.

Conectores de dados para IA

Os pipelines do Azure Data Factory e do Azure Synapse Analytics dão suporte a muitos armazenamentos de dados e formatos por meio de cópia, fluxo de dados, pesquisa, obtenção de metadados e exclusão de atividades. Para ver os conectores de armazenamento de dados disponíveis, os recursos suportados, incluindo as configurações correspondentes, e as opções genéricas de Conectividade com Banco de Dados Aberto, consulte visão geral dos conectores do Azure Data Factory e do Azure Synapse Analytics.

IA personalizada

Soluções de IA personalizadas ajudam você a lidar com necessidades e desafios de negócios específicos. As seções a seguir fornecem uma visão geral de várias ferramentas e serviços que você pode usar para criar e gerenciar modelos de IA personalizados.

Azure Machine Learning

O Azure Machine Learning é um serviço de nuvem para acelerar e gerenciar o ciclo de vida dos projetos de machine learning. Profissionais de machine learning, cientistas de dados e engenheiros podem usar esse serviço em seus fluxos de trabalho diários para treinar e implantar modelos e gerenciar operações de machine learning.

O Machine Learning oferece os seguintes recursos:

  • Seleção de algoritmo: Alguns algoritmos fazem suposições específicas sobre a estrutura de dados ou os resultados desejados. Escolha um algoritmo que atenda às suas necessidades para que você possa obter resultados mais úteis, previsões mais precisas e tempos de treinamento mais rápidos. Para obter mais informações, consulte Como selecionar algoritmos para o Machine Learning.

  • ajuste ou otimização de hiperparâmetros: Você pode usar esse processo manual para encontrar configurações de hiperparâmetros que resultam no melhor desempenho. Essa otimização gera custos computacionais significativos. Os hiperparâmetros são parâmetros ajustáveis que fornecem controle do processo de treinamento do modelo. Por exemplo, você pode escolher o número de camadas ocultas e o número de nós em cada camada de redes neurais. O desempenho do modelo depende muito dos hiperparâmetros.

    Você pode usar o Machine Learning para automatizar o ajuste de hiperparâmetro e executar experimentos em paralelo para otimizar com eficiência os hiperparâmetros.

    Para saber mais, consulte os recursos a seguir:

  • Treinamento de modelo: Você pode usar iterativamente um algoritmo para criar ou ensinar modelos. Depois que os modelos forem treinados, você poderá usá-los para analisar dados e fazer previsões.

    Durante a fase de treinamento:

    1. Um conjunto de qualidade de dados conhecidos é marcado para que campos individuais sejam identificáveis.

    2. Um algoritmo configurado para fazer uma previsão específica recebe os dados marcados.

    3. O algoritmo gera um modelo que captura os padrões identificados nos dados. O modelo usa um conjunto de parâmetros para representar esses padrões.

    Durante a validação:

    1. Novos dados são marcados e usados para testar o modelo.

    2. O algoritmo é ajustado conforme necessário e possivelmente faz mais treinamento.

    3. A fase de teste usa dados do mundo real sem marcas ou destinos pré-selecionados. Se os resultados do modelo forem precisos, ele estará pronto para uso e poderá ser implantado.

    Para saber mais, consulte os recursos a seguir:

  • AutoML: Esse processo automatiza as tarefas iterativas demoradas do desenvolvimento de modelos de machine learning. Isso pode reduzir significativamente o tempo necessário para produzir modelos de machine learning prontos para produção. O AutoML pode ajudar na seleção de modelo, ajuste de hiperparâmetro, treinamento de modelo e outras tarefas, sem exigir programação abrangente ou conhecimento de domínio.

    Você pode usar o AutoML quando quiser que o Machine Learning use uma métrica de destino especificada para treinar e ajustar um modelo. Você não precisa de experiência em ciência de dados para identificar um pipeline de machine learning de ponta a ponta para problemas.

    Profissionais e desenvolvedores de machine learning em todos os setores podem usar o AutoML para:

    • Implemente soluções de aprendizado de máquina sem conhecimento extenso de programação ou de aprendizado de máquina.
    • Economize tempo e recursos.
    • Aplique as práticas recomendadas de ciência de dados.
    • Forneça uma solução de problemas ágil.

    Para obter mais informações, consulte O que é o AutoML?.

  • Pontuação: Esse processo, também chamado de previsão, usa um modelo de machine learning treinado para gerar valores com base em novos dados de entrada. Os valores, ou pontuações, podem representar previsões de valores futuros, mas também podem representar uma categoria ou resultado provável.

    Para saber mais, consulte os recursos a seguir:

  • Engenharia de recursos e definição de recursos: Dados de treinamento consistem em linhas e colunas. Cada linha é uma observação ou um registro e as colunas de cada linha são os recursos que descrevem cada registro. Normalmente, os recursos que melhor caracterizam os padrões nos dados são selecionados para criar modelos de previsão.

Embora você possa usar muitos dos campos de dados brutos para treinar um modelo, talvez seja necessário criar outros recursos projetados que forneçam informações para diferenciar melhor os padrões nos dados. Esse processo é chamado de engenharia de recursos, em que você usa o conhecimento de domínio dos dados para criar recursos que ajudam os algoritmos de machine learning a aprender melhor.

No Machine Learning, as técnicas de dimensionamento de dados e normalização são aplicadas para facilitar a engenharia de recursos. Coletivamente, essas técnicas e essa engenharia de recursos são chamadas de definição de recursos em experimentos de AutoML. Para obter mais informações, consulte Definição de recursos de dados em machine learning automatizado.

OpenAI do Azure

No Azure OpenAI, você pode usar um processo conhecido como ajuste fino para adaptar modelos OpenAI aos seus conjuntos de dados pessoais. Esta etapa de personalização otimiza o serviço fornecendo:

  • Resultados de mais alta qualidade em comparação apenas com a engenharia de prompt.
  • A capacidade de treinar mais exemplos do que normalmente é permitido pelo limite máximo de contexto de solicitação de um modelo.
  • Economia de tokens devido a prompts mais curtos.
  • Solicitações com menor latência, especialmente quando você usa modelos menores.

Para saber mais, consulte os recursos a seguir:

Serviços de IA do Azure para IA personalizada

serviços de IA do Azure fornece recursos para criar modelos e aplicativos de IA personalizados. As seções a seguir fornecem uma visão geral desses principais recursos.

Fala Personalizada

A fala personalizada é um recurso do serviço de Fala de IA do Azure. Você pode usar a fala personalizada para avaliar e melhorar a precisão do reconhecimento de fala para seus aplicativos e produtos. Use um modelo de fala personalizado para conversão de fala em texto em tempo real, tradução de fala, e transcrição em lote.

Por padrão, o reconhecimento de fala usa um modelo de linguagem universal como um modelo base. Esse modelo é treinado com dados de propriedade da Microsoft e reflete a linguagem falada comumente usada. O modelo base é pré-treinado com dialetos e fonéticas que representam vários domínios comuns. Quando você faz uma solicitação de reconhecimento de fala, o modelo base mais recente para seu idioma com suporte é usado por padrão. O modelo base funciona bem na maioria dos cenários de reconhecimento de fala.

Você pode usar um modelo personalizado para aumentar o modelo base. Por exemplo, você pode melhorar o reconhecimento do vocabulário específico do domínio específico a um aplicativo fornecendo dados de texto para treinar o modelo. Você também pode melhorar o reconhecimento de condições de áudio específicas de um aplicativo fornecendo dados de áudio, incluindo transcrições de referência.

Se os dados seguirem um padrão, você poderá usar texto estruturado para treinar um modelo. Você pode especificar pronúncias personalizadas e personalizar a formatação de texto de exibição com normalização de texto inverso personalizada, reescrita personalizada e filtragem de palavrões personalizados.

Tradutor personalizado

O tradutor personalizado é um recurso do serviço Tradutor de IA do Azure. Empresas, desenvolvedores de aplicativos e provedores de serviços de idioma podem usar o tradutor personalizado para criar sistemas de NMT (tradução automática neural) personalizados. Os sistemas de tradução personalizada se integram aos aplicativos, fluxos de trabalho e sites existentes.

Você pode usar esse recurso para criar e publicar sistemas de tradução personalizados de e para o inglês. O tradutor personalizado oferece suporte a mais de trinta idiomas que estão diretamente alinhados com os idiomas da Tradução Automática Neural (NMT). Para obter uma lista completa de idiomas, consulte Suporte ao idioma de tradução.

O tradutor personalizado oferece os seguintes recursos.

Recurso Descrição
Aplicar a tecnologia NMT Aplique o NMT do tradutor personalizado para melhorar sua tradução.
Criar sistemas que conhecem sua terminologia comercial Personalize e crie sistemas de tradução usando documentos paralelos que entendam a terminologia em sua empresa e setor.
Usar um dicionário para criar seus modelos Treine um modelo com apenas dados de dicionário se você não tiver um conjunto de dados de treinamento.
Colaborar com outras pessoas Colabore com sua equipe compartilhando seu trabalho com várias pessoas.
Acessar seu modelo de tradução personalizada Acesse seu modelo de tradução personalizada a qualquer momento usando seus aplicativos ou programas existentes por meio da API de Tradução de Texto da Microsoft V3.

Modelos personalizados do Azure AI Document Intelligence

O Azure AI Document Intelligence usa tecnologia avançada de aprendizado de máquina para identificar documentos, detectar e extrair informações de formulários e documentos e retornar os dados extraídos em uma saída JSON estruturada. Use o Document Intelligence para aproveitar modelos de análise de documentos predefinidos ou pré-treinados ou modelos personalizados autônomos treinados.

Documentar modelos personalizados de inteligência inclui modelos de classificação personalizada para cenários em que você precisa identificar o tipo de documento, antes de invocar o modelo de extração. Você pode emparelhar um modelo de classificação com um modelo de extração personalizado para analisar e extrair campos de formulários e documentos específicos para sua empresa. Combine modelos de extração personalizados autônomos para criar modelos compostos.

Ferramentas de IA personalizadas

Os modelos de IA predefinidos são úteis e cada vez mais flexíveis, mas a melhor maneira de otimizar a IA é adaptar um modelo às suas necessidades específicas. Duas ferramentas principais para criar modelos de IA personalizados são a IA gerativa e o aprendizado de máquina tradicional.

Azure Machine Learning Studio

Azure Machine Learning Studio é um serviço em nuvem para acelerar e gerenciar o ciclo de vida do projeto de machine learning. Profissionais de machine learning, cientistas de dados e engenheiros podem usá-lo em seus fluxos de trabalho diários para treinar e implantar modelos e gerenciar operações de machine learning.

  • Crie e treine modelos do Machine Learning usando qualquer tipo de computação, incluindo Spark e GPUs para cargas de trabalho de IA grandes em escala de nuvem.

  • Execute o AutoML e use a interface de arrastar e soltar para aprendizado de máquina de baixo código.

  • Implemente operações de Machine Learning de ponta a ponta e pipelines repetíveis.

  • Use o painel de IA responsável para detecção de viés e análise de erros.

  • Orquestre e gerencie fluxos de engenharia e LLM de prompt.

  • Implante modelos via pontos de extremidade da API REST, inferência em tempo real e inferência em lote.

  • Utilize os espaços de trabalho de hub para compartilhar recursos de computação, cotas, segurança e conectividade aos recursos da empresa, centralizando a governança de TI. Configure um hub uma vez e crie workspaces seguros diretamente do estúdio para cada projeto. Use hubs para gerenciar o trabalho da sua equipe no estúdio e no portal do AI Foundry.

Foundry de IA

AI Foundry ajuda você a criar e implantar aplicativos personalizados de IA generativa com o poder das extensas ofertas de IA do Azure.

  • Compile juntos como uma equipe. Seu hub de AI Foundry fornece segurança de nível empresarial e um ambiente colaborativo que inclui recursos compartilhados e conexões com modelos, dados e computação pré-treinados.

  • Organize seu trabalho. Seu projeto do Foundry de IA o ajuda a salvar o estado para que você possa iterar da primeira ideia ao primeiro protótipo e à primeira implantação de produção. Convide facilmente outras pessoas para colaborar com você.

  • Use suas estruturas e plataformas de desenvolvimento preferenciais, incluindo GitHub, Visual Studio Code, LangChain, Kernel Semântico e AutoGen.

  • Descubra e avalie o desempenho de mais de 1.600 modelos.

  • Modelos de provisão como um serviço (MaaS) por meio de APIs sem servidor e de ajuste fino hospedado.

  • Incorpore vários modelos, fontes de dados e modalidades.

  • Crie o RAG usando seus dados corporativos protegidos, sem a necessidade de ajuste fino.

  • Orquestre e gerencie fluxos de engenharia e LLM de prompt.

  • Crie e proteja aplicativos e APIs por meio de filtros e controles configuráveis.

  • Avalie as respostas de modelo usando fluxos de avaliação internos e personalizados.

  • Implante inovações de IA na infraestrutura gerenciada pelo Azure para fornecer monitoramento e governança contínuos em ambientes.

  • Monitore continuamente os aplicativos implantados para fins de segurança, qualidade e consumo de token na produção.

Para obter mais informações, consulte Portal do Foundry de IA versus Estúdio de Machine Learning.

Prompt flow no portal do Foundry de IA

Prompt flow no portal do Foundry de IA é uma ferramenta de desenvolvimento que você pode usar para simplificar todo o ciclo de desenvolvimento de aplicativos de IA que são alimentados por LLMs. O prompt flow fornece uma solução abrangente que simplifica o processo de prototipagem, experimentação, iteração e implantação de seus aplicativos de IA.

  • O fluxo de comandos é um recurso que você pode usar para gerar, personalizar ou executar um fluxo.

  • Um fluxo é um conjunto de instruções que pode implementar a lógica de IA. Crie ou execute fluxos por meio de ferramentas, como uma tela predefinida ou LangChain. Você pode salvar iterações de um fluxo como ativos. Depois de implantar um fluxo, ele se tornará uma API. Nem todos os fluxos são prompt flows. Prompt flow é uma maneira de criar um fluxo.

  • Um prompt é um pacote de entrada que é enviado para um modelo. Ele consiste na entrada do usuário, na mensagem do sistema e em qualquer exemplo. A entrada do usuário é um texto enviado na janela de chat. A mensagem do sistema é um conjunto de instruções para o modelo que define o escopo de seus comportamentos e funcionalidades.

  • Um fluxo de exemplo é um fluxo de orquestração simples e predefinido que mostra como os fluxos funcionam. Você pode personalizar um fluxo de exemplo.

  • Um solicitação de exemplo é uma solicitação definida para um cenário específico que você pode copiar de uma biblioteca e usar como está ou modificá-lo no design da solicitação.

Linguagens de código de IA personalizadas

O conceito principal da IA é o uso de algoritmos para analisar dados e gerar modelos para descrever ou pontuar de maneiras úteis. Desenvolvedores e cientistas de dados e, às vezes, outros algoritmos, usam código de programação para escrever algoritmos. Duas das linguagens de programação mais populares para desenvolvimento de IA são Python e R.

O Python é uma linguagem de programação de alto nível de uso geral. Ele tem uma sintaxe simples e fácil de aprender que enfatiza a capacidade de leitura. Não há nenhuma etapa de compilação. O Python tem uma biblioteca padrão grande e dá suporte à capacidade de adicionar módulos e pacotes. Esse recurso incentiva a modularidade e permite expandir os recursos quando necessário. Há um ecossistema grande e crescente de bibliotecas de IA e machine learning para Python, incluindo muitas no Azure.

Para saber mais, consulte os recursos a seguir:

R é uma linguagem e um ambiente para computação estatística e gráficos. Você pode usá-lo para tudo, desde o mapeamento de tendências sociais e de marketing amplas online até o desenvolvimento de modelos financeiros e climáticos.

A Microsoft abraça totalmente a linguagem de programação R e fornece muitas opções para os desenvolvedores de R executarem seu código no Azure.

Para obter mais informações, consulte Usar o R interativamente no Machine Learning.

Para obter informações gerais sobre IA personalizada no Azure, consulte os seguintes recursos:

Histórias do cliente

Muitos setores aplicam a IA de maneiras inovadoras e inspiradoras. Considere os seguintes estudos de caso de cliente e histórias de sucesso:

Procurar mais histórias de clientes de IA

Informações gerais sobre a IA da Microsoft

Saiba mais sobre a IA da Microsoft e mantenha-se atualizado com as notícias relacionadas:

Próxima etapa