Partilhar via

Design de arquitetura de IA

  • Artigo

A IA é uma tecnologia que permite que as máquinas imitem o comportamento humano inteligente. As máquinas podem usar IA para:

  • Analise dados para criar imagens e vídeos.
  • Analisar e sintetizar a fala.
  • Interaja verbalmente de forma natural.
  • Faça previsões e gere novos dados.

Você pode incorporar IA em aplicativos para executar funções ou tomar decisões que a lógica tradicional ou o processamento não conseguem lidar de forma eficaz. Como arquiteto que projeta soluções, é importante entender o cenário de IA e aprendizado de máquina e como você pode integrar as soluções do Azure ao seu design de carga de trabalho.

Começar

O Centro de Arquitetura do Azure fornece exemplos de arquiteturas, guias de arquitetura, linhas de base de arquitetura e ideias que pode aplicar ao seu cenário. As cargas de trabalho que envolvem componentes de IA e aprendizado de máquina devem seguir as orientações do Azure Well-Architected Framework as cargas de trabalho de IA. Esta orientação inclui princípios e guias de design que influenciam a carga de trabalho de IA e aprendizado de máquina nos cinco pilares da arquitetura. Você deve implementar essas recomendações nos cenários e no conteúdo do Centro de Arquitetura do Azure.

Conceitos de IA

Os conceitos de IA abrangem uma ampla gama de tecnologias e metodologias que permitem que as máquinas executem tarefas que normalmente exigem inteligência humana. As seções a seguir fornecem uma visão geral dos principais conceitos de IA.

Algoritmos

Algoritmos ou algoritmos de aprendizado de máquina são pedaços de código que ajudam as pessoas a explorar, analisar e encontrar significado em conjuntos de dados complexos. Cada algoritmo é um conjunto finito de instruções passo-a-passo inequívocas que uma máquina pode seguir para atingir um objetivo específico. O objetivo de um modelo de aprendizado de máquina é estabelecer ou descobrir padrões que os humanos podem usar para fazer previsões ou categorizar informações. Um algoritmo pode descrever como determinar se um animal de estimação é um gato, cão, peixe, pássaro ou lagarto. Outro algoritmo muito mais complicado pode descrever como identificar uma língua escrita ou falada, analisar suas palavras, traduzi-las para um idioma diferente e, em seguida, verificar a precisão da tradução.

Escolha uma família de algoritmos que melhor se adapte à sua tarefa. Avalie os vários algoritmos dentro da família para encontrar o ajuste adequado para a sua carga de trabalho. Para obter mais informações, consulte O que são algoritmos de aprendizado de máquina?.

Aprendizagem automática

O aprendizado de máquina é uma técnica de IA que usa algoritmos para criar modelos preditivos. Esses algoritmos analisam campos de dados e "aprendem" com os padrões dentro dos dados para gerar modelos. Os modelos podem então fazer previsões ou decisões informadas com base em novos dados.

Os modelos preditivos são validados em relação a dados conhecidos, medidos por métricas de desempenho para cenários de negócios específicos e, em seguida, ajustados conforme necessário. A este processo de aprendizagem e validação dá-se o nome de formação. Através de reciclagem periódica, os modelos de aprendizagem automática melhoram ao longo do tempo.

Em seu design de carga de trabalho, você pode usar o aprendizado de máquina se o cenário incluir observações passadas que você pode usar de forma confiável para prever situações futuras. Essas observações podem ser verdades universais, como a visão computacional que deteta uma forma de animal a partir de outra. Ou essas observações podem ser específicas para sua situação, como visão computacional que deteta um possível erro de montagem em suas linhas de montagem com base em dados de reclamação de garantia anteriores.

Para obter mais informações, consulte O que é aprendizado de máquina?.

Aprendizagem profunda

Deep learning é um tipo de aprendizado de máquina que pode aprender através de seu próprio processamento de dados. Assim como o aprendizado de máquina, ele também usa algoritmos para analisar dados. Mas analisa dados através de redes neurais artificiais que contêm muitas entradas, saídas e camadas de processamento. Cada camada pode processar os dados de uma maneira diferente. A saída de uma camada torna-se a entrada para a próxima. Esse processo permite que o deep learning crie modelos mais complexos do que o aprendizado de máquina tradicional.

A aprendizagem profunda requer um grande investimento para gerar modelos altamente personalizados ou exploratórios. Você pode considerar outras soluções neste artigo antes de adicionar deep learning à sua carga de trabalho.

Para obter mais informações, consulte O que é deep learning?.

IA generativa

Generative AI treina modelos para gerar conteúdo original com base em muitas formas de conteúdo, como linguagem natural, visão computacional, áudio ou entrada de imagem. Com a IA generativa, você pode descrever uma saída desejada na linguagem cotidiana, e o modelo pode responder criando texto, imagem e código apropriados. Exemplos de aplicativos de IA generativa incluem o Microsoft Copilot e o Azure OpenAI Service.

  • Copilot é principalmente uma interface de usuário que ajuda você a escrever código, documentos e outros conteúdos baseados em texto. Baseia-se em modelos OpenAI populares e está integrado numa vasta gama de aplicações e experiências de utilizador da Microsoft.

  • Azure OpenAI é uma plataforma de desenvolvimento como um serviço que fornece acesso aos poderosos modelos de linguagem da OpenAI, como o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo with Vision, GPT-4, GPT-3.5-Turbo e a série de modelos Embeddings. Pode adaptar estes modelos às suas tarefas específicas, tais como:

    • Geração de conteúdo.
    • Sumarização de conteúdo.
    • Compreensão da imagem.
    • Pesquisa semântica.
    • Tradução de linguagem natural para código.

Modelos linguísticos

Modelos de linguagem são um subconjunto da IA generativa que se concentra em tarefas de processamento de linguagem natural, como geração de texto e análise de sentimento. Estes modelos representam a linguagem natural com base na probabilidade de palavras ou sequências de palavras ocorrerem num determinado contexto.

Os modelos de linguagem convencionais são usados em ambientes supervisionados para fins de pesquisa, onde os modelos são treinados em conjuntos de dados de texto bem rotulados para tarefas específicas. Os modelos de linguagem pré-treinados oferecem uma maneira acessível de começar a usar a IA. Eles são mais amplamente utilizados nos últimos anos. Esses modelos são treinados em coleções de texto em larga escala da internet por meio de redes neurais de aprendizado profundo. Você pode ajustá-los em conjuntos de dados menores para tarefas específicas.

O número de parâmetros, ou pesos, determinam o tamanho de um modelo de linguagem. Os parâmetros influenciam a forma como o modelo processa os dados de entrada e gera os resultados. Durante o treinamento, o modelo ajusta os pesos para minimizar a diferença entre suas previsões e os dados reais. Este processo é como o modelo aprende parâmetros. Quanto mais parâmetros um modelo tem, mais complexo e expressivo ele é. Mas também é mais dispendioso em termos computacionais treinar e usar.

Em geral, os modelos de linguagem pequena geralmente têm menos de 10 bilhões de parâmetros, e os modelos de linguagem grande têm mais de 10 bilhões de parâmetros. Por exemplo, a família de modelos Microsoft Phi-3 tem três versões:

  • Mini, 3,8 bilhões de parâmetros
  • Pequeno, 7 bilhões de parâmetros
  • Médio, 14 bilhões de parâmetros

Para obter mais informações, consulte catálogo de modelos de linguagem.

Copilots

A disponibilidade de modelos linguísticos levou ao surgimento de novas formas de interagir com aplicações e sistemas através de copilots digitais e agentes conectados e específicos de domínios. Copilots são assistentes de IA generativos que se integram em aplicativos, muitas vezes como interfaces de bate-papo. Eles fornecem suporte contextualizado para tarefas comuns nesses aplicativos.

Microsoft Copilot integra-se com uma ampla gama de aplicativos e experiências de usuário da Microsoft. Ele é baseado em uma arquitetura aberta onde desenvolvedores que não são da Microsoft podem criar seus próprios plug-ins para estender ou personalizar a experiência do usuário com o Copilot. Os desenvolvedores parceiros também podem criar os seus próprios copilotos usando a mesma arquitetura aberta.

Para obter mais informações, consulte os seguintes recursos:

Geração Aumentada de Recuperação

Geração Aumentada de Recuperação (RAG) é um padrão de arquitetura que aumenta as capacidades de um modelo de linguagem de grande dimensão (LLM), como o ChatGPT, que é treinado somente em dados públicos. Você pode usar esse padrão para adicionar um sistema de recuperação que forneça dados de base relevantes no contexto do pedido do utilizador. Um sistema de recuperação de informações fornece controle sobre os dados de aterramento que um modelo de linguagem usa quando formula uma resposta. A arquitetura RAG ajuda a definir o escopo da IA generativa para conteúdo proveniente de documentos vetorizados, imagens e outros formatos de dados. O RAG não está limitado ao armazenamento de pesquisa vetorial. Você pode usar qualquer tecnologia de armazenamento de dados.

Para obter mais informações, consulte Projetar e desenvolver uma solução RAG e Escolher um serviço do Azure para pesquisa vetorial.

Serviços de IA do Azure

Com os serviços de IA do Azure , os desenvolvedores e as organizações podem usar APIs e modelos prontos, pré-criados e personalizáveis para criar aplicativos inteligentes, responsáveis e prontos para o mercado. Os casos de uso incluem processamento de linguagem natural para conversas, pesquisa, monitoramento, tradução, fala, visão e tomada de decisão.

Para obter mais informações, consulte os seguintes recursos:

Modelos de linguagem de IA

LLMs, como os modelos OpenAI GPT, são ferramentas poderosas que podem produzir linguagem natural em diversos domínios e tarefas. Para escolher um modelo, considere fatores como privacidade de dados, uso ético, precisão e viés.

Os modelos abertos Phi são modelos pequenos e menos intensivos em computação para soluções generativas de IA. Um modelo de linguagem pequena pode ser mais eficiente, interpretável e explicável do que um LLM.

Ao projetar uma carga de trabalho, você pode usar modelos de linguagem como uma solução hospedada por trás de uma API limitada. Como alternativa, para muitos modelos de linguagem pequenos, é possível hospedar os modelos de linguagem internamente ou, pelo menos, na mesma máquina que o consumidor. Ao usar modelos de idioma em sua solução, considere sua escolha de modelo de idioma e suas opções de hospedagem disponíveis para ajudar a garantir uma solução otimizada para seu caso de uso.

Plataformas e ferramentas de desenvolvimento de IA

As seguintes plataformas e ferramentas de desenvolvimento de IA podem ajudá-lo a criar, implantar e gerenciar modelos de aprendizado de máquina e IA.

Azure Machine Learning

O Azure Machine Learning é um serviço de aprendizado de máquina que você pode usar para criar e implantar modelos. O Machine Learning oferece interfaces da Web e SDKs para você treinar e implantar seus modelos e pipelines de aprendizado de máquina em escala. Utilize estas capacidades com arquiteturas Python de código aberto como o PyTorch, TensorFlow e Scikit-learn.

Para obter mais informações, consulte os seguintes recursos:

Arquiteturas de referência de aprendizado de máquina para o Azure

Machine learning automatizado

O aprendizado de máquina automatizado (AutoML) é o processo de automatizar as tarefas iterativas e demoradas do desenvolvimento de modelos de aprendizado de máquina. Cientistas de dados, analistas e desenvolvedores podem usar o AutoML para criar modelos de aprendizado de máquina que tenham alta escala, eficiência e produtividade, mantendo a qualidade do modelo.

Para obter mais informações, consulte os seguintes recursos:

MLflow

Os espaços de trabalho do Machine Learning são compatíveis com MLflow, o que significa que você pode usar um espaço de trabalho do Machine Learning da mesma forma que usa um servidor MLflow. Esta compatibilidade oferece as seguintes vantagens:

  • O Machine Learning não hospeda instâncias do servidor MLflow, mas pode usar as APIs do MLflow diretamente.
  • Você pode usar um espaço de trabalho de Aprendizado de Máquina como seu servidor de rastreamento para qualquer código MLflow, seja ele executado ou não no Aprendizado de Máquina. Você precisa configurar o MLflow para apontar para o espaço de trabalho onde o rastreamento deve ocorrer.
  • Você pode executar rotinas de treinamento que usam MLflow no Machine Learning sem fazer alterações.

Para obter mais informações, consulte MLflow e Machine Learning e MLflow.

Ferramentas de IA generativa

  • Prompt flow é um conjunto de ferramentas de desenvolvimento que você pode usar para simplificar o ciclo de desenvolvimento de ponta a ponta de aplicativos generativos de IA, desde a ideação, prototipagem, teste e avaliação até a implantação e monitoramento da produção. Ele suporta engenharia imediata através da expressão de ações em um motor modular de orquestração e fluxo.

  • Azure AI Foundry ajuda você a experimentar, desenvolver e implantar aplicativos e APIs de IA generativa de forma responsável com uma plataforma abrangente. O portal AI Foundry fornece acesso a serviços de IA do Azure, modelos de fundação, um playground e recursos para ajudá-lo a criar, treinar, ajustar e implantar modelos de IA. Você também pode avaliar as respostas do modelo e coordenar os componentes de aplicação de prompts com um fluxo organizado de prompts para um melhor desempenho.

  • Copilot Studio estende o Copilot no Microsoft 365. Você pode usar o Copilot Studio para criar copilots personalizados para cenários internos e externos. Use uma tela de criação abrangente para projetar, testar e publicar copilotos. Você pode criar facilmente conversas generativas habilitadas para IA, fornecer maior controle de respostas para copilotos existentes e acelerar a produtividade usando fluxos de trabalho automatizados.

Plataformas de dados para IA

As plataformas a seguir oferecem soluções abrangentes para movimentação, processamento, ingestão, transformação, análise em tempo real e emissão de relatórios.

Microsoft Fabric

O Microsoft Fabric é uma plataforma de dados e análise de ponta a ponta para empresas que precisam de uma solução unificada. Você pode conceder às equipes de carga de trabalho acesso aos dados no Fabric. A plataforma abrange movimentação de dados, processamento, ingestão, transformação, roteamento de eventos em tempo real e criação de relatórios. Ele oferece um conjunto abrangente de serviços, incluindo Fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Real-Time Intelligence, Fabric Data Warehouse e Fabric Databases.

O Fabric integra componentes separados numa pilha coesa. Em vez de depender de diferentes bancos de dados ou data warehouses, você pode centralizar o armazenamento de dados com o OneLake. Os recursos de IA são incorporados ao Fabric, o que elimina a necessidade de integração manual.

Para obter mais informações, consulte os seguintes recursos:

Copilots em tecido

Você pode usar o Copilot e outros recursos de IA generativa para transformar e analisar dados, gerar insights e criar visualizações e relatórios no Fabric e no Power BI. Você pode construir seu próprio copiloto ou escolher um dos seguintes copilotos pré-construídos:

Habilidades de IA no Tecido

Você pode usar o recurso de habilidade Fabric AI para configurar um sistema de IA generativa para gerar consultas que respondam a perguntas sobre seus dados. Depois de configurar uma habilidade de IA, você pode compartilhá-la com seus colegas, que podem fazer suas perguntas em linguagem simples. Com base em suas perguntas, a IA gera consultas sobre os dados que respondem a essas perguntas.

Para obter mais informações, consulte os seguintes recursos:

Plataformas de dados baseadas no Apache Spark para IA

O Apache Spark é um framework de processamento paralelo que suporta o processamento dentro da memória para melhorar o desempenho de aplicações de análise de macrodados. O Spark fornece blocos de construção básicos para computação em cluster na memória. Um trabalho do Spark pode carregar e armazenar dados em cache na memória e consultá-los repetidamente, o que é mais rápido do que aplicativos baseados em disco, como o Hadoop.

Apache Spark no Microsoft Fabric

O Fabric Runtime é uma plataforma integrada ao Azure baseada no Apache Spark que permite a implementação e o gerenciamento de experiências de engenharia e ciência de dados. O Fabric Runtime combina componentes-chave de fontes internas e de código aberto, o que fornece uma solução abrangente.

O Fabric Runtime tem os seguintes componentes principais:

  • Apache Spark é uma poderosa biblioteca de computação distribuída de código aberto que permite tarefas de processamento e análise de dados em grande escala. O Apache Spark fornece uma plataforma versátil e de alto desempenho para experiências de engenharia de dados e ciência de dados.

  • Delta Lake é uma camada de armazenamento de código aberto que integra transações de atomicidade, consistência, isolamento e durabilidade (ACID) e outros recursos de confiabilidade de dados com o Apache Spark. Integrado ao Fabric Runtime, o Delta Lake aprimora os recursos de processamento de dados e ajuda a garantir a consistência dos dados em várias operações simultâneas.

  • Pacotes de nível padrão para Java, Scala, Python e R são pacotes que suportam diversas linguagens de programação e ambientes. Esses pacotes são instalados e configurados automaticamente, para que os desenvolvedores possam aplicar suas linguagens de programação preferidas para tarefas de processamento de dados.

O Fabric Runtime foi criado em um sistema operacional de código aberto robusto para ajudar a garantir a compatibilidade com várias configurações de hardware e requisitos do sistema.

Para obter mais informações, consulte ambientes de execução do Apache Spark no Fabric.

Azure Databricks Runtime para Aprendizado de Máquina

Azure Databricks é uma plataforma de análise baseada no Apache Spark que tem configuração com um clique, fluxos de trabalho simplificados e um espaço de trabalho interativo para colaboração entre cientistas de dados, engenheiros e analistas de negócios.

Você pode usar Databricks Runtime for Machine Learning para iniciar um cluster Databricks com todas as bibliotecas necessárias para treinamento distribuído. Esse recurso fornece um ambiente para aprendizado de máquina e ciência de dados. Ele contém várias bibliotecas populares, incluindo TensorFlow, PyTorch, Keras e XGBoost. Também apoia a formação distribuída através da Horovod.

Para obter mais informações, consulte os seguintes recursos:

Apache Spark no Azure HDInsight

O Apache Spark no Azure HDInsight é a implementação da Microsoft do Apache Spark na nuvem. Os clusters do Spark no HDInsight são compatíveis com o Armazenamento do Azure e o Armazenamento do Azure Data Lake, portanto, você pode usar clusters do HDInsight Spark para processar dados armazenados no Azure.

SynapseML, anteriormente conhecido como MMLSpark, é a biblioteca de aprendizado de máquina da Microsoft para o Apache Spark. Essa biblioteca de código aberto adiciona muitas ferramentas de aprendizado profundo e ciência de dados, recursos de rede e desempenho de nível de produção ao ecossistema do Spark.

Para obter mais informações, consulte os seguintes recursos:

Armazenamento de dados para IA

Você pode usar as seguintes plataformas para armazenar, acessar e analisar grandes volumes de dados de forma eficiente.

Tecido OneLake

O OneLake in Fabric é um data lake unificado e lógico que você pode adaptar a toda a sua organização. Serve como o hub central para todos os dados analíticos e está incluído em cada cliente do Fabric. O OneLake in Fabric foi construído com base no armazenamento Data Lake.

OneLake em Tecido:

  • Suporta tipos de arquivos estruturados e não estruturados.
  • Armazena todos os dados tabulares em formato Delta-Parquet.
  • Fornece um único data lake dentro dos limites do locatário que é governado por padrão.
  • Suporta a criação de espaços de trabalho dentro de um locatário para que sua organização possa distribuir políticas de propriedade e acesso.
  • Suporta a criação de vários itens de dados, como lakehouses e armazéns, a partir dos quais você pode acessar dados.

Para obter mais informações, consulte OneLake, o OneDrive para dados.

Data Lake Storage

O Data Lake Storage é um repositório único e centralizado onde você pode armazenar seus dados estruturados e não estruturados. Use um data lake para armazenar, acessar e analisar de forma rápida e fácil uma ampla variedade de dados em um único local. Você não precisa ajustar os seus dados para que se encaixem numa estrutura existente. Em vez disso, você pode armazenar seus dados em seu formato bruto ou nativo, geralmente como arquivos ou como objetos binários grandes ou blobs.

O Armazenamento Data Lake fornece semântica do sistema de arquivos, segurança em nível de arquivo e escala. Como esses recursos são criados no Armazenamento de Blobs do Azure, você também obtém armazenamento hierárquico de baixo custo com recursos de alta disponibilidade e recuperação de desastres.

O Armazenamento Data Lake usa a infraestrutura do Armazenamento do Azure para criar uma base para a criação de data lakes corporativos no Azure. O Armazenamento Data Lake pode atender a vários petabytes de informações enquanto sustenta centenas de gigabits de taxa de transferência para que você possa gerenciar grandes quantidades de dados.

Para obter mais informações, consulte os seguintes recursos:

Processamento de dados para IA

Você pode usar as seguintes ferramentas para preparar dados para aplicativos de aprendizado de máquina e IA. Certifique-se de que seus dados estejam limpos e estruturados para que você possa usá-los para análises avançadas.

Fábrica de Dados Fabric

Você pode usar o Fabric Data Factory para ingerir, preparar e transformar dados de várias fontes, como bases de dados, data warehouses, lakehouses e fluxos de dados em tempo real. Esse serviço pode ajudá-lo a atender aos requisitos de operações de dados ao projetar cargas de trabalho.

O Fabric Data Factory suporta soluções de código e soluções no-code ou low-code:

  • Use pipelines de dados para criar capacidades de fluxo de trabalho em escala de nuvem. Use a interface de arrastar e soltar para criar fluxos de trabalho que podem atualizar seu fluxo de dados, mover dados do tamanho de petabytes e definir pipelines de fluxo de controle.

  • Use fluxos de dados como uma interface de código-reduzido para ingerir dados de centenas de fontes e transformá-los utilizando mais de 300 transformações de dados.

Para obter mais informações, consulte cenário completo do Data Factory: introdução e arquitetura.

Azure Databricks

Você pode usar a Databricks Data Intelligence Platform para escrever código para criar um fluxo de trabalho de aprendizado de máquina usando engenharia de recursos. A engenharia de características é o processo de transformar dados brutos em características que se pode usar para treinar modelos de aprendizagem automática. A Databricks Data Intelligence Platform inclui os principais recursos que suportam a engenharia de recursos:

  • As pipelines de dados fazem a ingestão de dados brutos, criam tabelas de características, treinam modelos e executam inferência em lote. Quando você usa a engenharia de recursos no Unity Catalog para treinar e registrar um modelo, o modelo é empacotado com metadados de recurso. Quando você usa o modelo para pontuação em lote ou inferência online, ele recupera automaticamente os valores do recurso. O chamador não precisa saber sobre os valores ou incluir lógica para pesquisar ou unir recursos para pontuar novos dados.

  • Modelo e recurso servindo pontos de extremidade são instantaneamente acessíveis e fornecem milissegundos de latência.

  • A monitorização ajuda a assegurar o desempenho e a precisão dos dados e modelos.

Você também pode usar Mosaic AI Vetor Search para armazenar e recuperar incorporações. As incorporações são cruciais para aplicativos que exigem pesquisas de semelhança, como RAG, sistemas de recomendação e reconhecimento de imagem.

Para obter mais informações, consulte Azure Databricks: Servir dados para aprendizado de máquina e IA.

Conectores de dados para IA

Os pipelines do Azure Data Factory e do Azure Synapse Analytics dão suporte a muitos armazenamentos e formatos de dados por meio de cópia, fluxo de dados, pesquisa, obtenção de metadados e atividades de exclusão. Para ver os conectores de armazenamento de dados disponíveis, os recursos suportados, incluindo as configurações correspondentes, e as opções genéricas de Conectividade de Banco de Dados Aberto, consulte Visão geral do conector do Azure Data Factory e do Azure Synapse Analytics.

IA personalizada

As soluções de IA personalizadas ajudam-no a abordar necessidades e desafios empresariais específicos. As seções a seguir fornecem uma visão geral de várias ferramentas e serviços que você pode usar para criar e gerenciar modelos de IA personalizados.

Azure Machine Learning

O Azure Machine Learning é um serviço de nuvem para acelerar e gerenciar o ciclo de vida do projeto de aprendizado de máquina. Profissionais de aprendizado de máquina, cientistas de dados e engenheiros podem usar esse serviço em seus fluxos de trabalho diários para treinar e implantar modelos e gerenciar operações de aprendizado de máquina.

O Machine Learning oferece os seguintes recursos:

  • Seleção de algoritmos: Alguns algoritmos fazem suposições específicas sobre a estrutura de dados ou resultados desejados. Escolha um algoritmo que atenda às suas necessidades para que você possa obter resultados mais úteis, previsões mais precisas e tempos de treinamento mais rápidos. Para obter mais informações, consulte Como selecionar algoritmos para o Machine Learning.

  • Ajuste ou otimização de hiperparâmetros: Você pode usar esse processo manual para encontrar configurações de hiperparâmetros que resultem no melhor desempenho. Esta otimização incorre em custos computacionais significativos. Hiperparâmetros são parâmetros ajustáveis que fornecem controle no processo de treinamento do modelo. Por exemplo, você pode escolher o número de camadas ocultas e o número de nós em cada camada de redes neurais. O desempenho do modelo depende fortemente dos hiperparâmetros.

    Você pode usar o Machine Learning para automatizar o ajuste de hiperparâmetros e executar experimentos em paralelo para otimizar os hiperparâmetros de forma eficiente.

    Para obter mais informações, consulte os seguintes recursos:

  • Treinamento de modelo: Você pode usar iterativamente um algoritmo para criar ou ensinar modelos. Depois que os modelos são treinados, você pode usá-los para analisar dados e fazer previsões.

    Durante a fase de formação:

    1. Um conjunto de qualidade de dados conhecidos é marcado para que os campos individuais sejam identificáveis.

    2. Um algoritmo configurado para fazer uma previsão específica recebe os dados marcados.

    3. O algoritmo produz um modelo que captura os padrões que identificou nos dados. O modelo usa um conjunto de parâmetros para representar esses padrões.

    Durante a validação:

    1. Dados novos são marcados e usados para testar o modelo.

    2. O algoritmo é ajustado conforme necessário e, possivelmente, faz mais treinamento.

    3. A fase de teste usa dados do mundo real sem tags ou alvos pré-selecionados. Se os resultados do modelo forem precisos, ele estará pronto para uso e poderá ser implantado.

    Para obter mais informações, consulte os seguintes recursos:

  • AutoML: Este processo automatiza as tarefas iterativas e demoradas do desenvolvimento de modelos de aprendizagem automática. Ele pode reduzir significativamente o tempo necessário para produzir modelos de aprendizado de máquina prontos para produção. O AutoML pode ajudar na seleção de modelos, ajuste de hiperparâmetros, treinamento de modelos e outras tarefas, sem exigir extenso conhecimento de programação ou domínio.

    Você pode usar o AutoML quando quiser que o Machine Learning use uma métrica de destino especificada para treinar e ajustar um modelo. Você não precisa de experiência em ciência de dados para identificar um pipeline de aprendizado de máquina de ponta a ponta para problemas.

    Profissionais de aprendizado de máquina e desenvolvedores de todos os setores podem usar o AutoML para:

    • Implemente soluções de aprendizado de máquina sem conhecimento extensivo de programação ou aprendizado de máquina.
    • Poupe tempo e recursos.
    • Aplique as melhores práticas de ciência de dados.
    • Proporcionar uma resolução ágil de problemas.

    Para obter mais informações, consulte O que é AutoML?.

  • Pontuação: Este processo, também chamado previsão, usa um modelo de aprendizado de máquina treinado para gerar valores com base em novos dados de entrada. Os valores, ou pontuações, podem representar previsões de valores futuros, mas também podem representar uma categoria ou resultado provável.

    Para obter mais informações, consulte os seguintes recursos:

  • Engenharia de características e featurização: Os dados de treino consistem em linhas e colunas. Cada linha é uma observação ou registro, e as colunas de cada linha são os recursos que descrevem cada registro. Normalmente, os recursos que melhor caracterizam os padrões nos dados são selecionados para criar modelos preditivos.

Embora você possa usar muitos dos campos de dados brutos para treinar um modelo, talvez seja necessário criar outros recursos de engenharia que forneçam informações para diferenciar melhor os padrões nos dados. Esse processo é chamado de engenharia de recursos, onde você usa o conhecimento de domínio dos dados para criar recursos que ajudam os algoritmos de aprendizado de máquina a aprender melhor.

No Machine Learning, técnicas de dimensionamento e normalização de dados são aplicadas para facilitar a engenharia de recursos. Coletivamente, essas técnicas e engenharia de recursos são chamadas de de featurização em experimentos AutoML. Para obter mais informações, consulte Featurização de dados em machine learning automatizado.

Azure OpenAI

No Azure OpenAI, você pode usar um processo conhecido como de ajuste fino para personalizar modelos OpenAI para seus conjuntos de dados pessoais. Esta etapa de personalização otimiza o serviço, fornecendo:

  • Resultados de maior qualidade em comparação apenas com a engenharia de prompts .
  • A capacidade de treinar em mais exemplos do que o limite máximo de contexto de solicitação de um modelo normalmente permite.
  • Poupança de tokens devido a prompts mais curtos.
  • Solicitações de menor latência, especialmente ao utilizar modelos menores.

Para obter mais informações, consulte os seguintes recursos:

Serviços de IA do Azure para IA personalizada

de serviços de IA do Azure fornece recursos para criar modelos e aplicativos de IA personalizados. As seções a seguir fornecem uma visão geral desses principais recursos.

Fala personalizada

A fala personalizada é um recurso do serviço Azure AI Speech. Você pode usar a fala personalizada para avaliar e melhorar a precisão do reconhecimento de fala para seus aplicativos e produtos. Use um modelo de fala personalizado para conversão de fala em texto em tempo real, tradução de fala e transcrição em lote.

Por padrão, o reconhecimento de fala usa um modelo de linguagem universal como modelo base. Este modelo é treinado com dados de propriedade da Microsoft e reflete a linguagem falada comumente usada. O modelo base é pré-treinado com dialetos e fonética que representam vários domínios comuns. Quando você faz uma solicitação de reconhecimento de fala, o modelo base mais recente para o idioma suportado é usado por padrão. O modelo base funciona bem na maioria dos cenários de reconhecimento de fala.

Você pode usar um modelo personalizado para aumentar o modelo base. Por exemplo, você pode melhorar o reconhecimento de vocabulário específico de domínio específico para um aplicativo fornecendo dados de texto para treinar o modelo. Você também pode melhorar o reconhecimento de condições de áudio específicas de um aplicativo fornecendo dados de áudio, incluindo transcrições de referência.

Se os dados seguirem um padrão, você poderá usar texto estruturado para treinar um modelo. Você pode especificar pronúncias personalizadas e personalizar a formatação de texto de exibição com normalização de texto inverso personalizada, reescrita personalizada e filtragem de palavrões personalizada.

Tradutor personalizado

Tradutor personalizado é uma funcionalidade do serviço Azure AI Translator. Empresas, desenvolvedores de aplicativos e provedores de serviços linguísticos podem usar o tradutor personalizado para criar sistemas personalizados de tradução automática neural (NMT). Os sistemas de tradução personalizados integram-se perfeitamente em aplicações, fluxos de trabalho e websites existentes.

Você pode usar esse recurso para criar e publicar sistemas de tradução personalizados de e para o inglês. O tradutor personalizado suporta mais de três dúzias de idiomas que se alinham diretamente com os idiomas das redes neuronais de tradução. Para obter uma lista completa de idiomas, consulte suporte de idioma do Tradutor.

O tradutor personalizado oferece os seguintes recursos.

Funcionalidade Description
Aplicar a tecnologia NMT Aplique o NMT do tradutor personalizado para melhorar a sua tradução.
Crie sistemas que conheçam a terminologia do seu negócio Personalize e construa sistemas de tradução usando documentos paralelos que compreendem a terminologia do seu negócio e indústria.
Use um dicionário para criar seus modelos Treine um modelo apenas com dados de dicionário se você não tiver um conjunto de dados de treinamento.
Colabore com outras pessoas Colabore com a sua equipa partilhando o seu trabalho com várias pessoas.
Aceda ao seu modelo de tradução personalizado Aceda ao seu modelo de tradução personalizado a qualquer momento utilizando as suas aplicações ou programas existentes através da Microsoft Translator Text API V3.

Modelos personalizados do Azure AI Document Intelligence

O Azure AI Document Intelligence usa tecnologia avançada de aprendizado de máquina para identificar documentos, detetar e extrair informações de formulários e documentos e retornar os dados extraídos em uma saída JSON estruturada. Use o Document Intelligence para tirar proveito de modelos de análise de documentos pré-criados ou pré-treinados ou modelos personalizados autônomos treinados.

modelos personalizados do Document Intelligence incluem modelos de classificação personalizados para cenários nos quais é necessário identificar o tipo de documento antes de invocar o modelo de extração. Você pode emparelhar um modelo de classificação com um modelo de extração personalizado para analisar e extrair campos de formulários e documentos específicos para sua empresa. Combine modelos de extração personalizados independentes para criar modelos compostos .

Ferramentas de IA personalizadas

Os modelos de IA pré-construídos são úteis e cada vez mais flexíveis, mas a melhor maneira de otimizar a IA é adaptar um modelo às suas necessidades específicas. Duas ferramentas principais para criar modelos de IA personalizados são a IA generativa e o aprendizado de máquina tradicional.

Azure Machine Learning Studio

estúdio de Aprendizado de Máquina do Azure é um serviço de nuvem para acelerar e gerenciar o ciclo de vida do projeto de aprendizado de máquina. Profissionais de aprendizado de máquina, cientistas de dados e engenheiros podem usá-lo em seus fluxos de trabalho diários para treinar e implantar modelos e gerenciar operações de aprendizado de máquina.

  • Crie e treine modelos de Machine Learning usando qualquer tipo de computação, incluindo Spark e GPUs para grandes cargas de trabalho de IA em escala de nuvem.

  • Execute o AutoML e utilize a interface de utilizador de arrastar e soltar para aprendizagem automática low-code.

  • Implemente operações de Machine Learning de ponta a ponta e pipelines repetíveis.

  • Utilize o painel de IA responsável para deteção de viés e análise de erros.

  • Orquestre e gerencie fluxos rápidos de engenharia e LLM.

  • Implemente modelos através de endpoints de API REST, com inferência em tempo real e inferência por lotes.

  • Use espaços de trabalho de hub para compartilhar computação, cota, segurança e conectividade com os recursos da empresa, enquanto centraliza a governança para TI. Configure um hub uma vez e, em seguida, crie espaços de trabalho seguros diretamente do estúdio para cada projeto. Use hubs para gerenciar o trabalho da sua equipe no estúdio e no portal AI Foundry.

Fundição AI

AI Foundry ajuda você a criar e implantar com eficiência aplicativos de IA generativa personalizados com o poder de amplas ofertas de IA do Azure.

  • Construa em conjunto como uma equipa. Seu hub AI Foundry fornece segurança de nível empresarial e um ambiente colaborativo que inclui recursos compartilhados e conexões com modelos, dados e computação pré-treinados.

  • Organize o seu trabalho. O seu projeto AI Foundry ajuda-o a guardar o estado para que possa iterar desde a primeira ideia até o primeiro protótipo e a primeira produção. Convide facilmente outras pessoas para colaborar consigo.

  • Use sua plataforma de desenvolvimento e estruturas preferidas, incluindo GitHub, Visual Studio Code, LangChain, Semantic Kernel e AutoGen.

  • Descubra e avalie comparativamente mais de 1.600 modelos.

  • Forneça modelos como serviço (MaaS) por meio de APIs sem servidor e afinação alojada.

  • Incorpore vários modelos, fontes de dados e modalidades.

  • Crie RAG usando seus dados corporativos protegidos, sem a necessidade de ajuste fino.

  • Orquestre e gerencie fluxos rápidos de engenharia e LLM.

  • Projete e proteja aplicativos e APIs por meio de filtros e controles configuráveis.

  • Avalie as respostas do modelo usando fluxos de avaliação internos e personalizados.

  • Implante inovações de IA na infraestrutura gerenciada pelo Azure para fornecer monitoramento e governança contínuos em todos os ambientes.

  • Monitore continuamente os aplicativos implantados quanto à segurança, qualidade e consumo de tokens na produção.

Para obter mais informações, consulte o portal AI Foundry em comparação com o estúdio de aprendizagem automática.

Fluxo de comandos no portal AI Foundry

Prompt Flow no portal AI Foundry é uma ferramenta de desenvolvimento que pode usar para simplificar todo o ciclo de desenvolvimento de aplicações de IA alimentadas por Modelos de Linguagem de Grande Escala. O fluxo imediato fornece uma solução abrangente que simplifica o processo de prototipagem, experimentação, iteração e instalação das suas aplicações de IA.

  • "Prompt flow" é uma funcionalidade que pode usar para gerar, personalizar ou executar um fluxo.

  • Um fluxo é um conjunto de instruções que pode implementar a lógica da IA. Crie ou execute fluxos por meio de ferramentas, como uma tela pré-construída ou LangChain. Você pode salvar iterações de um fluxo como ativos. Depois de implantar um fluxo, ele se torna uma API. Nem todos os fluxos são fluxos imediatos. O fluxo de prompt é uma maneira de criar um fluxo.

  • Um prompt é um pacote de entrada que é enviado para um modelo. Ele consiste na entrada do usuário, mensagem do sistema e quaisquer exemplos. A entrada do usuário é o texto enviado na janela de chat. A mensagem do sistema é um conjunto de instruções para o modelo que define o escopo de seus comportamentos e funcionalidades.

  • Um fluxo de amostra é um fluxo de orquestração simples e pré-construído que mostra como os fluxos funcionam. Você pode personalizar um fluxo de amostra.

  • Um prompt de exemplo é um prompt definido para um cenário específico que você pode copiar de uma biblioteca e usá-as-is ou modificá-lo no design do prompt.

Linguagens de código de IA personalizadas

O conceito central da IA é o uso de algoritmos para analisar dados e gerar modelos para descrevê-los ou pontuá-los de maneiras úteis. Desenvolvedores e cientistas de dados, e às vezes outros algoritmos, usam código de programação para escrever algoritmos. Duas das linguagens de programação mais populares para desenvolvimento de IA são Python e R.

Python é uma linguagem de programação de alto nível de uso geral. Tem uma sintaxe simples e fácil de aprender que enfatiza a legibilidade. Não há nenhuma etapa de compilação. Python tem uma grande biblioteca padrão, e suporta a capacidade de adicionar módulos e pacotes. Esse recurso incentiva a modularidade e permite expandir os recursos quando necessário. Há um ecossistema grande e crescente de bibliotecas de IA e aprendizado de máquina para Python, incluindo muitas no Azure.

Para obter mais informações, consulte os seguintes recursos:

R é uma linguagem e ambiente para computação estatística e gráfica. Você pode usá-lo para tudo, desde o mapeamento de grandes tendências sociais e de marketing on-line até o desenvolvimento de modelos financeiros e climáticos.

A Microsoft adota totalmente a linguagem de programação R e fornece muitas opções para os desenvolvedores de R executarem seu código no Azure.

Para obter mais informações, consulte Usar R interativamente no Machine Learning.

Para obter informações gerais sobre IA personalizada no Azure, consulte os seguintes recursos:

Histórias de clientes

Muitas indústrias aplicam a IA de formas inovadoras e inspiradoras. Considere os seguintes estudos de caso de clientes e histórias de sucesso:

Navegue por mais histórias de clientes de IA

Informações gerais sobre o Microsoft AI

Saiba mais sobre a Microsoft AI e mantenha-se atualizado com as notícias relacionadas:

Próximo passo