Partilhar via

Design de arquitetura de inteligência artificial (IA)

  • Artigo

A inteligência artificial (IA) é uma tecnologia que permite que as máquinas imitem o comportamento humano inteligente. Com a IA, as máquinas podem:

  • Analise dados para criar imagens e vídeos.
  • Analisar e sintetizar a fala.
  • Interaja verbalmente de forma natural.
  • Faça previsões e gere novos dados.

Os arquitetos projetam cargas de trabalho que usam inteligência artificial para executar funções ou tomar decisões onde a lógica tradicional ou o processamento seriam proibitivos, ou mesmo quase impossíveis, de implementar. Como arquiteto projetando uma solução, é importante entender o cenário de IA e aprendizado de máquina e como o Azure oferece soluções para integração em seu design de carga de trabalho.

Conceitos de IA

Algoritmos

Algoritmos ou algoritmos de aprendizado de máquina são pedaços de código que ajudam os humanos a explorar, analisar e encontrar significado em conjuntos de dados complexos. Cada algoritmo é um conjunto finito de instruções passo a passo inequívocas que um computador pode seguir para atingir um determinado objetivo. Em um modelo de aprendizado de máquina, o objetivo é estabelecer ou descobrir padrões que os humanos podem usar para fazer previsões ou categorizar informações. Um algoritmo pode descrever como determinar se um animal de estimação é um gato, cão, peixe, pássaro ou lagarto. Outro algoritmo muito mais complicado pode descrever como identificar uma língua escrita ou falada, analisar suas palavras, traduzi-las para um idioma diferente e, em seguida, verificar a precisão da tradução.

Ao projetar uma carga de trabalho, você precisará selecionar uma família de algoritmos adequada para sua tarefa e avaliar os vários algoritmos disponíveis para encontrar o ajuste apropriado.

Aprendizagem automática

O aprendizado de máquina é uma técnica de IA que usa algoritmos para criar modelos preditivos. O algoritmo é usado para analisar campos de dados e "aprender" com esses dados usando padrões encontrados dentro dele para gerar modelos. Esses modelos são então usados para fazer previsões informadas ou tomar decisões sobre novos dados.

Os modelos preditivos são validados em relação a dados conhecidos, medidos por métricas de desempenho selecionadas para cenários de negócios específicos e, em seguida, ajustados conforme necessário. A este processo de aprendizagem e validação dá-se o nome de formação. Através da reciclagem periódica, os modelos de ML são melhorados ao longo do tempo.

Quando se trata de design de carga de trabalho, você considera usar o aprendizado de máquina quando tiver uma situação em que observações passadas possam ser usadas de forma confiável para prever situações futuras. Essas observações podem ser verdades universais, como visão computacional que deteta uma forma de animal de outra, ou essas observações podem ser específicas para sua situação, como visão computacional que deteta um possível erro de montagem em suas linhas de montagem com base em dados de reclamação de garantia anteriores.

Aprendizagem profunda

A aprendizagem profunda é um tipo de ML que pode aprender através do seu próprio processamento de dados. Como o aprendizado de máquina, ele também usa algoritmos para analisar dados, mas usa redes neurais artificiais que contêm muitas entradas, saídas e camadas de processamento. Cada camada pode processar os dados de uma maneira diferente, e a saída de uma camada torna-se a entrada para a próxima. Isso permite que o deep learning crie modelos mais complexos do que o aprendizado de máquina tradicional.

Como um designer de carga de trabalho, esta opção requer um grande investimento na geração de modelos altamente personalizados ou exploratórios. De um modo geral, você considerará outras soluções apresentadas neste artigo antes de adicionar o aprendizado profundo à sua carga de trabalho.

IA generativa

A IA generativa é uma forma de inteligência artificial na qual os modelos são treinados para gerar novos conteúdos originais com base em muitas formas de conteúdo, como linguagem natural, visão computacional, áudio ou entrada de imagem. Com a IA generativa, você pode descrever uma saída desejada em linguagem normal do dia a dia, e o modelo pode responder criando texto, imagem, código e muito mais apropriados. Alguns exemplos de aplicações generativas de IA são:

  • O Microsoft Copilot é principalmente uma interface de usuário que pode ajudar os usuários a escrever código, documentos e outros conteúdos baseados em texto. Baseia-se em modelos OpenAI populares e está integrado numa vasta gama de aplicações e experiências de utilizador da Microsoft.

  • O Azure OpenAI é uma plataforma de desenvolvimento como um serviço que fornece acesso aos poderosos modelos de linguagem da OpenAI, como o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo with Vision, GPT-4, GPT-3.5-Turbo e Embeddings model series. Estes modelos podem ser adaptados à sua tarefa específica, tais como:

    • Geração de conteúdo
    • Sumarização de conteúdo
    • Compreensão de Idiomas
    • Pesquisa semântica
    • Tradução de linguagem natural para código.

Modelos linguísticos

Os modelos de linguagem são um subconjunto da IA generativa que se concentra em tarefas de processamento de linguagem natural (PNL), como geração de texto e análise de sentimento. Estes modelos representam a linguagem natural com base na probabilidade de palavras ou sequências de palavras ocorrerem num determinado contexto.

Os modelos de linguagem convencionais têm sido usados em ambientes supervisionados para fins de pesquisa, onde os modelos são treinados em conjuntos de dados de texto bem rotulados para tarefas específicas. Os modelos de linguagem pré-treinados oferecem uma maneira acessível de começar a usar a IA e se tornaram mais amplamente usados nos últimos anos. Esses modelos são treinados em corpora de texto em grande escala da internet usando redes neurais de aprendizagem profunda e podem ser ajustados em conjuntos de dados menores para tarefas específicas.

O tamanho de um modelo de linguagem é determinado pelo seu número de parâmetros, ou pesos, que determinam como o modelo processa dados de entrada e gera saída. Os parâmetros são aprendidos durante o processo de treinamento, ajustando os pesos dentro das camadas do modelo para minimizar a diferença entre as previsões do modelo e os dados reais. Quanto mais parâmetros um modelo tem, mais complexo e expressivo ele é, mas também mais caro computacionalmente é treinar e usar.

Em geral, os modelos de linguagem pequena têm menos de 10 bilhões de parâmetros, e os modelos de linguagem grande têm mais de 10 bilhões de parâmetros. Por exemplo, a família de modelos Microsoft Phi-3 tem três versões com tamanhos diferentes: mini (3,8 bilhões de parâmetros), pequena (7 bilhões de parâmetros) e média (14 bilhões de parâmetros).

Copilots

A disponibilidade de modelos linguísticos levou ao surgimento de novas formas de interagir com aplicações e sistemas através de copilots digitais e agentes conectados, específicos do domínio. Copilots são assistentes de IA generativa que são integrados em aplicativos muitas vezes como interfaces de bate-papo. Eles fornecem suporte contextualizado para tarefas comuns nesses aplicativos.

O Microsoft Copilot está integrado em uma ampla gama de aplicativos e experiências de usuário da Microsoft. Ele é baseado em uma arquitetura aberta que permite que desenvolvedores terceirizados criem seus próprios plug-ins para estender ou personalizar a experiência do usuário com o Microsoft Copilot. Além disso, desenvolvedores de terceiros podem criar seus próprios copilots usando a mesma arquitetura aberta.

Geração aumentada de recuperação (RAG)

Retrieval Augmented Generation (RAG) é um padrão de arquitetura que aumenta os recursos de um modelo de linguagem grande (LLM) como o ChatGPT, que foi treinado apenas em dados públicos. Esse padrão permite que você adicione um sistema de recuperação que fornece dados de aterramento relevantes no contexto com a solicitação do usuário. Adicionar um sistema de recuperação de informações oferece controle sobre os dados de aterramento usados por um modelo de linguagem quando ele formula uma resposta. A arquitetura RAG ajuda a definir o escopo da IA generativa para conteúdo proveniente de documentos vetorizados, imagens e outros formatos de dados. O RAG não se limita ao armazenamento de pesquisa vetorial, no entanto, o padrão é aplicável em conjunto com qualquer tecnologia de armazenamento de dados.

Aprendizado de máquina automatizado (AutoML)

O aprendizado de máquina automatizado, também conhecido como ML automatizado ou AutoML, é o processo de automatizar as tarefas iterativas e demoradas do desenvolvimento de modelos de aprendizado de máquina. Ele permite que cientistas de dados, analistas e desenvolvedores criem modelos de ML com alta escala, eficiência e produtividade, ao mesmo tempo em que sustentam a qualidade do modelo.

Serviços de IA

Com os serviços de IA do Azure, os desenvolvedores e as organizações podem criar aplicativos inteligentes, prontos para o mercado e responsáveis com APIs e modelos prontos para uso, pré-criados e personalizáveis. Os usos incluem processamento de linguagem natural para conversas, pesquisa, monitoramento, tradução, fala, visão e tomada de decisão.

Modelos de linguagem AI

  • Os Large Language Models (LLMs), como os modelos GPT da OpenAI, são ferramentas poderosas que podem gerar linguagem natural em vários domínios e tarefas. Ao considerar o uso desses modelos, considere fatores como privacidade de dados, uso ético, precisão e viés.

  • Os modelos abertos Phi são modelos pequenos e menos intensivos em computação para soluções generativas de IA. Um modelo de linguagem pequena (SLM) pode ser mais eficiente, interpretável e explicável do que um modelo de linguagem grande.

Ao projetar uma carga de trabalho, você pode usar modelos de linguagem como uma solução hospedada, por trás de uma API limitada ou, para muitos modelos de linguagem pequenos, você pode hospedar aqueles em processo ou, pelo menos, na mesma computação que o consumidor. Ao usar modelos de idioma em sua solução, considere sua escolha de modelo de idioma e suas opções de hospedagem disponíveis para garantir o uso de uma solução otimizada para seu caso de uso.

Plataformas e ferramentas de desenvolvimento de IA

Serviço Azure Machine Learning

O Azure Machine Learning é um serviço de aprendizado de máquina para criar e implantar modelos. O Azure Machine Learning oferece interfaces Web e SDKs para que possa treinar e implementar os seus modelos e pipelines de aprendizagem automática em escala. Utilize estas capacidades com arquiteturas Python de código aberto como o PyTorch, TensorFlow e Scikit-learn.

Arquiteturas de referência de aprendizado de máquina para o Azure

Aprendizado de máquina automatizado (AutoML)

Crie modelos de ML em escala usando o recurso AutoML no Azure Machine Learning para automatizar tarefas.

MLflow

Os espaços de trabalho do Azure Machine Learning são compatíveis com MLflow, o que significa que você pode usar um espaço de trabalho do Azure Machine Learning da mesma forma que usa um servidor MLflow. Esta compatibilidade tem as seguintes vantagens:

  • O Azure Machine Learning não hospeda instâncias de servidor MLflow, mas pode usar as APIs MLflow diretamente.
  • Você pode usar um espaço de trabalho do Azure Machine Learning como seu servidor de rastreamento para qualquer código MLflow, seja ele executado ou não no Azure Machine Learning. Você só precisa configurar o MLflow para apontar para o espaço de trabalho onde o rastreamento deve ocorrer.
  • Você pode executar qualquer rotina de treinamento que use MLflow no Aprendizado de Máquina do Azure sem fazer alterações.

Para obter mais informações, consulte MLflow e Azure Machine Learning

Ferramentas de IA generativa

  • O Prompt flow é um conjunto de ferramentas de desenvolvimento projetado para simplificar o ciclo de desenvolvimento de ponta a ponta de aplicativos generativos de IA, desde a ideação, prototipagem, testes, avaliação até a implantação e monitoramento da produção. Ele suporta engenharia imediata através da expressão de ações em um motor modular de orquestração e fluxo.

  • O Azure AI Studio ajuda-o a experimentar, desenvolver e implementar aplicações e APIs de IA generativas de forma responsável com uma plataforma abrangente. Com o Azure AI Studio, você tem acesso aos serviços de IA do Azure, modelos básicos, playground e recursos para ajudá-lo a criar, treinar, ajustar e implantar modelos de IA. Além disso, você pode avaliar as respostas do modelo e orquestrar os componentes do aplicativo de prompt com fluxo de prompt para um melhor desempenho.

  • O Azure Copilot Studio é usado para estender o Microsoft Copilot no Microsoft 365 e criar copilots personalizados para cenários internos e externos. Com o Copilot Studio, os usuários podem projetar, testar e publicar copilots usando a tela de criação abrangente. Os usuários podem facilmente criar conversas generativas habilitadas para IA, fornecer maior controle às respostas para copilotos existentes e acelerar a produtividade com fluxos de trabalho automatizados específicos.

Plataformas de dados para IA

Microsoft Fabric

O Microsoft Fabric é uma plataforma de dados e análise de ponta a ponta projetada para empresas que precisam de uma solução unificada. As equipes de carga de trabalho podem ter acesso aos dados nesses sistemas. Ele engloba movimentação de dados, processamento, ingestão, transformação, roteamento de eventos em tempo real e criação de relatórios. Ele oferece um conjunto abrangente de serviços, incluindo Engenharia de Dados, Data Factory, Ciência de Dados, Análise em Tempo Real, Data Warehouse e Bancos de Dados.

O Microsoft Fabric integra componentes separados em uma pilha coesa. Em vez de depender de diferentes bancos de dados ou data warehouses, você pode centralizar o armazenamento de dados com o OneLake. Os recursos de IA são incorporados ao Fabric, eliminando a necessidade de integração manual.

Copilots em tecido

O copiloto e outros recursos de IA generativa permitem transformar e analisar dados, gerar insights e criar visualizações e relatórios no Microsoft Fabric e no Power BI. Você pode construir seu próprio copiloto ou escolher um dos seguintes copilotos pré-construídos:

Habilidades de IA no Tecido

Com uma habilidade de IA do Microsoft Fabric, você pode configurar um sistema de IA generativa para gerar consultas que respondam a perguntas sobre seus dados. Depois de configurar a habilidade de IA, você pode compartilhá-la com seus colegas, que podem fazer suas perguntas em inglês simples. Com base em suas perguntas, a IA gera consultas sobre seus dados que respondem a essas perguntas.

Plataformas de dados baseadas no Apache Spark para IA

O Apache Spark é um framework de processamento paralelo que suporta o processamento dentro da memória para melhorar o desempenho de aplicações de análise de macrodados. O Spark fornece primitivos para a computação de cluster na memória. Um trabalho do Spark pode carregar e armazenar dados em cache na memória e consultá-los repetidamente, o que é mais rápido do que aplicativos baseados em disco, como o Hadoop.

Apache Spark no Azure Fabric

O Microsoft Fabric Runtime é uma plataforma integrada ao Azure baseada no Apache Spark que permite a execução e o gerenciamento de experiências de engenharia de dados e ciência de dados. Ele combina componentes-chave de fontes internas e de código aberto, fornecendo aos clientes uma solução abrangente.

Principais componentes do Fabric Runtime:

  • Apache Spark - uma poderosa biblioteca de computação distribuída de código aberto que permite processamento de dados em grande escala e tarefas de análise. O Apache Spark fornece uma plataforma versátil e de alto desempenho para experiências de engenharia de dados e ciência de dados.

  • Delta Lake - uma camada de armazenamento de código aberto que traz transações ACID e outros recursos de confiabilidade de dados para o Apache Spark. Integrado ao Fabric Runtime, o Delta Lake aprimora os recursos de processamento de dados e garante a consistência dos dados em várias operações simultâneas.

  • Pacotes de nível padrão para Java/Scala, Python e R - pacotes que suportam diversas linguagens de programação e ambientes. Esses pacotes são instalados e configurados automaticamente, permitindo que os desenvolvedores apliquem suas linguagens de programação preferidas para tarefas de processamento de dados.

O Microsoft Fabric Runtime é construído sobre um sistema operacional de código aberto robusto, garantindo compatibilidade com várias configurações de hardware e requisitos do sistema.

Azure Databricks Runtime para Aprendizado de Máquina

O Azure Databricks é uma plataforma de análise baseada no Apache Spark com configuração com um clique, fluxos de trabalho simplificados e um espaço de trabalho interativo para colaboração entre cientistas de dados, engenheiros e analistas de negócios.

O Databricks Runtime for Machine Learning (Databricks Runtime ML) permite iniciar um cluster Databricks com todas as bibliotecas necessárias para treinamento distribuído. Ele fornece um ambiente para aprendizado de máquina e ciência de dados. Além disso, ele contém várias bibliotecas populares, incluindo TensorFlow, PyTorch, Keras e XGBoost. Também suporta a preparação distribuída com o Horovod.

Apache Spark no Azure HDInsight

O Apache Spark no Azure HDInsight é a implementação da Microsoft do Apache Spark na nuvem. Os clusters do Spark no HDInsight são compatíveis com o Armazenamento do Azure e o Armazenamento do Azure Data Lake, portanto, você pode usar os clusters do HDInsight Spark para processar seus dados armazenados no Azure.

A biblioteca de aprendizado de máquina da Microsoft para Apache Spark é SynapseML (anteriormente conhecida como MMLSpark). Essa biblioteca de código aberto adiciona muitas ferramentas de aprendizado profundo e ciência de dados, recursos de rede e desempenho de nível de produção ao ecossistema do Spark. Saiba mais sobre os recursos e capacidades do SynapseML.

Armazenamento de dados para IA

Microsoft Fabric OneLake

O OneLake in Fabric é um data lake unificado e lógico adaptado para toda a organização. Ele serve como o hub central para todos os dados de análise e está incluído em todos os locatários do Microsoft Fabric. O OneLake in Fabric foi construído com base no Data Lake Storage Gen2.

OneLake em Tecido:

  • Suporta tipos de arquivos estruturados e não estruturados.
  • Armazena todos os dados tabulares no formato Delta Parquet.
  • Fornece um único data lake dentro dos limites do locatário que é governado por padrão.
  • Suporta a criação de espaços de trabalho dentro de um locatário para que uma organização possa distribuir políticas de propriedade e acesso.
  • Suporta a criação de vários itens de dados, como lakehouses e armazéns, a partir dos quais você pode acessar dados.

Para obter mais informações, consulte OneLake, o OneDrive para dados.

Azure Data Lake Storage Gen2

O Armazenamento Azure Data Lake é um repositório único e centralizado onde você pode armazenar todos os seus dados, estruturados e não estruturados. Um data lake permite que sua organização armazene, acesse e analise de forma rápida e mais fácil uma ampla variedade de dados em um único local. Com um data lake, você não precisa estar em conformidade com seus dados para se adequar a uma estrutura existente. Em vez disso, você pode armazenar seus dados em seu formato bruto ou nativo, geralmente como arquivos ou como objetos binários grandes (blobs).

O Data Lake Storage Gen2 fornece semântica do sistema de arquivos, segurança no nível de arquivo e escala. Como esses recursos são criados no armazenamento de Blob, você também obtém armazenamento hierárquico de baixo custo, com recursos de alta disponibilidade/recuperação de desastres.

O Data Lake Storage Gen2 torna o Armazenamento do Azure a base para a criação de data lakes corporativos no Azure. Projetado desde o início para atender a vários petabytes de informações enquanto sustenta centenas de gigabits de taxa de transferência, o Data Lake Storage Gen2 permite que você gerencie facilmente grandes quantidades de dados.

Processamento de dados para IA

Microsoft Fabric Data Factory

Com o Data Factory, você pode ingerir, preparar e transformar dados de várias fontes de dados (por exemplo, bancos de dados, data warehouse, Lakehouse, dados em tempo real e muito mais). Quando você projeta cargas de trabalho, essa é uma ferramenta que pode ser fundamental para atender aos seus requisitos de DataOps.

O Data Factory suporta soluções de código e no/low code:

  • Os pipelines de dados permitem criar recursos de fluxo de trabalho em escala de nuvem. Com pipelines de dados, você pode usar a interface de arrastar e soltar para criar fluxos de trabalho que podem atualizar seu fluxo de dados, mover dados de tamanho de petabytes e definir pipelines de fluxo de controle.

  • Os fluxos de dados fornecem uma interface low-code para a ingestão de dados de centenas de fontes de dados, transformando seus dados usando transformações de dados 300+.

Veja também:

Azure Databricks

Com a Databricks Data Intelligence Platform, você pode escrever código para criar um fluxo de trabalho de aprendizado de máquina usando engenharia de recursos:

  • Os pipelines de dados ingerem dados brutos, criam tabelas de recursos, treinam modelos e executam inferência em lote. Quando você treina e registra um modelo usando engenharia de recursos no Unity Catalog, o modelo é empacotado com metadados de recurso. Quando você usa o modelo para pontuação em lote ou inferência online, ele recupera automaticamente os valores do recurso. O chamador não precisa saber sobre eles ou incluir lógica para procurar ou unir recursos para pontuar novos dados.
  • Os pontos de extremidade de serviço de modelo e recurso estão disponíveis com um único clique e fornecem milissegundos de latência.
  • Monitorização de dados e modelos.

Você também pode usar o Mosaic AI Vetor Search, que é otimizado para armazenar e recuperar incorporações. As incorporações são cruciais para aplicações que exigem pesquisas de semelhança, como RAG (Retrieval Augmented Generation), sistemas de recomendação e reconhecimento de imagem.

Conectores de dados para IA

Os pipelines do Azure Data Factory e do Azure Synapse Analytics dão suporte a muitos armazenamentos e formatos de dados por meio das atividades Copiar, Fluxo de Dados, Pesquisar, Obter Metadados e Excluir. Para ver os conectores de armazenamento de dados disponíveis, os recursos suportados e as configurações correspondentes e as opções genéricas de conexão ODBC, consulte Visão geral do conector do Azure Data Factory e do Azure Synapse Analytics.

IA personalizada

Azure Machine Learning

O Azure Machine Learning é um serviço de nuvem para acelerar e gerenciar o ciclo de vida do projeto de aprendizado de máquina (ML). Profissionais de ML, cientistas de dados e engenheiros podem usá-lo em seus fluxos de trabalho diários para treinar e implantar modelos e gerenciar operações de aprendizado de máquina (MLOps).

O Azure Machine Learning oferece os seguintes recursos:

  • Seleção de algoritmos Alguns algoritmos fazem suposições particulares sobre a estrutura dos dados ou os resultados desejados. Se você puder encontrar um que atenda às suas necessidades, ele pode lhe dar resultados mais úteis, previsões mais precisas ou tempos de treinamento mais rápidos.

    Como selecionar algoritmos para o Azure Machine Learning

  • O ajuste ou otimização de hiperparâmetros é o processo de encontrar a configuração de hiperparâmetros que resulta no melhor desempenho. O processo é computacionalmente caro e manual. Os hiperparâmetros são parâmetros ajustáveis que permitem controlar o processo de treinamento do modelo. Por exemplo, com redes neurais, você decide o número de camadas ocultas e o número de nós em cada camada. O desempenho do modelo depende fortemente dos hiperparâmetros.

    O Azure Machine Learning permite-lhe automatizar o ajuste de hiperparâmetros e executar experiências em paralelo para otimizar eficientemente os hiperparâmetros.

  • Modelo de formação. Com o Azure Machine Learning, você pode usar iterativamente um algoritmo para criar ou "ensinar" modelos. Uma vez treinados, esses modelos podem ser usados para analisar dados a partir dos quais as previsões podem ser feitas. Durante a fase de treinamento, um conjunto de qualidade de dados conhecidos é marcado para que os campos individuais sejam identificáveis. Os dados marcados são alimentados para um algoritmo configurado para fazer uma previsão específica. Quando concluído, o algoritmo produz um modelo que descreve os padrões encontrados como um conjunto de parâmetros. Durante a validação, dados novos são marcados e usados para testar o modelo. O algoritmo é ajustado conforme necessário e, possivelmente, submetido a mais treinamento. Finalmente, a fase de teste usa dados do mundo real sem tags ou alvos pré-selecionados. Supondo que os resultados do modelo sejam precisos, ele é considerado pronto para uso e pode ser implantado.

  • O aprendizado de máquina automatizado (AutoML) é o processo de automatizar as tarefas iterativas e demoradas do desenvolvimento de modelos de aprendizado de máquina. Ele pode reduzir significativamente o tempo necessário para obter modelos de ML prontos para produção. O ML automatizado pode ajudar na seleção de modelos, ajuste de hiperparâmetros, treinamento de modelos e outras tarefas, sem exigir extenso conhecimento de programação ou domínio.

    Você pode usar o ML automatizado quando quiser que o Aprendizado de Máquina do Azure treine e ajuste um modelo para você usando uma métrica de destino especificada. O ML automatizado pode ser usado independentemente da experiência em ciência de dados para identificar um pipeline de aprendizado de máquina de ponta a ponta para qualquer problema.

    Profissionais e desenvolvedores de ML em todos os setores podem usar ML automatizado para:

    • Implemente soluções de ML sem grande conhecimento de programação ou aprendizado de máquina

    • Poupe tempo e recursos

    • Aplicar as melhores práticas de ciência de dados

    • Proporcionar uma resolução ágil de problemas

    • O que é o machine learning automatizado?

  • A pontuação também é chamada de previsão e é o processo de gerar valores com base em um modelo de aprendizado de máquina treinado, dado alguns novos dados de entrada. Os valores, ou pontuações, que são criados podem representar previsões de valores futuros, mas também podem representar uma categoria ou resultado provável.

  • Engenharia de recursos e featurização. Os dados de treinamento consistem em linhas e colunas. Cada linha é uma observação ou registro, e as colunas de cada linha são os recursos que descrevem cada registro. Normalmente, os recursos que melhor caracterizam os padrões nos dados são selecionados para criar modelos preditivos.

Embora muitos dos campos de dados brutos possam ser usados diretamente para treinar um modelo, muitas vezes é necessário criar outros recursos (projetados) que forneçam informações que diferenciem melhor os padrões nos dados. Esse processo é chamado de engenharia de recursos, onde o uso do conhecimento de domínio dos dados é usado para criar recursos que, por sua vez, ajudam os algoritmos de aprendizado de máquina a aprender melhor.

No Azure Machine Learning, as técnicas de dimensionamento e normalização de dados são aplicadas para facilitar a engenharia de recursos. Coletivamente, essas técnicas e essa engenharia de recursos são chamadas de featurização em experimentos automatizados de aprendizado de máquina (ML).

Azure OpenAI

O Serviço OpenAI do Azure permite-lhe adaptar modelos OpenAI aos seus conjuntos de dados pessoais utilizando um processo conhecido como ajuste fino. Este passo de personalização permite-lhe tirar melhor partido do serviço, fornecendo:

  • Resultados de maior qualidade do que o que você pode obter apenas com a engenharia imediata
  • A capacidade de treinar em mais exemplos do que pode caber no limite máximo de contexto de solicitação de um modelo.
  • Economia de token devido a prompts mais curtos
  • Solicitações de baixa latência, especialmente ao usar modelos menores.

Para obter mais informações, consulte:

Serviços de IA do Azure para IA personalizada

Os serviços de IA do Azure oferecem recursos que permitem criar modelos e aplicativos de IA personalizados. Esta seção fornece uma visão geral de alguns desses principais recursos.

Discurso Personalizado

A fala personalizada é um recurso do serviço Azure AI Speech. Com a fala personalizada, você pode avaliar e melhorar a precisão do reconhecimento de fala para seus aplicativos e produtos. Um modelo de fala personalizado pode ser usado para conversão de fala em texto em tempo real, tradução de fala e transcrição em lote.

Pronto para usar, o reconhecimento de fala utiliza um Modelo de Linguagem Universal como um modelo base que é treinado com dados de propriedade da Microsoft e reflete a linguagem falada comumente usada. O modelo base é pré-treinado com dialetos e fonética representando vários domínios comuns. Quando você faz uma solicitação de reconhecimento de fala, o modelo base mais recente para cada idioma suportado é usado por padrão. O modelo base funciona bem na maioria dos cenários de reconhecimento de fala.

Um modelo personalizado pode ser usado para aumentar o modelo base para melhorar o reconhecimento do vocabulário específico do domínio específico para o aplicativo, fornecendo dados de texto para treinar o modelo. Ele também pode ser usado para melhorar o reconhecimento com base nas condições específicas de áudio do aplicativo, fornecendo dados de áudio com transcrições de referência.

Você também pode treinar um modelo com texto estruturado quando os dados seguem um padrão, para especificar pronúncias personalizadas e para personalizar a formatação de texto de exibição com normalização de texto inverso personalizada, reescrita personalizada e filtragem de palavrões personalizada.

Custom Translator

O Tradutor Personalizado é um recurso do serviço Azure AI Translator . Com o Tradutor Personalizado, empresas, desenvolvedores de aplicativos e provedores de serviços linguísticos podem criar sistemas personalizados de tradução automática neural (NMT). Os sistemas de tradução personalizados integram-se perfeitamente em aplicações, fluxos de trabalho e websites existentes.

A plataforma permite que os usuários criem e publiquem sistemas de tradução personalizados de e para o inglês. O Custom Translator suporta mais de três dúzias de idiomas que mapeiam diretamente para os idiomas disponíveis para NMT. Para obter uma lista completa, consulte Suporte ao idioma do tradutor.

O Tradutor Personalizado oferece os seguintes recursos:

Funcionalidade Description
Aplicar tecnologia de tradução automática neural Melhore a sua tradução aplicando a tradução automática neural (NMT) fornecida pelo tradutor personalizado.
Crie sistemas que conheçam a terminologia do seu negócio Personalize e construa sistemas de tradução usando documentos paralelos que compreendam as terminologias usadas em seu próprio negócio e indústria.
Use um dicionário para criar seus modelos Se você não tiver um conjunto de dados de treinamento, poderá treinar um modelo apenas com dados de dicionário.
Colabore com outras pessoas Colabore com a sua equipa partilhando o seu trabalho com pessoas diferentes.
Aceda ao seu modelo de tradução personalizado Você pode acessar seu modelo de tradução personalizado a qualquer momento usando seus aplicativos / programas existentes via Microsoft Translator Text API V3.

Modelos personalizados de Document Intelligence

O Azure AI Document Intelligence usa tecnologia avançada de aprendizado de máquina para identificar documentos, detetar e extrair informações de formulários e documentos e retornar os dados extraídos em uma saída JSON estruturada. Com o Document Intelligence, você pode usar modelos de análise de documentos, pré-construídos/pré-treinados ou seus modelos personalizados autônomos treinados.

Os modelos personalizados do Document Intelligence agora incluem modelos de classificação personalizados para cenários em que você precisa identificar o tipo de documento antes de invocar o modelo de extração. Um modelo de classificação pode ser emparelhado com um modelo de extração personalizado para analisar e extrair campos de formulários e documentos específicos para o seu negócio. Modelos de extração personalizados autônomos podem ser combinados para criar modelos compostos.

Ferramentas de IA personalizadas

Embora os modelos de IA pré-construídos sejam úteis e cada vez mais flexíveis, a melhor maneira de obter o que você precisa da IA é construir um modelo adaptado às suas necessidades específicas. Existem duas ferramentas principais para criar modelos de IA personalizados: IA generativa e aprendizado de máquina tradicional:

Azure Machine Learning Studio

O estúdio Azure Machine Learning é um serviço de nuvem para acelerar e gerenciar o ciclo de vida do projeto de aprendizado de máquina (ML). Profissionais de ML, cientistas de dados e engenheiros podem usá-lo em seus fluxos de trabalho diários para treinar e implantar modelos e gerenciar operações de aprendizado de máquina (MLOps):

  • Crie e treine o modelo do Azure Machine Learning com qualquer tipo de computação, incluindo Spark e GPUs para grandes cargas de trabalho de IA em escala de nuvem.
  • Execute o Azure Machine Learning (AutoML) automatizado e arraste e solte a interface do usuário para o Azure Machine Learning low-code.
  • Implemente o Azure Machine Learning Ops de ponta a ponta e pipelines repetíveis do Azure Machine Learning.
  • Use um painel de IA responsável para deteção de vieses e análise de erros.
  • Orquestre e gerencie fluxos rápidos de engenharia e LLM.
  • Implante modelos com pontos de extremidade da API REST, inferência em tempo real e em lote.
  • Use Hubs (Visualização) para compartilhar computação, cota, segurança e conectividade com recursos da empresa com um grupo de espaços de trabalho, enquanto centraliza a governança para TI. Configure um hub uma vez e, em seguida, crie espaços de trabalho seguros diretamente do Studio para cada projeto. Use hubs para gerenciar o trabalho da sua equipe no ML Studio e no AI Studio.

Azure AI Studio

O Azure AI Studio foi concebido para o ajudar a criar e implementar eficientemente aplicações de IA generativas personalizadas com o poder das amplas ofertas de IA do Azure:

  • Construa em conjunto como uma equipa. Seu hub AI Studio fornece segurança de nível empresarial e um ambiente colaborativo com recursos compartilhados e conexões com modelos, dados e computação pré-treinados.
  • Organize o seu trabalho. Seu projeto do AI Studio ajuda você a salvar o estado, permitindo que você itere desde a primeira ideia, até o primeiro protótipo e, em seguida, a primeira implantação de produção. Convide também facilmente outras pessoas a colaborar ao longo desta jornada.
  • Use sua plataforma de desenvolvimento e estruturas preferidas, incluindo GitHub, Visual Studio Code, LangChain, Semantic Kernel, AutoGen e muito mais.
  • Descubra e avalie comparativamente mais de 1.600 modelos.
  • Provisione modelos como serviço (MaaS) por meio de APIs sem servidor e ajuste fino hospedado.
  • Incorpore vários modelos, fontes de dados e modalidades.
  • Crie a Geração Aumentada de Recuperação (RAG) usando seus dados corporativos protegidos sem a necessidade de ajuste fino.
  • Orquestre e gerencie prompts, engenharia e fluxos de Large Language Model (LLM).
  • Projete e proteja aplicativos e APIs com filtros e controles configuráveis.
  • Avalie as respostas do modelo com fluxos de avaliação internos e personalizados.
  • Implante inovações de IA na infraestrutura gerenciada do Azure com monitoramento e governança contínuos em todos os ambientes.
  • Monitore continuamente os aplicativos implantados quanto à segurança, qualidade e consumo de tokens na produção.|

Para obter uma comparação detalhada entre o Azure Machine Learning e o Azure AI Studio, consulte Azure Machine Learning vs. Azure AI Studio.

Fluxo de prompt no Azure AI Studio

O fluxo de prompt no Azure AI Studio é uma ferramenta de desenvolvimento projetada para simplificar todo o ciclo de desenvolvimento de aplicativos de IA alimentados por LLMs (Large Language Models). O fluxo imediato fornece uma solução abrangente que simplifica o processo de prototipagem, experimentação, iteração e instalação das suas aplicações de IA.

  • O fluxo de prompt é um recurso que pode ser usado para gerar, personalizar ou executar um fluxo.
  • Um fluxo é um conjunto de instruções executáveis que pode implementar a lógica da IA. Os fluxos podem ser criados ou executados através de várias ferramentas, como uma tela pré-construída, LangChain, etc. As iterações de um fluxo podem ser salvas como ativos; uma vez implantado, um fluxo se torna uma API. Nem todos os fluxos são fluxos imediatos; em vez disso, o fluxo imediato é uma maneira de criar um fluxo.
  • Um prompt é um pacote de entrada enviado para um modelo, consistindo na entrada do usuário, mensagem do sistema e quaisquer exemplos. A entrada do usuário é o texto enviado na janela de chat. A mensagem do sistema é um conjunto de instruções para o modelo, definindo o escopo de seus comportamentos e funcionalidades.
  • Um fluxo de amostra é um fluxo de orquestração simples e pré-construído que mostra como os fluxos funcionam e pode ser personalizado.
  • Um prompt de exemplo é um prompt definido para um cenário específico que pode ser copiado de uma biblioteca e usado como está ou modificado no design do prompt.

Linguagens de código de IA personalizadas

O conceito central da IA é o uso de algoritmos para analisar dados e gerar modelos para descrevê-los (ou pontuá-los) de maneiras que sejam úteis. Os algoritmos são escritos por desenvolvedores e cientistas de dados (e às vezes por outros algoritmos) usando código de programação. Duas das linguagens de programação mais populares para desenvolvimento de IA são atualmente Python e R.

Python é uma linguagem de programação de alto nível de uso geral. Tem uma sintaxe simples e fácil de aprender que enfatiza a legibilidade. Não há nenhuma etapa de compilação. Python tem uma grande biblioteca padrão, mas também suporta a capacidade de adicionar módulos e pacotes. Isso incentiva a modularidade e permite expandir os recursos quando necessário. Há um ecossistema grande e crescente de bibliotecas de IA e ML para Python, incluindo muitas que estão prontamente disponíveis no Azure.

R é uma linguagem e ambiente para computação estatística e gráfica. Ele pode ser usado para tudo, desde o mapeamento de grandes tendências sociais e de marketing on-line até o desenvolvimento de modelos financeiros e climáticos.

A Microsoft adotou totalmente a linguagem de programação R e fornece muitas opções diferentes para os desenvolvedores de R executarem seu código no Azure.

Informações gerais sobre IA personalizada no Azure

Histórias de clientes

Diferentes indústrias estão aplicando a IA de maneiras inovadoras e inspiradoras. Seguem-se alguns estudos de caso de clientes e histórias de sucesso:

Navegue por mais histórias de clientes de IA

Informações gerais sobre a IA da Microsoft

Saiba mais sobre a IA da Microsoft e mantenha-se atualizado com as notícias relacionadas:

Próximos passos