Utilização de modelos linguísticos

  • 3 minutos

Organizações e desenvolvedores podem treinar seus próprios modelos de linguagem do zero, mas na maioria dos casos é mais prático usar um modelo de base existente e, opcionalmente, ajustá-lo com seus próprios dados de treinamento. Há muitas fontes de modelo que você pode usar.

No Microsoft Azure, você pode encontrar modelos básicos no serviço Azure OpenAI e no Catálogo de Modelos. O Catálogo de Modelos é uma fonte selecionada de modelos para cientistas de dados e desenvolvedores que usam o Azure AI Studio e o Azure Machine Learning. Isso oferece o benefício de modelos de linguagem de ponta, como a coleção de modelos generative pre-trained transformer (GPT) (na qual o ChatGPT e os próprios serviços de IA generativa da Microsoft são baseados), bem como o modelo DALL-E para geração de imagens. Usar esses modelos do serviço Azure OpenAI significa que você também obtém o benefício de uma plataforma de nuvem do Azure segura e escalável na qual os modelos estão hospedados.

Além dos modelos OpenAI do Azure, o catálogo de modelos inclui os modelos de código aberto mais recentes da Microsoft e de vários parceiros, incluindo:

  • OpenAI
  • HuggingFace
  • Mistral
  • Meta e outros.

Alguns dos modelos comuns do Azure OpenAI são:

  • GPT-3.5-Turbo, GPT-4 e GPT-4o: Modelos de linguagem de entrada e saída de mensagens.
  • GPT-4 Turbo with Vision: Um modelo de linguagem desenvolvido pela OpenAI que pode analisar imagens e fornecer respostas textuais a perguntas sobre elas. Incorpora processamento de linguagem natural e compreensão visual.
  • DALL-E: Um modelo de linguagem que gera imagens originais, variações de imagens e pode editar imagens.

Modelos linguísticos grandes e pequenos

Há muitos modelos de linguagem disponíveis que você pode usar para alimentar aplicativos de IA generativa. Em geral, os modelos de linguagem podem ser considerados em duas categorias: Large Language Models (LLMs) e Small Language models (SLMs).

Modelos de linguagem grande (LLMs) Modelos de linguagem pequena (SLMs)
Os LLMs são treinados com grandes quantidades de texto que representam uma ampla gama de assuntos gerais – normalmente através da obtenção de dados da Internet e de outras publicações geralmente disponíveis. Os SLMs são treinados com conjuntos de dados menores e mais focados no assunto
Quando treinados, os LLMs têm muitos bilhões (até trilhões) de parâmetros (pesos que podem ser aplicados a incorporações vetoriais para calcular sequências de token previstas). Normalmente têm menos parâmetros do que LLMs.
Capaz de exibir capacidades abrangentes de geração de linguagem em uma ampla gama de contextos de conversação. Este vocabulário focado torna-os muito eficazes em tópicos de conversação específicos, mas menos eficazes na geração de linguagem mais geral.
Seu tamanho grande pode afetar seu desempenho e torná-los difíceis de implantar localmente em dispositivos e computadores. O tamanho menor dos SLMs pode fornecer mais opções para implantação, incluindo implantação local em dispositivos e computadores locais; e torna-os mais rápidos e fáceis de ajustar.
Ajustar o modelo com dados adicionais para personalizar sua experiência no assunto pode ser demorado e caro em termos do poder de computação necessário para executar o treinamento adicional. O ajuste fino pode ser potencialmente menos demorado e dispendioso.