Explore modelos de fundação no catálogo de modelos
A arquitetura Transformer permitiu-nos treinar modelos para Processamento de Linguagem Natural (PNL) de uma forma mais eficiente. Em vez de processar cada token em uma frase ou sequência, a atenção permite que um modelo processe tokens em paralelo de várias maneiras.
Para treinar um modelo usando a arquitetura Transformer, você precisa usar uma grande quantidade de dados de texto como entrada. Diferentes modelos foram treinados, que diferem principalmente pelos dados em que foram treinados ou pela forma como implementam a atenção em suas arquiteturas. Como os modelos são treinados em grandes conjuntos de dados, e os próprios modelos são grandes em tamanho, eles são frequentemente chamados de Large Language Models (LLMs).
Muitos LLMs são de código aberto e publicamente disponíveis através de comunidades como o Hugging Face. O Azure também oferece os LLMs mais usados como modelos básicos no catálogo de modelos do Azure Machine Learning. Os modelos de base são pré-treinados em textos grandes e podem ser ajustados para tarefas específicas com um conjunto de dados relativamente pequeno.
Explore o catálogo de modelos
No estúdio do Azure Machine Learning, você pode navegar até o catálogo de modelos para explorar todos os modelos básicos disponíveis. Além disso, você pode importar qualquer modelo da biblioteca de código aberto Hugging Face para o catálogo de modelos.
Gorjeta
Hugging Face é uma comunidade de código aberto que disponibiliza modelos ao público. Você pode encontrar todos os modelos em seu catálogo. Além disso, você pode explorar a documentação para saber mais sobre como modelos individuais funcionam, como o BERT.
O catálogo de modelos do Azure Machine Learning integra-se com modelos do Hugging Face e de outras fontes. O catálogo de modelos do Azure Machine Learning torna mais fácil explorar, testar, ajustar e implantar modelos.
Explore modelos de fundação
Ao selecionar um modelo do catálogo do Azure Machine Learning, você pode experimentá-lo para explorar se ele atende aos seus requisitos. Um modelo de fundação já está pré-treinado e você pode implantar um modelo de base em um ponto de extremidade sem qualquer treinamento extra. Se você quiser que o modelo seja especializado em uma tarefa ou tenha um melhor desempenho em conhecimentos específicos do domínio, você também pode optar por ajustar um modelo básico.
Os modelos de fundação podem ser usados para várias tarefas, incluindo:
- Classificação de textos
- Classificação de token
- Perguntas e respostas
- Resumo
- Tradução
Para escolher o modelo de base que melhor se adapta às suas necessidades, pode testar facilmente diferentes modelos no catálogo de modelos. Você também pode revisar os dados sobre os quais os modelos são treinados e possíveis vieses e riscos que um modelo pode ter.
Alguns modelos de fundação que são comumente usados são:
| Modelo | Description |
|---|---|
| BERT (Representações de codificadores bidirecionais de transformadores) | Focado na codificação de informações usando contexto de antes e depois de um token (bidirecional). Comumente usado quando você deseja ajustar um modelo para executar uma tarefa específica, como classificação de texto e resposta a perguntas. |
| GPT (Transformador Generativo Pré-treinado) | Treinado para criar texto coerente e contextualmente relevante, e é mais comumente usado para tarefas como geração de texto e conclusão de bate-papo. |
| LLaMA (Modelo de Linguagem Grande Meta AI) | Uma família de modelos criada pela Meta. Ao treinar modelos LLaMA, o foco tem sido fornecer mais dados de treinamento do que aumentar a complexidade dos modelos. Você pode usar modelos LLaMA para geração de texto e conclusão de bate-papo. |
| T5 (transformador de transferência de texto para texto) | Um modelo de codificador-decodificador que usa uma abordagem de texto para texto. Ao concentrar-se na conversão de texto em texto, estes tipos de modelos são ideais para a tradução. |