Esplorare i modelli di base di ottimizzati in Azure Machine Learning

Completato

Per ottimizzare un modello di base dal catalogo dei modelli in Azure Machine Learning, è possibile usare l'interfaccia utente fornita in Studio, Python SDK o l'interfaccia della riga di comando di Azure.

Preparare i dati e il calcolo

Prima di poter ottimizzare un modello di base per migliorare le prestazioni del modello, è necessario preparare i dati di training e creare un cluster di elaborazione GPU.

Suggerimento

Quando si crea un cluster di elaborazione GPU in Azure Machine Learning, verrà creata automaticamente una macchina virtuale ottimizzata per GPU. Altre informazioni sulle dimensioni delle macchine virtuali GPU disponibili in Azure.

I dati di training possono essere in formato JSON Lines (JSONL), CSV o TSV. I requisiti dei dati variano in base all'attività specifica per cui si intende ottimizzare il modello.

Attività Requisiti del set di dati
Classificazione testo Due colonne: Sentence (stringa) e Label (intero/stringa)
Classificazione dei token Due colonne: Token (stringa) e Tag (stringa)
Risposta alle domande Cinque colonne: Question (stringa), Context (stringa), (stringa), Answers (stringa), Answers_start (intero) e Answers_text (stringa)
Riepilogo Due colonne: Document (stringa) e Summary (stringa)
Traduzione Due colonne: Source_language (stringa) e Target_language (stringa)

Nota

Il set di dati deve soddisfare i requisiti obbligatori. È tuttavia possibile usare nomi di colonna diversi ed eseguire il mapping della colonna al requisito appropriato.

Quando il set di dati e il cluster di calcolo sono diasponibili, è possibile configurare un processo di ottimizzazione in Azure Machine Learning.

Scegliere un modello di base

Quando si passa al catalogo dei modelli nel studio di Azure Machine Learning, è possibile esplorare tutti i modelli di base.

Screenshot of model catalog in Azure Machine Learning.

È possibile filtrare i modelli disponibili in base all'attività per cui si vuole ottimizzare un modello. Per attività, sono disponibili diverse opzioni tra cui scegliere i modelli di base. Quando si decide tra i modelli di base per un'attività, è possibile esaminare la descrizione del modello e la scheda del modello a cui si fa riferimento.

Alcuni elementi da tenere in considerazione quando si decide un modello di base prima dell'ottimizzazione sono:

  • Funzionalità del modello: valutare le funzionalità del modello di base e il livello di allineamento con l'attività. Ad esempio, un modello come BERT è migliore per comprendere i testi brevi.
  • Pre-training dei dati: si consideri il set di dati usato per il pre-training del modello di base. Ad esempio, GPT-2 viene sottoposto a training su contenuti non filtrati da Internet che possono causare distorsioni.
  • Limitazioni e distorsioni: si tengano presenti eventuali limitazioni o distorsioni che potrebbero trovarsi nel modello di base.
  • Supporto linguistico: esplorare i modelli che offrono il supporto linguistico specifico o le funzionalità multilingue necessarie per il caso d'uso.

Suggerimento

Anche se studio di Azure Machine Learning fornisce descrizioni per ogni modello di base nel catalogo dei modelli, è anche possibile trovare altre informazioni su ogni modello tramite la rispettiva scheda modello. Si fa riferimento alle schede del modello nella panoramica di ogni modello e sono ospitate nel sito Web di Hugging Face

Configurare un processo di ottimizzazione

Per configurare un processo di ottimizzazione tramite studio di Azure Machine Learning, è necessario eseguire la procedura seguente:

  1. Scegliere un modello di base.
  2. Selezionare Finetune per aprire un popup che consente di configurare il processo.
  3. Selezionare il tipo di attività.
  4. Selezionare i dati di training ed eseguire il mapping delle colonne nei dati di training ai requisiti del set di dati.
  5. Consentire ad Azure Machine Learning di suddividere automaticamente i dati di training per creare un set di dati di convalida e di test o fornire dati personalizzati.
  6. Selezionare un cluster di calcolo GPU gestito da Azure Machine Learning.
  7. Selezionare Fine per inviare il processo di ottimizzazione.

Suggerimento

In modo facoltativo, è possibile esplorare le impostazioni avanzate per la modifica, come il nome dei parametri del processo e dell'attività di ottimizzazione, ad esempio la frequenza di apprendimento.

Screenshot of fine-tuning job configuration.

Dopo aver inviato il processo di ottimizzazione, verrà creato un processo della pipeline per eseguire il training del modello. È possibile esaminare tutti gli input e raccogliere il modello dagli output del processo.

Screenshot of completed pipeline job that fine-tuned a foundation model.