Trainieren von KI-Modellen
In diesem Abschnitt erfahren Sie, wie Sie maschinelles Lernen und KI-Modelle für Mosaik AI trainieren.
Mosaik AI Model Training optimiert und vereint den Prozess der Schulung und Bereitstellung herkömmlicher ML-Modelle über AutoML- und Foundation Model Fine-Tuning-Workloads.
AutoML
AutoML vereinfacht den Prozess der Anwendung des maschinellen Lernens auf Ihre Datasets, indem automatisch der beste Algorithmus und die Hyperparameterkonfiguration für Sie gefunden werden. AutoML bietet sowohl eine Code-UI als auch eine Python-API.
Foundation Model Fine-tuning
Mit Foundation Model Fine-Tuning (jetzt Teil der Mosaik AI Model Training) auf Databricks können Sie große Sprachmodelle (LLMs) mithilfe Ihrer eigenen Daten anpassen. Dieser Prozess umfasst eine Optimierung des Trainings eines bereits vorhandenen Foundation Models. Dies führt dazu, dass im Vergleich zum Training eines Modells von Grund auf erheblich weniger Daten, Zeit und Computeressourcen erforderlich sind. Hauptfeatures sind:
- Überwachte Optimierung: Passen Sie Ihr Modell an neue Aufgaben an, indem Sie es mit strukturierten Antwortdaten für Prompts trainieren.
- Fortlaufendes Vorabtraining: Verbessern Sie Ihr Modell mit zusätzlichen Textdaten, um neue Kenntnisse hinzuzufügen oder sich auf einen bestimmten Themenbereich zu konzentrieren.
- Chatvervollständigung: Trainieren Sie Ihr Modell mit Chatprotokollen, um die Konversationsfähigkeiten zu verbessern.
Beispiele für Open Source-Bibliotheken
Sehen Sie sich Trainingsbeispiele für maschinelles Lernen aus einer Vielzahl von Open Source-Learning-Bibliotheken an, darunter Beispiele für die Hyperparameteroptimierung mit Optuna und Hyperopt.
Deep Learning
Sehen Sie sich Beispiele und bewährte Methoden für verteiltes Deep Learning-Training an, damit Sie Deep Learning-Modelle in Azure Databricks entwickeln und optimieren können.
Empfehlungssystem
Erfahren Sie, wie Sie Deep-Learning-basierte Empfehlungsmodelle für Azure Databricks trainieren. Im Vergleich zu herkömmlichen Empfehlungsmodellen können Deep Learning-Modelle qualitativ höherwertige Ergebnisse erzielen und auf größere Datenmengen skaliert werden.