AI- en ML-modellen trainen
In deze sectie wordt beschreven hoe u machine learning- en AI-modellen traint op Mozaïek AI.
Mozaïek AI Model Training stroomlijnt en samen het proces van het trainen en implementeren van traditionele ML-modellen via AutoML en Foundation Model Fine-tuning workloads.
AutoML
AutoML vereenvoudigt het proces van het toepassen van machine learning op uw gegevenssets door automatisch het beste algoritme en de hyperparameterconfiguratie voor u te vinden. AutoML biedt een gebruikersinterface zonder code en een Python-API.
Foundation Model Fine-tuning
Met Foundation Model Fine-tuning (nu onderdeel van Mosaic AI Model Training) in Databricks kunt u grote taalmodellen (LLM's) aanpassen met behulp van uw eigen gegevens. Dit proces omvat het verfijnen van de training van een bestaand basismodel, waardoor de benodigde gegevens, tijd en rekenresources aanzienlijk worden verminderd in vergelijking met het trainen van een volledig nieuw model. Belangrijke functies omvatten onder meer:
- Instructie verfijnen: Pas uw model aan nieuwe taken aan door te trainen op gestructureerde prompt-responsgegevens.
- Vervolgtraining: Verbeter uw model met extra tekstgegevens om nieuwe kennis toe te voegen of richt u op een specifiek domein.
- Chatvoltooiing: Train uw model in chatlogboeken om de gespreksmogelijkheden te verbeteren.
Voorbeelden van opensource-bibliotheken
Bekijk voorbeelden van machine learning-training uit een groot aantal opensource-machine learning-bibliotheken, waaronder voorbeelden van hyperparameterafstemming met optuna en Hyperopt.
Deep Learning
Bekijk voorbeelden en aanbevolen procedures voor gedistribueerde deep learning-training , zodat u deep learning-modellen kunt ontwikkelen en verfijnen in Azure Databricks.
Aanbevelingsfuncties
Meer informatie over het trainen van op deep learning gebaseerde aanbevelingsmodellen in Azure Databricks. In vergelijking met traditionele aanbevelingsmodellen kunnen deep learning-modellen resultaten van hogere kwaliteit bereiken en naar grotere hoeveelheden gegevens schalen.