Deep Learning
Dit artikel bevat een korte inleiding tot het gebruik van PyTorch, Tensorflow en gedistribueerde training voor het ontwikkelen en verfijnen van Deep Learning-modellen in Azure Databricks. Het bevat ook koppelingen naar pagina's met voorbeeldnotitieblokken die illustreren hoe u deze hulpprogramma's gebruikt.
- Zie best practices voor deep learning in Azure Databricks voor algemene richtlijnen voor het optimaliseren van Deep Learning-werkstromen in Azure Databricks.
- Zie voor meer informatie over het werken met grote taalmodellen en generatieve AI in Azure Databricks:
PyTorch
PyTorch is opgenomen in Databricks Runtime ML en biedt versnelde tensor-berekeningen en functies op hoog niveau voor het bouwen van deep learning-netwerken. U kunt training voor één knooppunt of gedistribueerde training uitvoeren met PyTorch op Databricks. Zie PyTorch.
TensorFlow
Databricks Runtime ML bevat TensorFlow en TensorBoard, zodat u deze bibliotheken kunt gebruiken zonder pakketten te installeren. TensorFlow ondersteunt deep learning en algemene numerieke berekeningen op CPU's, GPU's en clusters met GPU's. TensorBoard biedt visualisatiehulpmiddelen waarmee je fouten kunt opsporen en optimize machine learning- en deep learning-werkstromen. Zie TensorFlow voor voorbeelden van één knooppunt en gedistribueerde training.
Gedistribueerde training
Omdat Deep Learning-modellen gegevens- en rekenintensief zijn, kan gedistribueerde training belangrijk zijn. Zie Gedistribueerde training voor voorbeelden van gedistribueerde deep learning met behulp van integraties met Ray, TorchDistributor en DeepSpeed.
Ontwikkeling van deep learning-modellen bijhouden
Tracking blijft een hoeksteen van het MLflow-ecosysteem en is vooral essentieel voor de iteratieve aard van deep learning. Databricks maakt gebruik van MLflow om deep learning-trainingsuitvoeringen en modelontwikkeling bij te houden. Zie Modelontwikkeling bijhouden met behulp van MLflow.