Usar o scikit-learn no Azure Databricks
Esta página fornece exemplos de como você pode usar o pacote scikit-learn para treinar modelos de machine learning no Azure Databricks. O scikit-learn é uma das bibliotecas Python mais populares para machine learning de nó único e está incluída no Databricks Runtime e no Databricks Runtime ML. Consulte as Notas sobre a versão do Databricks Runtime para a versão da biblioteca Scikit-learn incluída no runtime do cluster.
Você pode importar esses notebooks e executá-los no workspace do Azure Databricks.
Para obter mais notebooks de exemplo para introdução rápida no Azure Databricks, consulte Tutoriais: introdução ao à IA e aprendizado de máquina.
Exemplo básico usando o scikit-learn
Este notebook fornece uma visão geral rápida do treinamento do modelo de machine learning no Azure Databricks. Ele usa o pacote scikit-learn para treinar um modelo de classificação simples. Também ilustra o uso do MLflow para rastrear o processo de desenvolvimento do modelo e do Optuna para automatizar o ajuste do hiperparâmetro.
Se o seu espaço de trabalho estiver habilitado para o Unity Catalog, use esta versão do notebook:
Bloco de notas de classificação do scikit-learn (Catálogo do Unity)
Se o seu espaço de trabalho não estiver habilitado para o Catálogo do Unity, use esta versão do notebook:
Notebook de classificação do scikit-learn
Exemplo de ponta a ponta usando o scikit-learn no Azure Databricks
Este notebook usa o scikit-learn para ilustrar um exemplo ponta a ponta de carregamento de dados, treinamento de modelo, ajuste de hiperparâmetro distribuído e inferência de modelo. Ele também ilustra o gerenciamento do ciclo de vida do modelo usando o Registro de Modelo do MLflow para registrar o modelo.
Se o seu espaço de trabalho estiver habilitado para o Unity Catalog, use esta versão do notebook:
Use o scikit-learn com integração do MLflow no Databricks (Catálogo do Unity)
Se o seu espaço de trabalho não estiver habilitado para o Catálogo do Unity, use esta versão do notebook: