Автологирование в Microsoft Fabric

Synapse Data Science в Microsoft Fabric включает автологирование, что значительно сокращает объем кода, необходимый для автоматического регистрации параметров, метрик и элементов модели машинного обучения во время обучения. В этой статье описывается автологирование для Synapse Data Science в Microsoft Fabric.

Автологирование расширяет возможности отслеживания MLflow и глубоко интегрировано в Synapse Data Science в Microsoft Fabric. Автологирование может записывать различные метрики, включая точность, потерю, оценку F1 и пользовательские метрики, которые вы определяете. Используя автологирование, разработчики и специалисты по обработке и анализу данных могут легко отслеживать и сравнивать производительность различных моделей и экспериментов без ручного отслеживания.

Поддерживаемые платформы

Автологирование поддерживает широкий спектр платформ машинного обучения, включая TensorFlow, PyTorch, Scikit-learn и XGBoost. Дополнительные сведения о свойственных проекту свойствах, регистрируемых автоматически, см. в документации по MLflow.

Конфигурация

Автологирование работает путем автоматического записи значений входных параметров, выходных метрик и выходных элементов модели машинного обучения при его обучении. Эти сведения записываются в рабочую область Microsoft Fabric, где вы можете получить доступ к ней и визуализировать ее с помощью API MLflow или соответствующих элементов эксперимента и моделей в рабочей области Microsoft Fabric.

При запуске записной книжки Synapse Data Science Microsoft Fabric вызывает mlflow.autolog() для мгновенного включения отслеживания и загрузки соответствующих зависимостей. При обучении моделей в записной книжке MLflow автоматически отслеживает эти сведения о модели.

Конфигурация происходит автоматически в фоновом режиме при запуске import mlflow. Конфигурация ноутбука (Jupyter) по умолчанию mlflow.autolog() имеет следующую конфигурацию:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Настройка

Чтобы настроить поведение ведения журнала, можно использовать конфигурацию mlflow.autolog(). Эта конфигурация предоставляет параметры для включения ведения журнала моделей, сбора входных примеров, настройки предупреждений или включения ведения журнала для указанного содержимого.

Отслеживание дополнительных метрик, параметров и свойств

Для запусков, созданных с помощью MLflow, обновите конфигурацию автологирования MLflow, чтобы отслеживать дополнительные метрики, параметры, файлы и метаданные следующим образом:

1. Обновите вызов mlflow.autolog(), чтобы задать .

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Используйте API отслеживания MLflow для регистрации дополнительных параметров и и метрик . В следующем примере кода вы можете регистрировать пользовательские метрики и параметры вместе с дополнительными свойствами.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Отключение автологирования в Microsoft Fabric

Вы можете отключить автоматическую запись Microsoft Fabric для определенного сеанса записной книжки. Вы также можете отключить автоматическую запись во всех записных книжках с помощью параметра рабочей области.

Заметка

Если автоматическое ведение журнала отключено, необходимо вручную записать параметры и метрики с помощью API MLflow.

Отключение автоматического журналирования для сеанса записной книжки

Чтобы отключить автоматическую запись Microsoft Fabric для определенного сеанса записной книжки, вызовите mlflow.autolog() и задайте disable=True.

import mlflow
mlflow.autolog(disable=True)

Отключить автоматическое логирование для всех ноутбуков и сеансов

Администраторы рабочих областей могут включить или отключить автологирование Microsoft Fabric для всех записных книжек и сеансов в рабочей области с помощью параметров рабочей области. Чтобы включить или отключить автологирование Synapse Data Science, выполните приведенные выше действия.

1. В рабочей области выберите настройки рабочей среды.

   

2. В параметрах рабочей областиразверните раздел "Инженерия данных/Наука" на панели навигации слева и выберите параметры Spark.

3. В параметрах Sparkвыберите вкладку Автоматический журнал.

4. Задайте автоматически отслеживать эксперименты и модели машинного обучения на Вкл или Выкл.

5. Выберите Сохранить.

   

Связанное содержимое

• создание модели машинного обучения с помощью Apache Spark MLlib
• эксперименты машинного обучения в Microsoft Fabric