Microsoft Fabric에서 자동 로깅
Microsoft Fabric의 Synapse 데이터 과학 자동 로깅을 포함하므로 학습 중에 기계 학습 모델의 매개 변수, 메트릭 및 항목을 자동으로 기록하는 데 필요한 코드 양을 크게 줄입니다. 이 문서에서는 Microsoft Fabric의 Synapse 데이터 과학 대한 자동 로깅에 대해 설명합니다.
자동 로깅은 MLflow 추적 기능을 확장하며 Microsoft Fabric 환경의 Synapse 데이터 과학 깊이 통합됩니다. 자동 로깅은 정확도, 손실, F1 점수 및 정의한 사용자 지정 메트릭을 비롯한 다양한 메트릭을 캡처할 수 있습니다. 개발자와 데이터 과학자는 자동 로깅을 사용하여 수동 추적 없이 다양한 모델 및 실험의 성능을 쉽게 추적하고 비교할 수 있습니다.
지원되는 프레임워크
자동 로깅은 TensorFlow, PyTorch, Scikit-learn 및 XGBoost를 비롯한 다양한 기계 학습 프레임워크를 지원합니다. 자동 로깅이 캡처하는 프레임워크 관련 속성에 대한 자세한 내용은 MLflow 설명서를 참조하세요.
구성
자동 로깅은 학습 중인 기계 학습 모델의 입력 매개 변수, 출력 메트릭 및 출력 항목의 값을 자동으로 캡처하여 작동합니다. 이 정보는 MLflow API 또는 Microsoft Fabric 작업 영역의 해당 실험 및 모델 항목을 사용하여 액세스하고 시각화할 수 있는 Microsoft Fabric 작업 영역에 기록됩니다.
Synapse 데이터 과학 Notebook을 시작하면 Microsoft Fabric은 mlflow.autolog()를 호출하여 즉시 추적을 사용하도록 설정하고 해당 종속성을 로드합니다. Notebook에서 모델을 학습할 때 MLflow는 이 모델 정보를 자동으로 추적합니다.
구성은 import mlflow을(를) 실행할 때 백그라운드에서 자동으로 발생합니다. Notebook mlflow.autolog() 후크에 대한 기본 구성은 다음과 같습니다.
mlflow.autolog(
log_input_examples=False,
log_model_signatures=True,
log_models=True,
disable=False,
exclusive=True,
disable_for_unsupported_versions=True,
silent=True
)
사용자 지정
로깅 동작을 사용자 지정하려면 mlflow.autolog() 구성을 사용할 수 있습니다. 이 구성은 모델 로깅을 사용하도록 설정하거나, 입력 샘플을 수집하거나, 경고를 구성하거나, 지정한 추가 콘텐츠에 대한 로깅을 사용하도록 설정하는 매개 변수를 제공합니다.
더 많은 메트릭, 매개 변수 및 속성 추적
MLflow를 사용하여 만든 실행의 경우 다음과 같이 MLflow 자동 로깅 구성을 업데이트하여 추가 메트릭, 매개 변수, 파일 및 메타데이터를 추적합니다.
mlflow.autolog() 호출을 업데이트하여
exclusive=False을(를) 설정합니다.mlflow.autolog( log_input_examples=False, log_model_signatures=True, log_models=True, disable=False, exclusive=False, # Update this property to enable custom logging disable_for_unsupported_versions=True, silent=True )MLflow 추적 API를 사용하여 추가 매개 변수 및 메트릭을 기록합니다. 다음 예제 코드에서는 추가 속성과 함께 사용자 지정 메트릭 및 매개 변수를 기록할 수 있습니다.
import mlflow mlflow.autolog(exclusive=False) with mlflow.start_run(): mlflow.log_param("parameter name", "example value") # <add model training code here> mlflow.log_metric("metric name", 20)
Microsoft Fabric 자동 로깅 사용 안 함
특정 Notebook 세션에 대해 Microsoft Fabric 자동 로깅을 사용하지 않도록 설정할 수 있습니다. 작업 영역 설정을 사용하여 모든 Notebook에서 자동 로깅을 사용하지 않도록 설정할 수도 있습니다.
Notebook 세션에 대한 자동 로깅 사용 안 함
특정 Notebook 세션에 대해 Microsoft Fabric 자동 로깅을 사용하지 않도록 설정하려면 mlflow.autolog()를 호출하고 disable=True을(를) 설정합니다.
import mlflow
mlflow.autolog(disable=True)
모든 Notebook 및 세션에 자동 로깅 사용 안 함
작업 영역 관리자는 작업 영역 설정을 사용하여 작업 영역의 모든 Notebook 및 세션에 대해 Microsoft Fabric 자동 로깅을 사용하거나 사용하지 않도록 설정할 수 있습니다. Synapse 데이터 과학 자동 로깅을 사용하거나 사용하지 않도록 설정하려면 다음을 수행합니다.
Synapse 데이터 과학 작업 영역에서 작업 영역 설정을 선택합니다.
작업 영역 설정 화면에서 왼쪽 탐색 모음에서 데이터 엔지니어링/과학을 확장하고 Spark 설정을 선택합니다.
Spark 설정 화면에서 자동 로그 탭을 선택합니다.
자동으로 기계 학습 실험 및 모델을 추적하여 켜기 또는 끄기로 설정합니다.
저장을 선택합니다.
