Uspořádání trénovacích běhů pomocí experimentů MLflow

Experimenty jsou jednotky organizace pro trénovací běhy modelu. Existují dva typy experimentů: pracovní prostor a poznámkový blok.

• Experiment pracovního prostoru můžete vytvořit z uživatelského rozhraní Databricks Mosaic AI nebo rozhraní API MLflow. Experimenty pracovního prostoru nejsou přidružené k žádnému poznámkovému bloku a každý poznámkový blok může do těchto experimentů protokolovat spuštění pomocí ID experimentu nebo názvu experimentu.
• Experiment poznámkového bloku je přidružený ke konkrétnímu poznámkovému bloku. Azure Databricks automaticky vytvoří experiment poznámkového bloku, pokud při spuštění pomocí mlflow.start_run() neexistuje žádný aktivní experiment.

Pokud chcete zobrazit všechny experimenty v pracovním prostoru, ke kterému máte přístup, vyberte na bočním panelu Machine Learning > Experimenty.

Vytvoření experimentu pracovního prostoru

Tato část popisuje, jak vytvořit experiment pracovního prostoru pomocí uživatelského rozhraní Azure Databricks. Experiment pracovního prostoru můžete vytvořit přímo z pracovního prostoru nebo ze stránky Experimenty.

Můžete také použít rozhraní API MLflow nebo poskytovatele Databricks Terraform s databricks_mlflow_experiment.

Pokyny k zaznamenávání průběhů do experimentů pracovního prostoru viz téma Zaznamenávání průběhů do experimentu.

Vytvoření experimentu z pracovního prostoru

1. Na bočním panelu klikněte na Pracovní prostor.

2. Přejděte do složky, ve které chcete experiment vytvořit.

3. Klikněte pravým tlačítkem na složku a vyberte Vytvořit experiment > MLflow.

4. V dialogovém okně Vytvořit experiment MLflow zadejte název experimentu a volitelné umístění artefaktu. Pokud nezadáte umístění artefaktů, artefakty se ukládají v úložišti artefaktů spravovaných MLflow: dbfs:/databricks/mlflow-tracking/<experiment-id>.

   Azure Databricks podporuje svazky Unity Catalog, úložiště objektů blob v Azure a umístění artefaktů v úložišti Azure Data Lake.

   V MLflow 2.15.0 a novějších můžete ukládat artefakty ve svazku katalogu Unity. Při vytváření experimentu MLflow zadejte cestu ke svazkům formuláře dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path jako umístění artefaktu experimentu MLflow, jak je znázorněno v následujícím kódu:

   EXP_NAME = "/Users/first.last@databricks.com/my_experiment_name"
   CATALOG = "my_catalog"
   SCHEMA = "my_schema"
   VOLUME = "my_volume"
   ARTIFACT_PATH = f"dbfs:/Volumes/{CATALOG}/{SCHEMA}/{VOLUME}"
   
   mlflow.set_tracking_uri("databricks")
   mlflow.set_registry_uri("databricks-uc")
   
   if mlflow.get_experiment_by_name(EXP_NAME) is None:
       mlflow.create_experiment(name=EXP_NAME, artifact_location=ARTIFACT_PATH)
   mlflow.set_experiment(EXP_NAME)
   

   Pokud chcete ukládat artefakty ve službě Azure Blob Storage, zadejte identifikátor URI formuláře wasbs://<container>@<storage-account>.blob.core.windows.net/<path>. Artefakty uložené ve službě Azure Blob Storage se nezobrazují v uživatelském rozhraní MLflow; musíte je stáhnout pomocí klienta úložiště objektů blob.

   Poznámka:

   Když artefakt uložíte do jiného umístění než DBFS, artefakt se nezobrazí v uživatelském rozhraní MLflow. Modely uložené v jiných umístěních než DBFS nelze zaregistrovat v registru modelů.

5. Klikněte na Vytvořit. Zobrazí se stránka s podrobnostmi o experimentu pro nový experiment.

6. Pokud chcete protokolovat spuštění do tohoto experimentu, zavolejte mlflow.set_experiment() cestu experimentu. Pokud chcete zobrazit cestu experimentu, klikněte na ikonu informací napravo od názvu experimentu. Podrobnosti a příklad poznámkového bloku najdete v záznamech spuštění experimentu .

Vytvoření experimentu ze stránky Experimenty

Pokud chcete vytvořit doladění základního modelu, AutoML nebo vlastní experiment, klikněte na Experimenty nebo vyberte Nový Experiment na levém postranním panelu.

V horní části stránky vyberte jednu z následujících možností konfigurace experimentu:

• základní model jemné ladění. Objeví se dialogové okno Foundation Model Fine-tuning. Podrobnosti najdete v tématu Vytvoření tréninkového běhu pomocí uživatelského rozhraní pro jemné ladění základního modelu.
• prognózování. Zobrazí se dialogové okno Konfigurace experimentu prognózování. Podrobnosti najdete v tématu Konfigurace experimentu AutoML.
• Klasifikace . Zobrazí se dialogové okno Konfigurovat experiment klasifikace. Podrobnosti najdete v tématu Nastavení klasifikačního experimentu s uživatelským rozhraním.
• regrese. Zobrazí se dialogové okno Konfigurovat experiment klasifikace. Podrobnosti najdete v tématu Nastavení regresního experimentu s uživatelským rozhraním.
• vlastní. Zobrazí se dialogové okno Vytvořit experiment MLflow. Podrobnosti najdete v kroku 4 v Vytvoření experimentu z pracovního prostoru.

vytvoření experimentu poznámkového bloku

Když použijete příkaz mlflow.start_run() v poznámkovém bloku, běh zaznamenává metriky a parametry do aktivního experimentu. Pokud není žádný experiment aktivní, Azure Databricks vytvoří experiment poznámkového bloku. Experiment na notebooku má stejný název a ID jako odpovídající notebook. ID poznámkového bloku je číselný identifikátor na konci adresy URL poznámkového bloku a ID.

Alternativně můžete předat cestu pracovního prostoru Azure Databricks k existujícímu poznámkovému bloku v mlflow.set_experiment() a vytvořit pro něj experiment poznámkového bloku.

Pokyny k zaznamenávání běhů do experimentů v poznámkových blocích najdete v tématu Zaznamenávání běhů do experimentu.

Poznámka:

Pokud odstraníte experiment poznámkového bloku pomocí rozhraní API (například MlflowClient.tracking.delete_experiment() v Pythonu), přesune se samotný poznámkový blok do složky Koš.

Zobrazení experimentů

Každý experiment, ke kterému máte přístup, se zobrazí na stránce experimentů. Na této stránce můžete zobrazit libovolný experiment. Kliknutím na název experimentu zobrazíte stránku podrobností experimentu.

Další způsoby přístupu ke stránce podrobností experimentu:

• Z nabídky pracovního prostoru můžete přistoupit na stránku s podrobnostmi o experimentu pracovního prostoru.
• Můžete získat přístup ke stránce s podrobnostmi o experimentu poznámkového bloku přímo z poznámkového bloku.

Pokud chcete hledat experimenty, zadejte text do pole Filtrovat experimenty a stiskněte Enter nebo klikněte na ikonu lupy. Seznam experimentů se změní tak, aby zobrazoval pouze experimenty, které obsahují hledaný text ve sloupciNázev , Vytvořené, Umístěnínebo Popis.

Kliknutím na název libovolného experimentu v tabulce zobrazíte stránku s podrobnostmi o experimentu:

Na stránce s podrobnostmi experimentu jsou uvedeny všechna spuštění přidružená k experimentu. V tabulce můžete otevřít stránku spuštěného procesu pro jakýkoli proces přidružený k experimentu kliknutím na jeho Název spuštění. Sloupec Source poskytuje přístup k verzi poznámkového bloku, která vytvořila spuštění. Spuštění můžete také prohledávat a filtrovat podle metrik nebo nastavení parametrů.

Zobrazení experimentu pracovního prostoru

1. Na bočním panelu klikněte na Pracovní prostor.
2. Přejděte do složky obsahující experiment.
3. Klikněte na název experimentu.

Zobrazení experimentu poznámkového bloku

Na pravém bočním panelu poznámkového bloku klikněte na Experiment iconikonu Experiment .

Postranní panel Spuštění experimentů se zobrazí a ukáže souhrn každého spuštění spojeného s experimentem v poznámkovém bloku, včetně parametrů a metrik každého spuštění. V horní části bočního panelu je název experimentu, do kterého se poznámkový blok naposledy protokoloval (buď experiment poznámkového bloku, nebo experiment pracovního prostoru).

Na bočním panelu můžete přejít na stránku s podrobnostmi experimentu nebo přímo na konkrétní průběh.

• Pokud chcete experiment zobrazit, klikněte úplně vpravo vedle možnosti Spuštění experimentu.
• Chcete-li zobrazit spuštění, klikněte na název spuštění.

Správa experimentů

Oprávnění k experimentu, který vlastníte, můžete přejmenovat, odstranit nebo spravovat na stránce experimentů, na stránce s podrobnostmi o experimentunebo v nabídce pracovního prostoru.

Poznámka:

Oprávnění k experimentu MLflow, který byl vytvořený poznámkovým blokem ve složce Databricks Git, nemůžete přímo přejmenovat, odstranit ani spravovat. Tyto akce musíte provést na úrovni složky Git.

Přejmenování experimentu

Experiment, který vlastníte, můžete přejmenovat ze stránky Experimenty nebo ze stránky s podrobnostmi o daném experimentu.

• Na stránce Experimenty klikněte na nabídku kebab ve sloupci úplně vpravo a potom klikněte na Přejmenovat.

• Na stránce podrobností experimentu klepněte na nabídku kebab vedle Oprávnění a potom klepněte na tlačítko Přejmenovat.

Experiment ve workspace můžete přejmenovat v rámci workspace. Klikněte pravým tlačítkem myši na název experimentu a potom klikněte na Přejmenovat.

Získání ID experimentu a cesty k experimentu

Na stránce podrobností experimentu lze kliknutím na ikonu informací napravo od názvu experimentu získat cestu k experimentu poznámkového bloku. Zobrazí se vyskakovací poznámka, která ukazuje cestu k experimentu, ID experimentu a umístění artefaktu. ID experimentu můžete použít v příkazu MLflow set_experiment k nastavení aktivního experimentu MLflow.

V poznámkovém bloku můžete zkopírovat úplnou cestu experimentu kliknutím na ikonu Cesta .

Odstranění experimentu poznámkového bloku

Experimenty poznámkových bloků jsou součástí poznámkového bloku a nelze je odstranit samostatně. Když odstraníte poznámkový blok, odstraní se přidružený experiment poznámkového bloku. Když odstraníte experiment poznámkového bloku pomocí uživatelského rozhraní, poznámkový blok se odstraní také.

Pokud chcete odstranit experimenty poznámkového bloku pomocí rozhraní API, použijte rozhraní API pracovního prostoru, abyste zajistili, že se poznámkový blok i experiment odstraní z pracovního prostoru.

Smazat experiment pracovního prostoru nebo experiment v poznámkovém bloku

Experiment, který vlastníte, můžete odstranit ze stránky experimentů nebo ze stránky s podrobnostmi experimentu.

Důležité

Když odstraníte experiment poznámkového bloku, poznámkový blok se odstraní také.

• Na stránce Experimenty klikněte na kebabovou nabídku ve sloupci úplně vpravo a potom klikněte na Odstranit.

• Na stránce podrobností experimentu klepněte na nabídku kebab vedle Oprávnění a potom klepněte na tlačítko Odstranit.

Experiment můžete odstranit z pracovního prostoru. Klikněte pravým tlačítkem myši na název experimentu a potom klikněte na Přesunout do koše.

Změnit oprávnění pro experiment

Chcete-li změnit oprávnění pro experiment ze stránky podrobností experimentu, klikněte na Oprávnění.

Oprávnění pro experiment, který vlastníte, můžete změnit na stránce Experimenty . Klikněte na kebab menu ve sloupci úplně vpravo a potom klikněte na Oprávnění.

Informace o úrovních oprávnění experimentu najdete v tématu Seznamy ACL experimentu MLflow.

Kopírování experimentů mezi pracovními prostory

K migraci experimentů MLflow mezi pracovními prostory můžete použít opensourcový opensourcový projekt MLflow Export-Import řízený komunitou.

Pomocí těchto nástrojů můžete:

• Sdílejte a spolupracujte s dalšími datovými vědci na stejném nebo jiném sledovacím serveru. Do pracovního prostoru můžete například naklonovat experiment od jiného uživatele.
• Zkopírujte experimenty MLflow a spuštění z místního sledovacího serveru do pracovního prostoru Databricks.
• Zálohujte klíčové experimenty a modely do jiného pracovního prostoru Databricks.