Aktualizacja procesów uczenia maszynowego do modeli docelowych w środowisku Unity Catalog

W tym artykule wyjaśniono, jak migrować i uaktualniać istniejące przepływy pracy usługi Databricks do używania modeli w środowisku Unity Catalog.

Wymagania

Wymagane uprawnienia

Aby wykonać trenowanie, wdrażanie lub wnioskowanie modelu w Unity Catalog, osoba z uprawnieniami uruchamiająca przepływ pracy musi posiadać uprawnienia USE CATALOG i USE SCHEMA na catalog i schema, które przechowują model.

Wymagane są również następujące uprawnienia:

• Aby utworzyć model, podmiot zabezpieczeń musi mieć CREATE MODEL uprawnienia.
• Aby załadować lub wdrożyć model, podmiot zabezpieczeń musi mieć EXECUTE uprawnienia do zarejestrowanego modelu.

Tylko właściciel zarejestrowanego modelu może wykonać następujące czynności:

• Utwórz nową wersję modelu.
• Set alias dla zarejestrowanego modelu.

Wymagania dotyczące obliczeń

Zasób obliczeniowy określony dla przepływu pracy musi mieć dostęp do środowiska Unity Catalog. Zobacz Tryby dostępu.

Tworzenie przepływów pracy uczenia równoległego, wdrażania i wnioskowania

Aby uaktualnić przepływy pracy związane z trenowaniem i wnioskowaniem modelu do Unity Catalog, usługa Databricks zaleca podejście przyrostowe, w którym tworzysz równoległy proces trenowania, wdrażania i wnioskowania, który korzysta z modeli w Unity Catalog. Jeśli jesteś zadowolony z wyników przy użyciu Unity Catalog, możesz przełączyć użytkowników dalej w łańcuchu, aby odczytywali wyjściowe dane wsadowe, lub zwiększyć ruch kierowany do modeli w Unity Catalog na punktach końcowych obsługi.

Przepływ pracy trenowania modelu

Sklonuj przepływ pracy trenowania modelu. Upewnij się, że podmiot zabezpieczeń uruchamiający przepływ pracy i obliczenia określone dla przepływu pracy spełniają wymagania.

Następnie zmodyfikuj kod trenowania modelu w sklonowanym przepływie pracy. Może być konieczne sklonowanie notesu uruchamianego przez przepływ pracy lub utworzenie nowej gałęzi git w sklonowanym przepływie pracy. Wykonaj tych kroków, aby zainstalować niezbędną wersję biblioteki MLflow i skonfigurować klienta w celu kierowania Catalog aparatu Unity w kodzie trenowania. Następnie update kod trenowania modelu, aby zarejestrować modele w środowisku Unity Catalog. Zobacz Trenowanie i rejestrowanie modeli zgodnych z platformą Unity Catalog.

Przepływ pracy wdrażania modelu

Sklonuj przepływ pracy wdrażania modelu. Upewnij się, że podmiot zabezpieczeń uruchamiający przepływ pracy i obliczenia określone dla przepływu pracy spełniają wymagania.

Jeśli masz logikę walidacji modelu w przepływie pracy wdrażania, update ją, aby załadować wersje modelu z UC. Użyj aliasów do zarządzania wdrożeniami modelu produkcyjnego.

Przepływ pracy wnioskowania modelu

Przepływ pracy wnioskowania wsadowego

Sklonuj przepływ pracy wnioskowania wsadowego. Upewnij się, że podmiot zabezpieczeń uruchamiający przepływ pracy i obliczenia określone dla przepływu pracy spełniają wymagania.

Przepływ pracy obsługujący model

Jeśli używasz usługi Mosaic AI Model Serving, nie musisz klonować istniejącego punktu końcowego. Zamiast tego użyj funkcji podziału ruchu , aby rozpocząć kierowanie małego ułamka ruchu do modeli w środowisku Unity Catalog. Podczas przeglądania wyników w Unity Catalog, zwiększ ilość ruchu aż do przekierowania całego ruchu.

Podwyższanie poziomu modelu w różnych środowiskach

Promowanie modelu w różnych środowiskach działa inaczej z modelami w środowisku Unity Catalog. Aby uzyskać szczegółowe informacje, zobacz Podwyższanie poziomu modelu w różnych środowiskach.

Używanie elementów webhook zadań do ręcznego zatwierdzania wdrożenia modelu

Usługa Databricks zaleca zautomatyzowanie wdrażania modelu, jeśli to możliwe, przy użyciu odpowiednich testów i testów podczas procesu wdrażania modelu. Jeśli jednak konieczne jest wykonanie ręcznych zatwierdzeń w celu wdrożenia modeli produkcyjnych, możesz użyć powiadomień zadań , aby wywołać zewnętrzne systemy ciągłej integracji/ciągłego wdrażania w celu żądania ręcznego zatwierdzenia wdrożenia modelu po pomyślnym zakończeniu zadania trenowania modelu. Po ręcznym zatwierdzeniu system ciągłej integracji/ciągłego wdrażania może następnie wdrożyć wersję modelu w celu obsługi ruchu, na przykład przez ustawienie aliasu "Champion" na nim.