Krok 6. Tworzenie i ocenianie poprawek jakości agenta sztucznej inteligencji

W tym artykule przedstawiono kroki iterowania i oceniania poprawek jakości w generowanym agencie sztucznej inteligencji na podstawie analizy głównej przyczyny.

Aby uzyskać więcej informacji na temat oceniania agenta sztucznej inteligencji, zobacz Co to jest ocena agenta mozaiki sztucznej inteligencji?.

Wymagania

1. Na podstawie analizy głównej przyczyny zidentyfikowano potencjalne poprawki pobierania lub generowania w celu zaimplementowania i oceny.
2. Aplikacja weryfikacji koncepcji (lub inny łańcuch punktów odniesienia) jest rejestrowana w przebiegu platformy MLflow z oceną oceny agenta przechowywaną w tym samym przebiegu.

Zobacz repozytorium GitHub, aby zapoznać się z przykładowym kodem w tej sekcji.

Oczekiwany wynik oceny agenta

Na powyższej ilustracji przedstawiono dane wyjściowe oceny agenta w środowisku MLflow.

Jak naprawić, ocenić i iterować agenta sztucznej inteligencji

W przypadku wszystkich typów użyj notesu B_quality_iteration/02_evaluate_fixes , aby ocenić wynikowy łańcuch w porównaniu z konfiguracją punktu odniesienia, weryfikacją koncepcji i wybrać "zwycięzcę". Ten notes ułatwia wybranie zwycięskiego eksperymentu i wdrożenie go w aplikacji do przeglądu lub gotowej do produkcji, skalowalnego interfejsu API REST.

1. W usłudze Azure Databricks otwórz notes B_quality_iteration/02_evaluate_fixes .
2. Na podstawie typu implementowanej poprawki:
   • W przypadku poprawek potoku danych:
     • Wykonaj krok 6 (potoki). Zaimplementuj poprawki potoku danych, aby utworzyć nowy potok danych i uzyskać nazwę wynikowego przebiegu platformy MLflow.
     • Dodaj nazwę przebiegu do zmiennej DATA_PIPELINE_FIXES_RUN_NAMES .
   • W przypadku poprawek konfiguracji łańcucha:
     • Postępuj zgodnie z instrukcjami w Chain configuration sekcji notesu 02_evaluate_fixes , aby dodać poprawki konfiguracji łańcucha do zmiennej CHAIN_CONFIG_FIXES .
   • W przypadku poprawek kodu łańcucha:
     • Utwórz zmodyfikowany plik kodu łańcucha i zapisz go w folderze B_quality_iteration/chain_code_fixes . Alternatywnie wybierz jedną z podanych poprawek kodu łańcucha z tego folderu.
     • Postępuj zgodnie z instrukcjami w Chain code sekcji notesu 02_evaluate_fixes , aby dodać plik kodu łańcucha i dowolną dodatkową konfigurację łańcucha wymaganą do zmiennej CHAIN_CODE_FIXES .
3. Podczas uruchamiania notesu Run evaluation z komórki następuje wykonanie następujących czynności:
   • Oceń każdą poprawkę.
   • Ustal poprawkę z najlepszymi metrykami jakości/kosztów/opóźnień.
   • Wdróż najlepsze rozwiązanie w interfejsie API REST przeglądu aplikacji i gotowego do produkcji interfejsu API REST, aby uzyskać opinie uczestników projektu.

Następny krok

Kontynuuj pracę z krokiem 6 (potoki). Implementowanie poprawek potoku danych.

< Poprzedni: Krok 5.2. Jakość generowania debugowania

Dalej: Krok 6.1. Naprawianie potoku danych >