Krok 4. Ocena jakości weryfikacji koncepcji

Zobacz repozytorium GitHub, aby zapoznać się z przykładowym kodem w tej sekcji.

Oczekiwany czas: 5–60 minut. Czas różni się w zależności od liczby pytań w zestawie oceny. W przypadku 100 pytań ocena trwa około 5 minut.

Przegląd i oczekiwany wynik

W tym kroku użyto właśnie wyselekcjonowanych zestawów ewaluacyjnych, aby ocenić aplikację weryfikacji koncepcji i ustanowić jakość punktu odniesienia, koszt i opóźnienie. Wyniki oceny są używane przez następny krok, aby zidentyfikować główną przyczynę problemów z jakością.

Ocena odbywa się przy użyciu oceny agenta mozaiki sztucznej inteligencji i wygląda kompleksowo we wszystkich aspektach jakości, kosztów i opóźnień, które opisano w sekcji metryk tego podręcznika.

Zagregowane metryki i ocena poszczególnych pytań w zestawie oceny są rejestrowane w usłudze MLflow. Aby uzyskać szczegółowe informacje, zobacz Dane wyjściowe oceny.

Wymagania

• Dostępny jest zestaw oceny.
• Wszystkie wymagania z poprzednich kroków.

Instrukcje

1. Otwórz notes w wybranym katalogu WERYFIKACJI 05_evaluate_poc_quality koncepcji, a następnie kliknij pozycję Uruchom wszystko.
2. Sprawdź wyniki oceny w notesie lub przy użyciu biblioteki MLflow. Jeśli wyniki spełniają wymagania dotyczące jakości, możesz przejść bezpośrednio do strony [Wdrażanie i monitorowanie] . Ponieważ aplikacja weryfikacji koncepcji jest oparta na usłudze Databricks, jest gotowa do wdrożenia w skalowalnym, gotowym do produkcji interfejsie API REST.

Następny krok

Korzystając z tej podstawowej oceny jakości weryfikacji koncepcji, zidentyfikuj główne przyczyny wszelkich problemów z jakością i iteracyjne rozwiązywanie tych problemów w celu ulepszenia aplikacji. Zobacz Krok 5. Zidentyfikuj główną przyczynę problemów z jakością.