Sdílet prostřednictvím

Krok 4. Vyhodnocení kvality POC

  • Článek

pracovní postup se zvýrazněným krokem vyhodnocení

Podívejte se na úložiště GitHub pro vzorový kód v této části.

Očekávaný čas: 5 – 60 minut. Čas se liší podle počtu otázek v sadě hodnocení. 100 otázek trvá vyhodnocení přibližně 5 minut.

Přehled a očekávaný výsledek

Tento krok používá sadu vyhodnocení, kterou jste právě nastavili, k vyhodnocení aplikace POC a k vytvoření základní kvality, nákladů a latence. Výsledky vyhodnocení se používají v dalším kroku k identifikaci původní příčiny problémů s kvalitou.

Vyhodnocení se provádí pomocí Mosaic AI Agent Evaluation a komplexně pokrývá všechny aspekty kvality, nákladů a latence, které jsou uvedeny v části metriky tohoto kurzu.

Agregované metriky a vyhodnocení každé otázky v sadě hodnocení se protokolují do MLflow. Podrobnosti najdete v části Výstupy vyhodnocení.

Požadavky

  • Sada vyhodnocení je k dispozici.
  • Všechny požadavky z předchozích kroků.

Pokyny

  1. Otevřete poznámkový blok ve zvoleném 05_evaluate_poc_quality adresáři POC a klikněte na Spustit vše.
  2. Zkontrolujte výsledky vyhodnocení v poznámkovém bloku nebo pomocí MLflow. Pokud výsledky splňují vaše požadavky na kvalitu, můžete přeskočit přímo k nasazení a monitorování. Vzhledem k tomu, že aplikace POC je založená na Databricks, je připravená k nasazení do škálovatelného rozhraní REST API připraveného pro produkční prostředí.

Další krok

Pomocí tohoto základního vyhodnocení kvality POC identifikujte původní příčiny problémů s kvalitou a iterativním řešením těchto problémů za účelem zlepšení aplikace. Viz krok 5. Identifikace původní příčiny problémů s kvalitou

< předchozí: Krok 3. Sestavit hodnoticí sadu

Další: Krok 5. Odsazení původních příčin problémů s kvalitou >