Monitorování kvality modelu a stavu koncového bodu
Rozhraní AI Model Serving poskytuje pokročilé nástroje pro monitorování kvality a stavu modelů a jejich nasazení. Následující table představuje přehled jednotlivých dostupných monitorovacích nástrojů.
| Nástroj | Popis | Účel | Přístup |
|---|---|---|---|
| Protokoly služeb | Zaznamenává a stdout streamuje stderr z koncového bodu obsluhujícího model. |
Užitečné pro ladění během nasazování modelu. Umožňuje print(..., flush=true) okamžité zobrazení v protokolech. |
Přístupné pomocí karty Protokoly v uživatelském rozhraní obsluhy. Protokoly se streamují v reálném čase a dají se exportovat prostřednictvím rozhraní API. |
| Protokoly sestavení | Zobrazí výstup z procesu, který automaticky vytvoří produkční prostředí Pythonu pro koncový bod obsluhující model. | Užitečné při diagnostice problémů s nasazením modelu a závislostmi. | K dispozici po dokončení modelu obsluhujícího sestavení v části Protokoly sestavení na kartě Protokoly . Protokoly je možné exportovat prostřednictvím rozhraní API. |
| Metriky stavu koncového bodu | Poskytuje přehled o metrikách infrastruktury, jako je latence, frekvence požadavků, míra chyb, využití procesoru a využití paměti. | Důležité pro pochopení výkonu a stavu obslužné infrastruktury. | Ve výchozím nastavení je k dispozici v uživatelském rozhraní obsluhy za posledních 14 dnů. Data je možné streamovat také do nástrojů pozorovatelnosti v reálném čase. |
| Odvozování tables | Automaticky protokoluje žádosti o online predikce a odpovědi do Delta tables, kterou spravuje Unity Catalog pro vlastní modely . | Tento nástroj slouží k monitorování a ladění kvality modelu nebo odpovědí, generování trénovacích sad dat nebo provádění auditů dodržování předpisů. | Pro existující a nové koncové body obsluhy modelů je možné povolit jediným kliknutím v uživatelském rozhraní obsluhy nebo programově pomocí rozhraní API pro obsluhu. |
| inferenci umožněnou AI bránou tables | Automaticky protokolují žádosti o online predikce a odpovědi do služby Delta tables spravované Unity Catalog pro koncové body, které obsluhují externí modely nebo úlohy s zřízenou propustností. | Tento nástroj slouží k monitorování a ladění kvality modelu nebo odpovědí, generování trénovacích sad dat nebo provádění auditů dodržování předpisů. | Může být povoleno pro stávající a nové koncové body služby při povolování funkcí AI Gateway pomocí uživatelského rozhraní služby nebo rozhraní REST API. |