Postup srovnávacích testů modelů na portálu Azure AI Foundry
Důležité
Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.
V tomto článku se naučíte porovnávat srovnávací testy napříč modely a datovými sadami pomocí nástroje srovnávacích testů modelů na portálu Azure AI Foundry. Naučíte se také analyzovat výsledky srovnávacích testů a provádět srovnávací testy s vašimi daty. Srovnávací testy vám můžou pomoct při informovaných rozhodnutích o tom, které modely splňují požadavky na konkrétní případ použití nebo aplikaci.
Požadavky
Předplatné Azure s platným způsobem platby. Bezplatná nebo zkušební předplatná Azure nebudou fungovat. Pokud nemáte předplatné Azure, vytvořte si placený účet Azure, abyste mohli začít.
Přístup k srovnávacím testům modelů prostřednictvím katalogu modelů
Azure AI podporuje srovnávací testy modelů pro vybrané modely, které jsou oblíbené a nejčastěji používané. Pokud chcete k porovnání a výběru modelů přímo z katalogu modelů Azure AI Foundry použít podrobné výsledky srovnávacích testů, postupujte takto:
- Přihlaste se k Azure AI Foundry.
- Pokud ještě nejste v projektu, vyberte ho.
- V levém navigačním podokně vyberte Katalog modelů.
Vyberte model, který vás zajímá. Vyberte například gpt-4o. Tato akce otevře stránku přehledu modelu.
Tip
V katalogu modelů můžete zobrazit modely, které mají k dispozici srovnávací testy, pomocí filtru Kolekce a výběrem výsledků srovnávacího testu. Tyto modely mají ikonu srovnávacích testů , která vypadá jako histogram.
Přejděte na kartu Srovnávací testy a zkontrolujte výsledky srovnávacích testů modelu.
Vraťte se na domovskou stránku katalogu modelů.
Výběrem možnosti Porovnat modely na domovské stránce katalogu modelů můžete prozkoumat modely s podporou srovnávacích testů, zobrazit jejich metriky a analyzovat kompromisy mezi různými modely. Tato analýza může informovat váš výběr modelu, který nejlépe vyhovuje vašim požadavkům.
Vyberte požadované úkoly a určete rozměry zájmu, jako je kvalita AI versus Náklady, a vyhodnoťte kompromisy mezi různými modely.
Pokud chcete získat přístup k podrobnějším výsledkům pro každý model, můžete přepnout do zobrazení Seznamu.
Analýza výsledků srovnávacích testů
Když jste na kartě Srovnávací testy pro konkrétní model, můžete shromáždit rozsáhlé informace, abyste lépe porozuměli výsledkům srovnávacích testů a interpretovat je, včetně těchto:
Agregační skóre vysoké úrovně: Tato skóre pro kvalitu AI, náklady, latenci a propustnost poskytují rychlý přehled výkonu modelu.
Srovnávací grafy: Tyto grafy zobrazují relativní pozici modelu v porovnání se souvisejícími modely.
Tabulka porovnání metrik: Tato tabulka obsahuje podrobné výsledky pro každou metriku.
Azure AI Foundry ve výchozím nastavení zobrazuje průměrný index napříč různými metrikami a datovými sadami, aby poskytoval základní přehled výkonu modelu.
Přístup k výsledkům srovnávacího testu pro konkrétní metriku a datovou sadu:
Vyberte tlačítko rozbalení v grafu. Automaticky otevíraný srovnávací graf ukazuje podrobné informace a nabízí větší flexibilitu pro porovnání.
Vyberte metriku, která vás zajímá, a na základě konkrétního scénáře zvolte různé datové sady. Pokud chcete podrobnější definice metrik a popisů veřejných datových sad používaných k výpočtu výsledků, vyberte Další informace.
Vyhodnocení výsledků srovnávacích testů s daty
Předchozí části ukázaly výsledky srovnávacího testu vypočítané Microsoftem pomocí veřejných datových sad. Můžete se ale pokusit znovu vygenerovat stejnou sadu metrik s vašimi daty.
Vraťte se na kartu Srovnávací testy na kartě modelu.
Vyberte Vyzkoušet s vlastními daty a vyhodnoťte model s vašimi daty. Vyhodnocení dat vám pomůže zjistit, jak model funguje ve vašich konkrétních scénářích.
