Så här jämför du modeller i Azure AI Foundry-portalen
Viktigt!
Objekt markerade (förhandsversion) i den här artikeln är för närvarande i offentlig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.
I den här artikeln lär du dig att jämföra riktmärken mellan modeller och datauppsättningar med hjälp av verktyget modellmått i Azure AI Foundry-portalen. Du lär dig också att analysera benchmarkingresultat och att utföra benchmarking med dina data. Benchmarking kan hjälpa dig att fatta välgrundade beslut om vilka modeller som uppfyller kraven för ditt specifika användningsfall eller program.
Förutsättningar
En Azure-prenumeration med en giltig betalningsmetod. Kostnadsfria azure-prenumerationer eller utvärderingsprenumerationer fungerar inte. Om du inte har en Azure-prenumeration skapar du ett betalt Azure-konto för att börja.
Prestandamått för åtkomstmodeller via modellkatalogen
Azure AI har stöd för modellmätning för utvalda modeller som är populära och som används oftast. Följ de här stegen om du vill använda detaljerade prestandamätningsresultat för att jämföra och välja modeller direkt från AI Foundry-modellkatalogen:
- Logga in på Azure AI Foundry.
- Om du inte redan är med i projektet väljer du det.
- Välj Modellkatalog i det vänstra navigeringsfönstret.
Välj den modell som du är intresserad av. Välj till exempel gpt-4o. Den här åtgärden öppnar modellens översiktssida.
Dricks
Från modellkatalogen kan du visa de modeller som har benchmarking tillgängliga genom att använda filtret Samlingar och välja Benchmark-resultat. Dessa modeller har en benchmark-ikon som ser ut som ett histogram.
Gå till fliken Benchmarks för att kontrollera modellens prestandaresultat.
Gå tillbaka till startsidan för modellkatalogen.
Välj Jämför modeller på modellkatalogens startsida för att utforska modeller med benchmark-stöd, visa deras mått och analysera kompromisserna mellan olika modeller. Den här analysen kan informera ditt val av modell som bäst passar dina krav.
Välj önskade uppgifter och ange intressedimensioner, till exempel AI-kvalitet kontra kostnad, för att utvärdera kompromisserna mellan olika modeller.
Du kan växla till listvyn för att få tillgång till mer detaljerade resultat för varje modell.
Analysera prestandaresultat
När du är på fliken "Benchmarks" för en specifik modell kan du samla in omfattande information för att bättre förstå och tolka prestandaresultaten, inklusive:
Aggregeringspoäng på hög nivå: Dessa resultat för AI-kvalitet, kostnad, svarstid och dataflöde ger en snabb översikt över modellens prestanda.
Jämförelsediagram: Dessa diagram visar modellens relativa position jämfört med relaterade modeller.
Jämförelsetabell för mått: Den här tabellen visar detaljerade resultat för varje mått.
Som standard visar AI Foundry ett genomsnittligt index för olika mått och datauppsättningar för att ge en översikt över modellprestanda på hög nivå.
Så här får du tillgång till prestandaresultat för ett visst mått och en datauppsättning:
Välj knappen expandera i diagrammet. Popup-jämförelsediagrammet visar detaljerad information och ger större flexibilitet för jämförelse.
Välj måttet av intresse och välj olika datauppsättningar baserat på ditt specifika scenario. Om du vill ha mer detaljerade definitioner av mått och beskrivningar av de offentliga datauppsättningar som används för att beräkna resultat väljer du Läs mer.
Utvärdera prestandaresultat med dina data
De föregående avsnitten visade prestandaresultaten som beräknades av Microsoft med hjälp av offentliga datamängder. Du kan dock försöka återskapa samma uppsättning mått med dina data.
Gå tillbaka till fliken Benchmarks i modellkortet.
Välj Prova med dina egna data för att utvärdera modellen med dina data. Utvärdering av dina data hjälper dig att se hur modellen presterar i dina specifika scenarier.
