Benchmarking von Modellen im Azure KI Foundry-Portal
Wichtig
Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.
In diesem Artikel lernen Sie, Benchmarks über Modelle und Datasets hinweg zu vergleichen, indem Sie das Tool für Modell-Benchmarks im Azure KI Foundry-Portal verwenden. Sie lernen auch, Benchmarkergebnisse zu analysieren und Benchmarks mit Ihren Daten durchzuführen. Benchmarking kann Ihnen dabei helfen, fundierte Entscheidungen darüber zu treffen, welche Modelle die Anforderungen Ihres jeweiligen Anwendungsfalles oder Ihrer Anwendung erfüllen.
Voraussetzungen
Ein Azure-Abonnement mit einer gültigen Zahlungsmethode. Kostenlose Versionen oder Testversionen von Azure-Abonnements funktionieren nicht. Wenn Sie noch kein Azure-Abonnement haben, erstellen Sie zunächst ein kostenpflichtiges Azure-Konto.
Zugreifen auf Modell-Benchmarks über den Modellkatalog
Azure KI unterstützt Modell-Benchmarking für ausgewählte Modelle, die beliebt sind und am häufigsten verwendet werden. Führen Sie die folgenden Schritte aus, um detaillierte Benchmarkergebnisse zum Vergleichen und Auswählen von Modellen direkt im Azure KI Foundry-Modellkatalog zu verwenden:
- Melden Sie sich bei Azure KI Foundry an.
- Wenn Sie sich noch nicht in Ihrem Projekt befinden, wählen Sie es aus.
- Wählen Sie im linken Navigationsbereich Modellkatalog aus.
Wählen Sie das Modell aus, das Sie interessiert. Wählen Sie z. B. gpt-4o aus. Diese Aktion öffnet die Übersichtsseite des Modells.
Tipp
Im Modellkatalog können Sie die Modelle anzeigen, für die Benchmarks verfügbar sind, indem Sie den Filter Sammlungen verwenden und Benchmarkergebnisse auswählen. Diese Modelle weisen ein Benchmarks-Symbol auf, das wie ein Histogramm aussieht.
Wechseln Sie zur Registerkarte Benchmarks, um die Benchmarkergebnisse für das Modell zu überprüfen.
Kehren Sie zur Startseite des Modellkatalogs zurück.
Wählen Sie auf der Startseite des Modellkatalogs Modelle vergleichen aus, um Modelle mit Benchmarkunterstützung zu erkunden, ihre Metriken anzuzeigen und die Abwägungen zwischen verschiedenen Modellen zu analysieren. Diese Analyse kann Ihre Auswahl des Modells unterstützen, das Ihren Anforderungen am besten entspricht.
Wählen Sie Ihre gewünschten Aufgaben aus, und geben Sie die relevanten Dimensionen an, z. B. KI-Qualität im Vergleich zu Kosten, um die Abwägungen zwischen verschiedenen Modellen zu bewerten.
Sie können zur Listenansicht wechseln, um auf detailliertere Ergebnisse für jedes Modell zuzugreifen.
Analysieren von Benchmarkergebnissen
Wenn Sie sich auf der Registerkarte „Benchmarks“ für ein bestimmtes Modell befinden, können Sie umfangreiche Informationen sammeln, um die Benchmarkergebnisse besser zu verstehen und zu interpretieren. Dazu zählen folgende:
Allgemeine aggregierte Bewertungen: Diese Bewertungen für KI-Qualität, Kosten, Latenz und Durchsatz bieten einen schnellen Überblick über die Leistung des Modells.
Vergleichsdiagramme: Diese Diagramme zeigen die relative Position des Modells im Vergleich zu verwandten Modellen an.
Vergleichstabelle für Metriken: Diese Tabelle enthält detaillierte Ergebnisse für jede Metrik.
Standardmäßig zeigt Azure KI Foundry einen durchschnittlichen Index für verschiedene Metriken und Datasets an, um einen allgemeinen Überblick über die Modellleistung bereitzustellen.
So greifen Sie auf Benchmarkergebnisse für eine bestimmte Metrik und ein bestimmtes Dataset zu
Wählen Sie die Schaltfläche „Erweitern“ im Diagramm aus. Das Popupvergleichsdiagramm zeigt detaillierte Informationen an und bietet mehr Flexibilität für den Vergleich.
Wählen Sie die relevante Metrik und dann verschiedene Datasets basierend auf Ihrem jeweiligen Szenario aus. Wenn Sie detailliertere Definitionen der Metriken und Beschreibungen der öffentlichen Datasets, die zum Berechnen von Ergebnissen verwendet werden, erhalten möchten, wählen Sie Weitere Informationen aus.
Auswerten von Benchmarkergebnissen mit Ihren Daten
In den vorherigen Abschnitten wurden die von Microsoft mithilfe eines öffentlichen Datasets berechneten Benchmarkergebnisse gezeigt. Sie können jedoch versuchen, denselben Satz von Metriken mit Ihren Daten neu zu generieren.
Kehren Sie zur Registerkarte Benchmarks auf der Modellkarte zurück.
Wählen Sie Mit eigenen Daten testen aus, um das Modell mit Ihren Daten auszuwerten. Anhand der Auswertung Ihrer Daten können Sie sehen, wie das Modell in Ihren jeweiligen Szenarien funktioniert.
