Jak przeprowadzić testy porównawcze modeli w portalu usługi Azure AI Foundry
Ważne
Elementy oznaczone (wersja zapoznawcza) w tym artykule są obecnie dostępne w publicznej wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.
W tym artykule dowiesz się, jak porównać testy porównawcze między modelami i zestawami danych przy użyciu narzędzia testów porównawczych modelu w portalu usługi Azure AI Foundry. Dowiesz się również, jak analizować wyniki testów porównawczych i wykonywać testy porównawcze przy użyciu danych. Testy porównawcze mogą pomóc w podejmowaniu świadomych decyzji dotyczących tego, które modele spełniają wymagania dotyczące konkretnego przypadku użycia lub aplikacji.
Wymagania wstępne
Subskrypcja platformy Azure z prawidłową formą płatności. Subskrypcje platformy Azure w wersji bezpłatnej lub próbnej nie będą działać. Jeśli nie masz subskrypcji platformy Azure, utwórz płatne konto platformy Azure, aby rozpocząć.
Projekt usługi Azure AI Foundry.
Uzyskiwanie dostępu do testów porównawczych modelu za pośrednictwem katalogu modeli
Usługa Azure AI obsługuje testy porównawcze modeli dla wybranych modeli, które są popularne i najczęściej używane. Wykonaj następujące kroki, aby użyć szczegółowych wyników testów porównawczych, aby porównać i wybrać modele bezpośrednio z katalogu modeli usługi Azure AI Foundry:
- Zaloguj się do usługi Azure AI Foundry.
- Jeśli nie jesteś jeszcze w projekcie, wybierz go.
- Wybierz pozycję Katalog modeli w okienku nawigacji po lewej stronie.
Wybierz interesujący Cię model. Na przykład wybierz pozycję gpt-4o. Ta akcja spowoduje otwarcie strony przeglądu modelu.
Napiwek
W katalogu modeli można wyświetlić modele, które mają dostępne testy porównawcze, korzystając z filtru Kolekcje i wybierając pozycję Wyniki testu porównawczego. Te modele mają ikonę testów porównawczych , która wygląda jak histogram.
Przejdź do karty Testy porównawcze , aby sprawdzić wyniki testu porównawczego dla modelu.
Wróć do strony głównej wykazu modeli.
Wybierz pozycję Porównaj modele na stronie głównej katalogu modeli, aby eksplorować modele z obsługą testów porównawczych, wyświetlać metryki i analizować kompromisy między różnymi modelami. Ta analiza może poinformować o wyborze modelu, który najlepiej pasuje do Twoich wymagań.
Wybierz żądane zadania i określ interesujące wymiary, takie jak jakość sztucznej inteligencji i koszt, aby ocenić kompromisy między różnymi modelami.
Możesz przełączyć się do widoku Lista, aby uzyskać dostęp do bardziej szczegółowych wyników dla każdego modelu.
Analizowanie wyników testu porównawczego
Gdy jesteś na karcie "Testy porównawcze" dla określonego modelu, możesz zebrać obszerne informacje, aby lepiej zrozumieć i interpretować wyniki testów porównawczych, w tym:
Wyniki agregacji wysokiego poziomu: te wyniki dotyczące jakości, kosztów, opóźnień i przepływności sztucznej inteligencji zapewniają szybki przegląd wydajności modelu.
Wykresy porównawcze: te wykresy wyświetlają względną pozycję modelu w porównaniu z powiązanymi modelami.
Tabela porównania metryk: ta tabela przedstawia szczegółowe wyniki dla każdej metryki.
Domyślnie usługa Azure AI Foundry wyświetla średni indeks w różnych metrykach i zestawach danych, aby zapewnić ogólny przegląd wydajności modelu.
Aby uzyskać dostęp do wyników testu porównawczego dla określonej metryki i zestawu danych:
Wybierz przycisk rozwijania na wykresie. Wykres porównania podręcznego zawiera szczegółowe informacje i zapewnia większą elastyczność porównywania.
Wybierz interesującą metryę i wybierz różne zestawy danych na podstawie konkretnego scenariusza. Aby uzyskać bardziej szczegółowe definicje metryk i opisów publicznych zestawów danych używanych do obliczania wyników, wybierz pozycję Czytaj więcej.
Ocena wyników testu porównawczego przy użyciu danych
W poprzednich sekcjach przedstawiono wyniki testów porównawczych obliczane przez firmę Microsoft przy użyciu publicznych zestawów danych. Można jednak spróbować ponownie wygenerować ten sam zestaw metryk przy użyciu danych.
Wróć do karty Testy porównawcze na karcie modelu.
Wybierz pozycję Wypróbuj przy użyciu własnych danych , aby ocenić model przy użyciu danych. Ocena danych pomaga zobaczyć, jak model działa w określonych scenariuszach.
