Udostępnij za pośrednictwem

Planowanie zarządzania kosztami wnioskowania modelu w usługach Azure AI Services

  • Artykuł

W tym artykule opisano sposób planowania kosztów wnioskowania modelu i zarządzania nimi w usługach Azure AI Services. Po rozpoczęciu korzystania z wnioskowania modelu w zasobach usług Azure AI Services użyj funkcji usługi Cost Management, aby ustawić budżety i monitorować koszty.

Chociaż ten artykuł dotyczy planowania kosztów wnioskowania modelu i zarządzania nimi w usługach Azure AI Services, opłaty są naliczane za wszystkie usługi i zasoby platformy Azure używane w ramach subskrypcji platformy Azure.

Wymagania wstępne

  • Analiza kosztów w usłudze Cost Management obsługuje większość typów kont platformy Azure, ale nie wszystkie z nich. Aby wyświetlić pełną listę obsługiwanych typów kont, zobacz Omówienie danych usługi Cost Management.
  • Aby wyświetlić dane kosztów, potrzebujesz co najmniej dostępu do odczytu dla konta platformy Azure. Aby uzyskać informacje na temat przypisywania dostępu do danych zarządzania kosztami, zobacz Przypisywanie dostępu do danych.

Omówienie modelu wnioskowania modelu w modelu rozliczeń

Modele wdrożone w usługach Azure AI są naliczane za 1000 tokenów. Modele językowe rozumieją i przetwarzają tekst, dzieląc go na tokeny. Do celów referencyjnych każdy token ma mniej więcej cztery znaki dla typowego tekstu w języku angielskim. Koszty na token różnią się w zależności od wybranej serii modeli. Modele, które mogą przetwarzać obrazy, również rozkładają obrazy w tokenach. Liczba tokenów na obraz zależy od modelu i rozdzielczości obrazu wejściowego.

Koszty tokenów dotyczą zarówno danych wejściowych, jak i wyjściowych. Załóżmy na przykład, że masz przykładowy kod JavaScript o wartości 1000 tokenów, który prosi model o konwersję na język Python. Opłaty będą naliczane około 1000 tokenów dla wysłanego początkowego żądania wejściowego i 1000 dodatkowych tokenów dla danych wyjściowych, które są odbierane w odpowiedzi na łącznie 2000 tokenów.

W praktyce w przypadku tego typu wywołania ukończenia token wejściowy/wyjściowy nie byłby idealnie 1:1. Konwersja z jednego języka programowania na inny może spowodować dłuższe lub krótsze dane wyjściowe w zależności od wielu czynników. Jednym z takich czynników jest wartość przypisana do parametru max_tokens .

Podział kosztów

Aby zrozumieć podział kosztów, warto użyć narzędzia Analiza kosztów w witrynie Azure Portal. Wykonaj następujące kroki, aby zrozumieć koszt wnioskowania:

  1. Przejdź do witryny Azure AI Foundry Portal.

  2. W prawym górnym rogu ekranu wybierz nazwę zasobu usługi Azure AI Services lub jeśli pracujesz nad projektem sztucznej inteligencji, na nazwę projektu.

  3. Wybierz nazwę projektu. Witryna Azure Portal zostanie otwarta w nowym oknie.

    Zrzut ekranu przedstawiający sposób uzyskiwania dostępu do strony szczegółów grupy zasobów w witrynie Azure Portal z portalu azure AI Foundry.

  4. W obszarze Zarządzanie kosztami wybierz pozycję Analiza kosztów

  5. Domyślnie analiza kosztów jest ograniczona do wybranej grupy zasobów.

    Ważne

    Ważne jest, aby ograniczyć zakres analizy kosztów do grupy zasobów, w której wdrożono zasób usług Azure AI Services. Mierniki kosztów skojarzone z niektórymi dostawcami modelu, takimi jak Mistral AI lub Cohere, są wyświetlane w grupie zasobów zamiast zasobu usługi Azure AI Services.

  6. Zmodyfikuj grupę według na miernik. Teraz można zobaczyć, że dla tej konkretnej grupy zasobów źródło kosztów pochodzi z różnych serii modeli.

    Zrzut ekranu przedstawiający wyświetlanie kosztów według poszczególnych mierników w grupie zasobów.

W poniższych sekcjach opisano wpisy w szczegółach.

Modele platformy Azure OpenAI i firmy Microsoft

Opłaty za platformę Azure OpenAI i rodzinę modeli firmy Microsoft (na przykład Phi) są naliczane bezpośrednio i są wyświetlane jako mierniki rozliczeniowe w ramach każdego zasobu usług Azure AI. To rozliczanie odbywa się bezpośrednio za pośrednictwem firmy Microsoft. Podczas inspekcji rachunku zauważysz, że mierniki rozliczeniowe są rozliczane pod kątem danych wejściowych i wyjściowych dla każdego używanego modelu.

Zrzut ekranu przedstawiający pulpit nawigacyjny analizy kosztów w zakresie grupy zasobów, w której wdrożono zasób usług Azure AI Services, z wyróżnionymi miernikami dla modeli usługi Azure OpenAI i firmy Microsoft. Koszt jest grupowany według miernika.

Modele dostawców

Modele udostępniane przez innego dostawcę, takie jak Mistral AI, Cohere, Meta AI lub AI21 Labs, są rozliczane przy użyciu witryny Azure Marketplace. Podobnie jak w przypadku mierników rozliczeniowych firmy Microsoft te wpisy są skojarzone z grupą zasobów, w której są wdrażane usługi Azure AI zamiast do samego zasobu usług Azure AI Services. Wpisy są widoczne w obszarze Nazwausługi SaaS dla danych wejściowych i wyjściowych dla każdego używanego modelu.

Zrzut ekranu przedstawiający pulpit nawigacyjny analizy kosztów w zakresie grupy zasobów, w której wdrożono zasób usług Azure AI Services, z wyróżnionymi miernikami dla modeli rozliczanych w witrynie Azure Marketplace. Koszt jest grupowany według miernika.

Korzystanie z przedpłaty za platformę Azure

Opłaty za modele usługi Azure OpenAI i firmy Microsoft można płacić za środki z góry za platformę Azure. Nie można jednak użyć środków przedpłaty za platformę Azure, aby zapłacić za opłaty za inne modele dostawców, biorąc pod uwagę, że są one rozliczane za pośrednictwem witryny Azure Marketplace.

Kod odpowiedzi http o błędzie i stan rozliczeń

Jeśli usługa wykonuje przetwarzanie, opłaty są naliczane nawet wtedy, gdy kod stanu nie powiedzie się (nie 200). Na przykład błąd 400 spowodowany filtrem zawartości lub limitem danych wejściowych albo błąd 408 z powodu przekroczenia limitu czasu.

Jeśli usługa nie wykonuje przetwarzania, nie są naliczane opłaty. Na przykład błąd 401 spowodowany uwierzytelnianiem lub błędem 429 spowodowany przekroczeniem limitu szybkości.

Inne koszty

Włączenie funkcji, takich jak wysyłanie danych do dzienników usługi Azure Monitor i alerty, powoduje naliczanie dodatkowych kosztów dla tych usług. Te koszty są widoczne w ramach tych innych usług i na poziomie subskrypcji, ale nie są widoczne, gdy są one ograniczone tylko do zasobu usług Azure AI.

Monitorowanie kosztów

Koszty jednostek użycia zasobów platformy Azure różnią się w zależności od interwałów czasu, takich jak sekundy, minuty, godziny i dni lub użycie jednostek, takie jak bajty i megabajty. Po rozpoczęciu korzystania z usług AI platformy Azure koszty mogą być naliczane i można zobaczyć koszty w analizie kosztów.

Bardziej szczegółowe informacje dotyczące rozliczeń można uzyskać przy użyciu funkcji Analiza kosztów:

Aby zrozumieć podział tego, co stanowi ten koszt, warto użyć narzędzia Analiza kosztów w witrynie Azure Portal.

  1. Przejdź do witryny Azure AI Foundry Portal.

  2. W prawym górnym rogu ekranu wybierz nazwę zasobu usługi Azure AI Services lub jeśli pracujesz nad projektem sztucznej inteligencji, na nazwę projektu.

  3. Wybierz nazwę projektu. Witryna Azure Portal zostanie otwarta w nowym oknie.

  4. W obszarze Zarządzanie kosztami wybierz pozycję Analiza kosztów

  5. Domyślnie analiza kosztów jest ograniczona do wybranej grupy zasobów.

  6. Ponieważ widzimy koszt całej grupy zasobów, warto zobaczyć koszt według zasobu. W takim przypadku wybierz pozycję Wyświetl>koszt według zasobu.

    Zrzut ekranu przedstawiający wyświetlanie kosztów poszczególnych zasobów w grupie zasobów.

  7. Teraz możesz zobaczyć zasoby generujące poszczególne mierniki rozliczeniowe.

  8. Modele usługi Azure OpenAI i modele firmy Microsoft, jak wyjaśniono wcześniej, są wyświetlane jako mierniki w ramach każdego zasobu usług Azure AI:

    Zrzut ekranu przedstawiający pulpit nawigacyjny analizy kosztów w zakresie grupy zasobów, w której wdrożono zasób usług Azure AI Services, z wyróżnionymi miernikami dla modeli usługi Azure OpenAI i firmy Microsoft. Koszt jest grupowany według zasobu.

  9. Niektóre modele dostawców są wyświetlane jako mierniki w obszarze Zasoby globalne. Zwróć uwagę, że słowo Globalnie jest powiązane z jednostką SKU wdrożenia modelu (na przykład Global Standard). Jeśli masz wiele zasobów usług Azure AI, rachunek zawiera jeden wpis dla każdego modelu dla każdego zasobu usług Azure AI. Mierniki zasobów mają format [nazwa-modelu]-[GUID], gdzie [GUID] jest unikatowym identyfikatorem skojarzonym z danym zasobem usługi Azure AI Services. Zauważysz, że mierniki rozliczeniowe są rozliczane dla danych wejściowych i wyjściowych dla każdego używanego modelu.

    Zrzut ekranu przedstawiający pulpit nawigacyjny analizy kosztów w zakresie grupy zasobów, w której wdrożono zasób usług Azure AI Services, z wyróżnionymi miernikami dla modeli rozliczanych w witrynie Azure Marketplace. Koszt jest grupowany według zasobu.

Ważne jest, aby zrozumieć zakres podczas oceniania kosztów związanych z usługami Azure AI Services. Jeśli zasoby są częścią tej samej grupy zasobów, możesz określić zakres Analiza kosztów na tym poziomie, aby zrozumieć wpływ na koszty. Jeśli zasoby są rozmieszczone w wielu grupach zasobów, możesz ograniczyć zakres do poziomu subskrypcji.

Tworzenie budżetów

Budżety można tworzyć, aby zarządzać kosztami i tworzyć alerty, które powiadamiają uczestników projektu o anomaliach wydatków i nadmiernych kosztach ryzyka. Alerty są oparte na wydatkach w porównaniu z budżetem i progami kosztów. Budżety i alerty są tworzone dla subskrypcji i grup zasobów platformy Azure. Są one przydatne w ramach ogólnej strategii monitorowania kosztów.

Budżety można tworzyć z filtrami dla określonych zasobów lub usług na platformie Azure, jeśli chcesz mieć bardziej szczegółowość monitorowania. Filtry pomagają zagwarantować, że nie utworzysz przypadkowo nowych zasobów, które kosztują więcej pieniędzy. Aby uzyskać więcej informacji na temat opcji filtru dostępnych podczas tworzenia budżetu, zobacz Opcje grupowania i filtrowania.

Eksportowanie danych kosztów

Możesz również wyeksportować dane kosztów do konta magazynu, co jest przydatne, gdy potrzebujesz innych osób do przeprowadzenia dodatkowej analizy danych pod kątem kosztów. Na przykład zespół finansowy może analizować dane przy użyciu programu Excel lub usługi Power BI. Możesz wyeksportować koszty według dziennego, tygodniowego lub miesięcznego harmonogramu i ustawić niestandardowy zakres dat. Zalecamy wyeksportowanie danych kosztów jako sposób pobierania zestawów danych kosztów.

Następne kroki