Planen und Verwalten von Kosten für Modellinferenz in Azure KI Services

In diesem Artikel erfahren Sie, wie Sie die Kosten für Modellinferenz in Azure KI Services planen und verwalten. Nachdem Sie mit der Nutzung der Modellinferenz in Azure KI Services-Ressourcen begonnen haben, können Sie mithilfe der Cost Management-Features Budgets festlegen und Kosten überwachen.

Zwar geht es in diesem Artikel um das Planen und Verwalten der Kosten für die Modellinferenz in Azure KI Services, Ihnen werden aber alle Azure-Dienste und -Ressourcen in Rechnung gestellt, die in Ihrem Azure-Abonnement verwendet werden.

Voraussetzungen

• Die Kostenanalyse in Cost Management unterstützt die meisten Azure-Kontotypen, jedoch nicht alle. Die vollständige Liste der unterstützten Kontotypen finden Sie unter Grundlegendes zu Cost Management-Daten.
• Um Kostendaten anzeigen zu können, müssen Sie mindestens über Lesezugriff auf ein Azure-Konto verfügen. Informationen zum Zuweisen des Zugriffs auf Kostenverwaltungsdaten finden Sie unter Zuweisen des Zugriffs auf Daten in Cost Management.

Grundlegendes zum Modellinferenz-Abrechnungsmodell

In Azure KI Services bereitgestellte Modelle werden pro 1.000 Token in Rechnung gestellt. Sprachmodelle verstehen und verarbeiten Text, indem sie ihn in Token unterteilen. Zur Referenz besteht jedes Token für typisch englischen Text aus ungefähr vier Zeichen. Die Kosten pro Token variieren je nach ausgewählter Modellreihe. Modelle, die Bilder verarbeiten können, unterteilen auch Bilder in Token. Die Anzahl der Token pro Bild hängt vom Modell und von der Auflösung des Eingabebilds ab.

Tokenkosten gelten für Eingabe und Ausgabe. Angenommen, Sie verfügen über ein JavaScript-Codebeispiel mit 1.000 Token, das Sie von einem Modell in Python konvertieren lassen möchten. Ihnen würden ungefähr 1.000 Token für die erste gesendete Eingabeanforderung und weitere 1.000 Token für die als Antwort erhaltene Ausgabe berechnet, insgesamt also 2.000 Token.

In der Praxis würde für diese Art von Abschlussaufruf die Tokeneingabe/-ausgabe nicht exakt 1:1 sein. Eine Konvertierung von einer Programmiersprache in eine andere kann zu einer längeren oder kürzeren Ausgabe führen, was von vielen Faktoren abhängt. Ein solcher Faktor ist der dem max_tokens-Parameter zugewiesene Wert.

Kostenaufschlüsselung

Um die Kostenaufschlüsselung zu verstehen, kann das Tool Cost Analysis im Azure-Portal nützlich sein. Führen Sie die folgenden Schritte aus, um die Rückschlusskosten zu erfassen:

1. Rufen Sie das Azure AI Foundry-Portal auf.

2. Wählen Sie oben rechts auf dem Bildschirm den Namen Ihrer Azure KI Services-Ressource aus. Wenn Sie an einem KI-Projekt arbeiten, wählen Sie den Namen des Projekts aus.

3. Wählen Sie den Projektnamen aus. Das Azure-Portal wird in einem neuen Fenster geöffnet.

   

4. Wählen Sie unter Cost Management die Option Kostenanalyse aus.

5. Standardmäßig umfasst die Kostenanalyse die ausgewählte Ressourcengruppe.

   Wichtig

   Es ist wichtig, dass der Bereich der Kostenanalyse auf die Ressourcengruppe festgelegt ist, in der die Azure KI Services-Ressource bereitgestellt wird. Kostenverbrauchseinheiten, die bestimmten Modellanbietern zugeordnet sind, z. B. Mistral AI oder Cohere, werden unter der Ressourcengruppe anstelle der Azure KI Services-Ressource angezeigt.

6. Ändern Sie Gruppieren nach in Verbrauchseinheit. Sie können nun sehen, dass bei dieser bestimmten Ressourcengruppe die Kostenquelle aus verschiedenen Modellreihen stammt.

   

In den folgenden Abschnitten werden die Einträge im Detail beschrieben.

Azure OpenAI- und Microsoft-Modelle

Azure OpenAI-Modelle sowie die Microsoft-Modellfamilie (z. B. Phi) werden direkt in Rechnung gestellt und unter den einzelnen Azure KI Services-Ressourcen als Verbrauchseinheit für die Abrechnung angezeigt. Die Abrechnung erfolgt direkt über Microsoft. Beim Prüfen der Rechnung stellen Sie fest, dass die Verbrauchseinheiten für die Abrechnung die Eingaben und Ausgaben bei den einzelnen verwendeten Modellen berücksichtigen.

Anbietermodelle

Modelle, die von einem anderen Anbieter bereitgestellt werden, z. B. von Mistral AI, Cohere, Meta AI oder AI21 Labs, werden über Azure Marketplace in Rechnung gestellt. Im Gegensatz zu Microsoft-Verbrauchseinheiten für die Abrechnung werden diese Einträge der Ressourcengruppe zugeordnet, in der Ihre Azure KI Services-Instanz bereitgestellt wird, und nicht der Azure KI Services-Ressource selbst. Unter dem DienstnamenSaaS werden Einträge angezeigt, die Eingaben und Ausgaben für jedes verwendete Modell berücksichtigen.

Verwenden der Azure-Vorauszahlungsgutschrift

Sie können die Gebühren für Azure OpenAI- und Microsoft-Modelle mit Azure-Vorauszahlungsguthaben begleichen. Sie können jedoch kein Azure-Vorauszahlungsguthaben verwenden, um Gebühren für andere Anbietermodelle zu bezahlen, da diese über Azure Marketplace in Rechnung gestellt werden.

HTTP-Fehlerantwortcode und Abrechnungsstatus

Wenn der Dienst die Verarbeitung durchführt, entstehen Ihnen auch dann Kosten, wenn der Statuscode „nicht erfolgreich“ (nicht 200) lautet. Ein Beispiel ist ein Fehler vom Typ 400 aufgrund eines Inhaltsfilters oder Eingabegrenzwerts oder ein Fehler vom Typ 408 aufgrund eines Timeouts.

Wenn der Dienst keine Verarbeitung durchführt, entstehen Ihnen keine Kosten. Beispielsweise ein 401-Fehler aufgrund der Authentifizierung oder ein 429-Fehler aufgrund einer Überschreitung des Übertragungsratenlimits.

Sonstige Kosten

Wenn Sie Funktionen wie das Senden von Daten an Azure Monitor-Protokolle und Warnungen aktivieren, fallen zusätzliche Kosten für diese Dienste an. Diese Kosten sind unter diesen anderen Diensten und auf Abonnementebene sichtbar, aber nicht, wenn sie nur Ihrer Azure KI Services-Ressource zugeordnet sind.

Überwachen der Kosten

Die Kosten pro Azure-Ressourcennutzungseinheit variieren je nach Zeitintervall (Sekunden, Minuten, Stunden und Tage) oder Einheitennutzung (Bytes und Megabytes). Sobald mit der Nutzung von Azure KI Services begonnen wird, können Kosten anfallen. Diese sehen Sie in der Kostenanalyse.

Detailliertere Abrechnungsinformationen erhalten Sie mithilfe der Kostenanalyse:

Um die Kostenaufschlüsselung zu verstehen, kann das Tool Kostenanalyse im Azure-Portal nützlich sein.

1. Rufen Sie das Azure AI Foundry-Portal auf.

2. Wählen Sie oben rechts auf dem Bildschirm den Namen Ihrer Azure KI Services-Ressource aus. Wenn Sie an einem KI-Projekt arbeiten, wählen Sie den Namen des Projekts aus.

3. Wählen Sie den Projektnamen aus. Das Azure-Portal wird in einem neuen Fenster geöffnet.

4. Wählen Sie unter Cost Management die Option Kostenanalyse aus.

5. Standardmäßig umfasst die Kostenanalyse die von Ihnen ausgewählte Ressourcengruppe.

6. Da die Kosten der gesamten Ressourcengruppe angezeigt werden, ist es hilfreich, die Kosten nach Ressource anzuzeigen. Wählen Sie in diesem Fall Ansicht>Kosten nach Ressource aus.

   

7. Jetzt können Sie die Ressourcen sehen, die die einzelnen Verbrauchseinheiten für die Abrechnung generieren.

8. Azure OpenAI- und Microsoft-Modelle werden wie zuvor erläutert als Verbrauchseinheiten unter den einzelnen Azure KI Services-Ressourcen angezeigt:

   

9. Einige Anbietermodelle werden als Verbrauchseinheiten unter Ressourcen vom Typ „Global“ angezeigt. Beachten Sie, dass sich das Wort Globalnicht auf die SKU der Modellbereitstellung bezieht (z. B. Globaler Standard). Wenn Sie über mehrere Azure KI Services-Ressourcen verfügen, enthält Ihre Rechnung einen Eintrag pro Modell der einzelnen Azure KI Services-Ressourcen. Die Ressourcenverbrauchseinheiten haben das Format [Modellname]-[GUID], wobei [GUID] ein eindeutiger Bezeichner ist, der einer bestimmten Azure KI Services-Ressource zugeordnet ist. Sie stellen fest, dass die Verbrauchseinheiten für die Abrechnung die Eingaben und Ausgaben bei den einzelnen von Ihnen verwendeten Modellen berücksichtigen.

   

Es ist wichtig, bei der Bewertung der Kosten im Zusammenhang mit Azure KI Services den Umfang zu verstehen. Wenn Ihre Ressourcen Teil derselben Ressourcengruppe sind, können Sie die Kostenanalyse auf dieser Ebene festlegen, um die Auswirkungen auf die Kosten zu verstehen. Wenn Ihre Ressourcen auf mehrere Ressourcengruppen verteilt sind, können Sie den Bereich auf Abonnementebene festlegen.

Erstellen von Budgets

Sie können Budgets erstellen, um Kosten zu verwalten, und Warnungen erstellen, die die Beteiligten über Ausgabenanomalien und Überschreitungsrisiken informieren. Warnungen basieren auf Ausgaben im Vergleich zum Budget und zu Kostenschwellenwerten. Sie erstellen Budgets und Warnungen für Azure-Abonnements und Ressourcengruppen. Sie sind als Teil einer Strategie zur Überwachung der Gesamtkosten nützlich.

Sie können Budgets mit Filtern für bestimmte Ressourcen oder Dienste in Azure erstellen, wenn Sie mehr Detailgenauigkeit bei Ihrer Überwachung wünschen. Mit Filtern stellen Sie sicher, dass Sie nicht versehentlich neue Ressourcen erstellen, die Ihnen zusätzliche Kosten bereiten. Weitere Informationen zu den beim Erstellen eines Budgets verfügbaren Filteroptionen finden Sie unter Gruppen- und Filteroptionen.

Exportieren von Kostendaten

Sie können Ihre Kostendaten auch in ein Speicherkonto exportieren. Dies ist hilfreich, wenn andere zusätzliche Datenanalysen für Kosten durchführen müssen. Beispielsweise kann ein Finanzteam die Daten mithilfe von Excel oder Power BI analysieren. Sie können Ihre Kosten täglich, wöchentlich oder monatlich exportieren und einen benutzerdefinierten Datumsbereich festlegen. Wir empfehlen, Kostendaten als Methode zum Abrufen von Kostendatasets zu exportieren.

Nächste Schritte

• Erfahren Sie, wie Sie Cloudinvestitionen mit Cost Management optimieren können.
• Erfahren Sie mehr über die Verwaltung von Kosten mit der Kostenanalyse.
• Erfahren Sie, wie Sie unerwartete Kosten vermeiden.
• Nehmen Sie an dem angeleiteten Kurs Cost Management teil.