Azure KI-Modellinferenzdienst – häufig gestellte Fragen

Der Azure OpenAI Service bietet Kunden Zugriff auf erweiterte Sprachmodelle von OpenAI. Der Azure KI-Modellinferenzdienst bietet Kunden Zugang zu allen führenden Modellen in Azure KI, einschließlich Azure OpenAI, Cohere, Mistral AI, Meta Llama, AI21 Labs usw. Dieser Zugang befindet sich unter demselben Dienst, demselben Endpunkt und denselben Anmeldeinformationen. Kunden können nahtlos zwischen Modellen wechseln, ohne ihren Code zu ändern.

Sowohl Azure OpenAI Service als auch der Azure KI-Modellinferenzdienst sind Teil der Azure KI Services-Familie und bauen auf demselben Sicherheits- und Unternehmensversprechen von Azure auf.

Während sich der Azure KI-Modellinferenzdienst auf die Ableitung konzentriert, kann Azure OpenAI Service mit erweiterten APIs wie Batch, Feinabstimmung, Assistenten und Dateien verwendet werden.

Azure KI-Modelle und Azure OpenAI Service bieten Kunden Zugriff auf erweiterte Sprachmodelle von OpenAI mit der Sicherheits- und Unternehmenszusage von Azure. Azure OpenAI entwickelt die APIs gemeinsam mit OpenAI, um Kompatibilität und einen reibungslosen Übergang zwischen den Diensten zu gewährleisten.

Kunden erhalten die Sicherheitsfunktionen von Microsoft Azure, während sie die gleichen Modelle wie OpenAI ausführen. Es bietet private Netzwerke, regionale Verfügbarkeit und verantwortungsvolle KI-Inhaltsfilterung.

Erfahren Sie mehr über Azure OpenAI Service.

Azure KI Services sind eine Suite von KI-Diensten, die vorgefertigte APIs für allgemeine KI-Szenarien bereitstellen. Einer der Unterschiede ist der Azure KI-Modellinferenzdienst, der sich auf den Rückschlussdienst verschiedener modernster Modelle konzentriert. Azure KI Studio ist ein webbasiertes Tool, mit dem Sie Modelle des maschinellen Lernens erstellen, trainieren und bereitstellen können. Azure KI Services kann in Azure KI Studio verwendet werden, um Ihre Modelle mit vordefinierten KI-Funktionen zu verbessern.

Beide Technologien ermöglichen Ihnen die Bereitstellung von Modellen, ohne dass Computeressourcen erforderlich sind, da sie auf der Idee „Modelle als Dienstleistung“ basieren. Serverlose API-Modellbereitstellungen ermöglichen es Ihnen, ein einzelnes Modell unter einem eindeutigen Endpunkt und Anmeldeinformationen bereitzustellen. Sie müssen für jedes Modell, das Sie bereitstellen wollen, einen anderen Endpunkt erstellen. Darüber hinaus werden sie immer im Kontext des Projekts erstellt, und obwohl sie durch das Herstellen von Verbindungen mit anderen Projekten geteilt werden können, leben sie im Kontext eines bestimmten Projekts.

Der Azure KI-Modellinferenzdienst ermöglicht es Ihnen, mehrere Modelle unter demselben Endpunkt und denselben Anmeldeinformationen bereitzustellen. Sie können zwischen Modellen wechseln, ohne Ihren Code zu ändern. Sie befinden sich auch im Kontext einer freigegebenen Ressource, der Azure KI Services-Ressource, was bedeutet, dass Sie die Ressource mit jedem Projekt oder Hub verbinden können, das die von Ihnen zur Verfügung gestellten Modelle nutzen muss. Der Azure KI-Modellinferenzdienst verfügt über eine integrierte Routingfunktionen für Modelle, welche die Anforderung basierend auf dem Modellnamen, den Sie in der Anforderung übergeben, an das richtige Modell weiterleitet.

Diese beiden Modellbereitstellungsoptionen weisen auch einige Unterschiede auf in Bezug auf ihre Funktionen. Informationen dazu finden Sie unter [../concepts/deployment-overview.md]

Der Azure KI-Modellinferenzdienst in Azure KI Services unterstützt alle Modelle im Azure KI-Katalog mit nutzungsbasierter Abrechnung (pro Token). Weitere Informationen finden Sie im Abschnitt „Modelle“.

Der Azure KI-Modellkatalog enthält jedoch eine breitere Liste von Modellen. Diese Modelle erfordern jedoch ein Computekontingent aus Ihrem Abonnement. Sie müssen auch über ein Projekt oder einen KI-Hub verfügen, an dem die Bereitstellung gehostet werden soll. Weitere Informationen finden Sie unter Bereitstellungsoptionen in Azure KI Studio.

Die Azure OpenAI Service o1-Modelle erfordern eine Registrierung und sind nur für Kunden im Enterprise Agreement-Angebot verfügbar. Abonnements, die nicht unter das Enterprise Agreement-Angebot fallen, können abgelehnt werden. Wir integrieren berechtigte Kunden, wenn wir Platz haben. Aufgrund der hohen Nachfrage bleiben berechtigte Kunden möglicherweise auf der Warteliste, bis Platz verfügbar ist.

Andere Modelle (siehe Liste) erfordern keine Registrierung. Erfahren Sie mehr über eingeschränkten Zugriff auf Azure OpenAI Service.

Sie können das Azure-Rückschluss-SDK mit einem beliebigen Modell verwenden, das von Folgendem unterstützt wird:

• Das Azure KI-Rückschluss-SDK
• Die AzureOpenAI-Klasse im OpenAI-SDK
• Das Azure OpenAI-SDK

Cohere SDK, Mistral SDK und spezifische SDKs von Modellanbietern werden nicht unterstützt, wenn eine Verbindung mit dem Azure KI-Modellinferenzdienst hergestellt wird.

Weitere Informationen finden Sie unter unterstützte SDKs und Programmiersprachen.

Die neueste Version der OpenAI Python-Bibliothek (Version>=1.0) unterstützt Azure KI Services.

Stellen Sie sicher, dass Sie eine Bereitstellung für das angegebene Modell erstellt haben und dass der Bereitstellungsname exakt mit dem Wert übereinstimmt, den Sie im Parameter model übergeben. Obwohl bei Routing keine Groß-/Kleinschreibung beachtet wird, stellen Sie sicher, dass keine speziellen Interpunktionszeichen oder Leerzeichen-Tippfehler vorhanden sind.

Azure KI Services-Ressource erfordert die Version azure-ai-inference>=1.0.0b5 für Python. Stellen Sie sicher, dass Sie diese Version verwenden.

Stellen Sie sicher, dass Sie den richtigen Endpunkt für Azure OpenAI Service und den richtigen Satz von Anmeldeinformationen verwenden. Stellen Sie außerdem sicher, dass Sie die Klasse AzureOpenAI aus dem OpenAI-SDK als Authentifizierungsmechanismus verwenden und URLs, die unterschiedlich sind.

Unsere aktuellen APIs ermöglichen bis zu 10 benutzerdefinierte Header, die über die Pipeline übergeben und zurückgegeben werden. Wir stellen fest, dass einige Kunden diese Headeranzahl jetzt überschreiten, was zu HTTP 431-Fehlern führt. Für diese Fehler gibt es keine Lösung, außer die Headeranzahl zu reduzieren. Es wird empfohlen, dass Kunden in zukünftigen Systemarchitekturen nicht von benutzerdefinierten Headern abhängen.

Sie werden für Eingaben und Ausgaben an die APIs in Rechnung gestellt, in der Regel in Token. Es fallen keine Kosten für die Ressource selbst oder für die Bereitstellung an.

Der Tokenpreis variiert je nach Modell und Sie werden pro 1000 Token belastet. Sie können die Preisdetails sehen, bevor Sie ein bestimmtes Modell bereitstellen.

Abrechnung und Kosten werden in Microsoft Cost Management + Billing angezeigt. Sie können die Verbrauchsdetails im Azure-Portal anzeigen.

Die Abrechnung wird in Azure KI Studio nicht angezeigt.

Sie können ein Ausgabenlimit im Azure-Portal unter Cost Management festlegen. Dieser Grenzwert verhindert, dass Sie mehr ausgeben als den von Ihnen festgelegten Betrag. Sobald das Ausgabenlimit erreicht ist, ist das Abonnement deaktiviert, und Sie können den Endpunkt erst nach dem nächsten Abrechnungszeitraum verwenden. Weitere Informationen finden Sie unter Tutorial: Erstellen und Verwalten von Budgets.

Die Azure KI-Modellinferenz verwenden keine Kundendaten, um Modelle neu zu trainieren. Ihre Daten werden niemals mit Modellanbietern geteilt.