Anwendungsplattform für AI-Workloads in Azure
Sie müssen die Anwendungshostingplattform sorgfältig berücksichtigen, auf der Ihre KI-Workload bereitgestellt wird, um sicherzustellen, dass Sie die Effizienz, die Sicherheit der Vorgänge und die Zuverlässigkeit maximieren können.
Dieser Entwurfsbereich umfasst mehrere Arten von Anwendungen, die für Ihre KI-Workload relevant sein können:
- Explorative Datenanalyse (EDA)
- Modellschulung und Feinabstimmung
- Rückschließen
Dieser Artikel enthält Anleitungen zum Auswählen der besten Plattform für jede dieser Funktionen, um Ihre geschäftlichen Anforderungen zu erfüllen. Es gibt auch allgemeine Empfehlungen, die Sie auf alle diese Funktionen anwenden können.
Empfehlungen
Hier ist die Zusammenfassung der Empfehlungen in diesem Artikel.
| Empfehlung | Beschreibung |
|---|---|
| Wiederverwenden von Tools. | Bewerten Sie zunächst die Tools, die Sie bereits verwenden, um zu verstehen, ob sie für Ihre KI-Workload wiederverwendet werden können. Wenn sie die erforderlichen Funktionen unterstützen und Ihre Anforderungen an Zuverlässigkeit, Sicherheit, Kosten und Leistung erfüllen können, ist die Einführung eines neuen Tools möglicherweise nicht den Kosten und Aufwand wert. |
| Berücksichtigen Sie Complianceanforderungen für Ihre Daten und die Regionen, in denen Sie bereitstellen möchten. | Möglicherweise müssen Sie die Von Ihnen bereitgestellten Regionen einschränken oder Teile Ihrer Workload voneinander isolieren, um die Complianceanforderungen zu erfüllen. Wenn Sie mit diesen Informationen in Ihre Entwurfsphase gehen, können Sie davor schützen, dass Sie später neu gestaltet werden müssen. |
| Minimieren Sie das Gebäude. | Betrachten Sie plattform as a Service (PaaS) oder Software as a Service (SaaS)-Lösungen, um den Betriebsaufwand zu minimieren, der durch das Erstellen Ihrer eigenen Lösung eingeführt wird, z. B. Patching und andere Wartungen. Die Minimierung der für die neue Technologie erforderlichen Day-2-Belastung vereinfacht Ihre Einführung. Viele KI-Funktionen sind komplex, daher empfehlen wir nicht, Ihre eigene Plattform zu erstellen. |
| Verstehen Sie Ihre Kontingente und Grenzwerte. | Wenn Sie für die Verwendung von PaaS- oder SaaS-Lösungen entwerfen, verstehen Sie alle Kontingente oder Grenzwerte, die gelten. Ihre Möglichkeit, eine Skalierung durchzuführen, um hohe Datenverkehrsanforderungen zu erfüllen, kann von Kontingenten oder Grenzwerten betroffen sein, sodass Sie Ihr Design möglicherweise anpassen müssen, um dieses Risiko zu minimieren. |
| Stellen Sie in derselben Region bereit. | Versuchen Sie, alle zugehörigen Ressourcen in derselben Region bereitzustellen, um die Latenz zu reduzieren und den Entwurf zu vereinfachen. |
| Üben Sie eine sichere Bereitstellung. | Im Allgemeinen sollten Sie die APIs für Ihre KI-Workload genauso behandeln wie jede andere API in Ihrer Umgebung. Alle APIs sollten hinter einem Gateway platziert werden, und der gesamte Code sollte mit den gleichen sicheren Bereitstellungspraktiken wie jede andere Coderessource behandelt werden. |
| Richten Sie Leistungs-Benchmarks durch Experimente ein. | Jede KI-Workload ist unterschiedlich, und die Menge der Berechnung, die Sie benötigen, hängt von Ihrem Anwendungsfall ab. Ermitteln Sie die Menge und die Berechnungsarten, die für Ihre Workload optimal sind, indem Sie gründliche Benchmarktests durchführen. Dieser Leitfaden hilft Ihnen bei der Auswahl einer Plattform, aber Sie wissen nur, welche SKUs nach dem Benchmarktest für Ihre Workload geeignet sind. |
Überlegungen für die EDA-Plattform
EDA ist eine gemeinsame vorläufige Funktion, die Datenwissenschaftler vor der Modellierung oder statistischen Analyse durchführen. Es kann daher als Entwicklungsphase betrachtet werden, was bedeutet, dass die Ziele für Zuverlässigkeit und Leistung deutlich niedriger sein könnten als die für Produktionsressourcen und die Aufrechterhaltung der Produktivität.
Dieser Abschnitt enthält Anleitungen zu Funktionen, die Sie berücksichtigen sollten, wenn Sie eine EDA-Plattformlösung auswählen.
Funktionsanforderungen
Berücksichtigen Sie beim Auswerten einer EDA-Plattform die folgenden Fragen:
Unterstützt die Plattform vorübergehende Nutzung?
Die Plattform sollte vorübergehende Arbeitsbereiche und Berechnungen unterstützen, was bedeutet, dass Sie die erforderlichen Ressourcen beenden können, wenn sie nicht verwendet werden. Diese Funktion trägt zur Kontrolle der Kosten bei. EDA-Aufträge sind in der Regel interaktiv, sodass Benutzer in der Lage sein müssen, virtuelle Computer zu starten und sie während der Ausführung von Aufträgen zu beenden.
Unterstützt die Plattform die Compute-Optionalität?
Die Plattform sollte den On-Demand-Zugriff auf GPUs nach Bedarf aktivieren und verschiedene Computeoptionen bereitstellen, um die Richtige Größe der Plattform zu erleichtern.
Unterstützt die Plattform MLflow?
Ihre EDA-Plattform sollte es ermöglichen, eine Technologie auszuwählen, die die Integration mit MLflow zum Nachverfolgen Ihrer Experimente ermöglicht. Wir empfehlen MLflow als Modellentwicklungs-, Bereitstellungs- und Verwaltungsprotokoll, da es die folgenden Vorteile bietet:
- Experimentverfolgung. Mit MLflow können Sie Experimente nachverfolgen, indem Sie Parameter, Metriken und Artefakte aufzeichnen. Diese Funktion ist während der EDA unerlässlich, sodass Sie verschiedene Datenvorverarbeitungsschritte und Feature engineering-Techniken und deren Auswirkungen auf die Modellleistung nachverfolgen können.
- Reproduzierbarkeit. Da es alle Details Ihrer Experimente protokolliert, hilft MLflow sicherzustellen, dass Sie Ihre Ergebnisse reproduzieren können, was für die Überprüfung von Ergebnissen von entscheidender Bedeutung ist.
- Daten- und Modellversionsverwaltung. MLflow hilft bei Versionsverwaltungsdatensätzen und -modellen, wodurch es einfacher ist, verschiedene Versionen von Datentransformationen und getesteten Modellen zu verwalten.
- Gemeinsame Arbeit. MLflow bietet eine zentrale Plattform, auf der Datenwissenschaftler ihre Experimente und Ergebnisse teilen können, was die Zusammenarbeit und den Wissensaustausch erleichtert.
Nicht funktionale Anforderungen
Berücksichtigen Sie auch diese Fragen:
Wie kann die Plattform die Kosten kontrollieren?
Die Plattform sollte Es Data Scientists ermöglichen, ihre Arbeit gemäß ihren Zeitplananforderungen durchzuführen, aber es sollte richtig sein, um sicherzustellen, dass die Kostenerwartungen erfüllt werden.
Welche Sicherheitsanforderungen müssen für die Plattform eingehalten werden?
Die während Ihrer EDA-Phase verwendeten Daten sind wahrscheinlich Produktionsdaten, was erfordert, dass Sie die Produktionspraktiken befolgen, um diese Daten zu sichern und die Plattform zu überwachen. Zu diesem Zweck sollte Ihre Plattform alle erforderlichen Sicherheitskontrollen unterstützen, einschließlich:
- Zugriff und Autorisierung.
- Verschlüsselung im Ruhezustand und während der Übertragung.
- Regionale Datenschutzanforderungen.
- Robuste Überwachungs- und Warnfunktionen, einschließlich Protokollierung und Auditierbarkeit.
- Privater Netzwerkzugriff auf zentralisierte Repositorys für Containerimages, Daten und Coderessourcen.
Extras
Verwenden Sie eine Azure Machine Learning-Computeinstanz mit Dateifreigaben auf Teamebene als EDA-Plattform. Eine Ausnahme ist, wenn Ihr Team oder Ihre Organisation bereits eine geeignete Hostingplattform verwendet, z. B. GPU-fähige Computecluster in Databricks. In diesem Fall ist es möglicherweise sinnvoller, auf dieser Plattform zu bleiben.
Hinweis
Erstellen Sie keine vollständige EDA-Plattform, es sei denn, Sie müssen. GPU-optimierte Compute ist teuer und eignet sich nicht, wenn Ihr Anwendungsfall dies nicht erfordert.
Überlegungen zur Modellschulung und Feinabstimmungsplattform
Wenn Sie zu Modellschulungen und Feinabstimmungen wechseln, benötigen Sie wahrscheinlich eine leistungsfähige GPU-optimierte Berechnung für die rechenintensive Arbeit, die von diesen Aktivitäten benötigt wird. Zuverlässigkeit ist in der Regel nicht so wichtig wie die Leistung, da die meisten dieser Arbeiten hinter den Kulissen auftreten. Wenn hohe Zuverlässigkeit eine Anforderung ist, bewerten Sie, ob die Verteilung der Arbeitsauslastung über Verfügbarkeitszonen oder Regionen hinweg erforderlich ist. Hohe Zuverlässigkeit wird wichtiger, wenn die Modellfrische häufig aktualisiert wird, was erfordert, dass Schulungen in einem engeren Zeitplan abgeschlossen werden. Ihr RTO sollte den von Ihnen ausgewählten Zuverlässigkeitsentwurf bestimmen.
Die Anleitungen in diesem Abschnitt gelten sowohl für Modellschulungen als auch für feinabstimmungen. Sofern Sie nicht gezwungen sind, separate Plattformen für diese Funktionen zu verwenden, sollten Sie eine einzelne Plattform verwenden.
Funktionsanforderungen
Wenn Sie Plattformen für Modellschulungen und Feinabstimmungen auswerten, sollten Sie die folgenden Fragen in Betracht ziehen:
Unterstützt die Plattform vorübergehende Nutzung?
Wie EDA-Aktivitäten werden Modellschulungen und Feinabstimmungen in der Regel nicht in Vollzeit ausgeführt, daher sollten Sie eine Plattform verwenden, die beendet werden kann, wenn sie nicht verwendet wird, um Kosten zu steuern. Im Gegensatz zu EDA ist die Modellschulung in der Regel ein Batchprozess, daher ist die Berechnung nur erforderlich, wenn der Batch ausgeführt wird und bis zur nächsten Ausführung heruntergefahren werden kann.
Bietet die Plattform Orchestrierung?
Aufgrund der Komplexität, die für die Verwaltung der Berechnung für Modellschulungen und Feinabstimmungen erforderlich ist, empfehlen wir einen Orchestrator.
Können vorhandene Technologien in Ihrer Umgebung Teil der Lösung sein?
Wenn Ihre vorhandene Datenplattform über Machine Learning-Funktionen verfügt, wie Azure Databricks , können Sie sie für bestimmte Schritte verwenden, z. B. Datentransformation und Feature engineering, Schulung, Feinabstimmung und andere Schritte in Machine Learning. Durch die Kombination von Technologien können Sie die Kosten und Komplexität minimieren, die mit der Verwendung einer Datenplattform für Funktionen verbunden sind, für die sie möglicherweise nicht ideal geeignet ist.
Nicht funktionale Anforderungen
Berücksichtigen Sie diese Frage auch:
Was ist der tolerierbare Kompromiss zwischen Kosten und Leistung?
Stellen Sie angesichts der leistungsstarken, GPU-optimierten Computeanforderungen sicher, dass Sie Ihr Training testen und vergleichen und umfassend optimieren können, um die ideale SKU zu ermitteln, die die Leistung gegen Kosten ausgleicht.
Extras
Wir empfehlen Azure Machine Learning für die Modellschulung und Feinabstimmungsplattform, da sie Orchestrierungsfunktionen mit Unterstützung für die Batchberechnung bereitstellt. Es gibt zwei Berechnungsoptionen für die Auswertung:
- Serverless Compute ist ideal für kurze, seltene Läufe, die laute Nachbareffekte tolerieren können. Sie können entweder standardpreise oder Spotpreise auswählen. Spotpreise werden nur für sehr unterbrechungsfähige Schulungen empfohlen. Verwenden Sie keine serverlose Berechnung für Vollzeitvorgänge. Die Kosten können schnell eskalieren.
- Computecluster bieten Ihnen eine erhebliche Kontrolle über die verfügbare Hardware und sind für parallele oder verteilte Schulungen optimiert.
Hinweis
Bei Foundation-Modellen kann Ihre Auswahl an Modellhostingplattform Ihre Feinabstimmungsoptionen einschränken. Beispielsweise schränkt die Verwendung des Azure OpenAI-Diensts für das Modellhosting Ihre Feinabstimmungsoptionen auf die integrierte Azure OpenAI-Feinabstimmungsfunktionalität ein.
Überlegungen für das Modellhosting und die Inferencing-Plattform
Modellhosting- und Ableitungsfunktionen bilden die Bereitstellungsebene der KI-Workload. Diese Funktionen werden mit Endpunkten ausgeführt, die für die von Ihnen verwendete Software spezifisch sind. Modellbasierte Softwarelösungen wie NVIDIA Triton, TorchServe und TensorFlow Serving sind im Wesentlichen Python-SDKs, die ein Modell mit einer API frontieren und Funktionen hinzufügen, die für die Lösung spezifisch sind. Sie können Ihre Hostingplattform basierend auf Ihrer Wahl der Software auswählen oder Ihre Software basierend auf Ihrer Wahl der Hostingplattform auswählen.
Wenn Sie SaaS- oder PaaS-Lösungen mit vorgepackten Modellen verwenden, wie z. B. die großen Sprachmodelle, die in Azure OpenAI verfügbar sind, haben Sie nur wenige oder keine Möglichkeiten, eine dienstfähige Software auszuwählen. Stattdessen stellt der dienst, den Sie verwenden, eine API bereit. Dies verringert die Flexibilität beim Erstellen einer Modellbereitstellung, die Vor- und Nachteile bieten kann. So kann sie beispielsweise den Entwicklungsprozess Ihrer Workload optimieren. Andererseits verringert sie die Flexibilität, wie Ihre Anwendung das Modell aufrufen und mit dem Modell interagieren kann.
Grundsätzlich sind die APIs für die Serve-Ebene Microservices, daher sollten Sie die gleichen Methoden für diese APIs befolgen, die Sie für andere Microservices in Ihrer Umgebung befolgen. Sie sollten containerisiert, von anderen Diensten getrennt sind und über eigene Lebenszyklus verfügen, die unabhängig von anderen Diensten und APIs sind. Beachten Sie jedoch, dass für Layer-APIs im Allgemeinen wesentlich mehr GPU-basierte Computeleistung und größere Containerimages als herkömmliche APIs erforderlich sind.
Dieser Abschnitt enthält Anleitungen zu Funktionen, die Sie berücksichtigen sollten, wenn Sie eine Modellhosting- und Ableitungsplattform auswählen.
Funktionsanforderungen
Berücksichtigen Sie beim Auswerten von Plattformen für das Modellhosting und die Ableitung die folgenden Fragen:
Erfordert Ihre Workload Batch- oder Online-Ableitungen?
Die Ableitungsendpunkte werden entweder für Batch- oder Online-Inferencingprozesse verwendet, und die Ableitungsmethode hilft dabei, die richtige Hostingplattform zu ermitteln. Die Batchableitung wird am besten auf einer Plattform gehostet, die vorübergehende Nutzung unterstützt, und ermöglicht das Herunterfahren der Berechnung, wenn sie nicht verwendet wird. Die Online-Ableitung wird am besten auf einer Plattform gehostet, die die elastische Computeauslastung unterstützt, die automatisch basierend auf der Last zu einem bestimmten Zeitpunkt skaliert wird.
Unterstützt die Plattform die Rückverfolgbarkeit?
Die Rückverfolgbarkeit ist für die Aufrechterhaltung der Integrität der in Ihrer Workload verwendeten Modelle von entscheidender Bedeutung. Es ist wichtig, Informationen zum Modell zu kennen, z. B. die aktuelle Version, die sie bereitgestellt hat, wann sie bereitgestellt wurde, und die Datenlinie des Modells.
Wenden Sie aussagekräftige Tags auf Bilder in Ihrer Containerregistrierung an, um sicherzustellen, dass Ihr Modellhostingdienst eine bestimmte Version abruft, die das Team leicht identifizieren kann. Dieser Ansatz hilft bei der Datengovernance, indem das Risiko veralteter oder falscher Modelle verringert wird, die in der Produktion verwendet werden.
Wird Ihre Hostingplattform eine zentrale Ressource sein?
Viele Organisationen verwenden eine zentrale Modellhostingplattform, die von verschiedenen Teams für ihre eigenen Workloads verwendet wird. Wenn Ihre Hostingplattform zentralisiert ist, sollten Sie überlegen, ob Sie Unterstützung für den Rückschlag benötigen. Mit dieser Funktionalität können Sie die Plattformnutzung nach Team und Workload nachverfolgen.
Nicht funktionale Anforderungen
Berücksichtigen Sie auch diese Fragen:
Welche Zuverlässigkeitsanforderungen gelten für die Plattform?
Serve layer APIs are production resources, so you should apply the same reliability requirements to them that you apply to other workload flows that match their criticality rating. Wenn ihre Kritischität eine hohe Verfügbarkeit erfordert, sollte Ihre Hostingplattform Verfügbarkeitszonen oder ein Multiregion-Design unterstützen.
Welche Netzwerksteuerelemente sind für die Plattform erforderlich?
Bestimmen Sie, ob Sie private Netzwerke oder eine Ausgangsfirewall benötigen, um Schutz für die Plattform bereitzustellen.
Was sind die Identitäts- und Zugriffssicherheitsanforderungen für die Plattform?
Ermitteln Sie die Identitäts- und Zugriffssteuerungen, die für Ihre Endpunkte erforderlich sind. Überlegen Sie, ob Sie systemeigene rollenbasierte Zugriffssteuerung (RBAC) oder integrierte Unterstützung für Ihre Identitäts- und Zugriffsplattform benötigen, z. B. Microsoft Entra-ID.
Welche Überwachungsfunktionen unterstützt die Plattform?
Ermitteln Sie die erforderlichen Überwachungsfunktionen für Ihre Endpunkte. Je nach Plattform haben Sie möglicherweise eingeschränkten Zugriff auf Protokolle und Metriken, wodurch Ihre Fähigkeit zum Überwachen von Aktivitäten eingeschränkt oder Fehlfunktionen erkannt werden kann.
Welche Leistungsanforderungen gelten für die Plattform?
Die Ableitungslatenz ist ein häufiges Problem, und verschiedene Plattformen weisen unterschiedliche Leistungsprofile auf. Serverlose und PaaS-Dienste, die ein Hilfsmodell verwenden, können durch das laute Nachbarproblem beeinflusst werden und haben oft keine Durchsatzgarantien. Andererseits bieten die gleichen Plattformen möglicherweise eine selbst gehostete Option, die einen garantierten Durchsatz mit einem Vorkaufsmodell bietet. Sie können auch Selbsthosting auf Kubernetes für ein vorhersagbares Latenzverhalten in Betracht ziehen.
Beachten Sie Dienstlimits und Kontingente, die sich auf Ihre Leistung auswirken können, z. B. für Azure OpenAI. Häufig werden diese Kontingente und Grenzwerte aggressiv festgelegt, um die Kapazitätsanforderungen zu erfüllen. Wenn Ihre Wahl der Plattform also nicht die leistung bietet, die Sie benötigen, müssen Sie möglicherweise Strategien einführen, um die Computenachfrage über Instanzen hinweg zu verteilen.
Erweiterte Architekturen können mehrere Bereitstellungen kombinieren, um einen festen Durchsatz für den Großteil der Workload und Platzungsfunktionen für eine flexiblere Berechnung zu erzielen.
Extras
Batchrückschluss
Wenn Sie das Ableiten von Daten durchführen, die sich auf einer Plattform befinden, die Modellhosting unterstützt, z. B. Databricks, sollten Sie diese Plattform für die Ableitung verwenden. Achten Sie darauf, die Ableitungsberechnung von anderen Funktionen zu isolieren, die von der Datenplattform ausgeführt werden.
Wir empfehlen die Azure OpenAI-Batch-API für Foundation-Modelle.
Berücksichtigen Sie bei Nicht-Foundation-Modellen die folgenden Empfehlungen:
Erwägen Sie die Verwendung von Azure Machine Learning-Batchendpunkten für die folgenden Szenarien:
Sie müssen eine Ableitung für ein großes Dataset durchführen, das in mehreren Dateien verteilt ist und keine geringe Latenz erfordert.
Sie müssen lang ausgeführte Batchvorgänge über große Datasets ausführen und können die Parallelisierung nutzen.
Sie müssen Pipelinekomponenten für die Batchverarbeitung bereitstellen.
Wenn Sie Spark-Aufträge für die verteilte Datenverarbeitung ausführen müssen, sollten Sie Azure Synapse Analytics, Databricks oder Machine Learning serverlose Spark compute verwenden.
Wenn keine dieser Szenarien zutrifft, empfehlen wir Machine Learning-Batchendpunkte.
Online-Ableitung
Bewerten Sie Die Plattform PaaS und serverlose Lösungen als ersten Schritt. Diese Dienste sind in der Regel am einfachsten zu übernehmen und zu verwalten, da sie Ihr Design vereinfachen und den Betriebsaufwand minimieren. Azure OpenAI ist beispielsweise eine gute Wahl für Foundation-Modelle.
- Erwägen Sie die Verwendung der Azure Machine Learning Serverless-API zum Aggregieren des Endpunktzugriffs, auch wenn Sie Azure OpenAI oder eine andere Foundation-Modellhostinglösung verwenden.
Betrachten Sie Machine Learning mit verwalteten Computeclustern, wenn PaaS- oder serverlose Lösungen nicht am besten geeignet sind. Berechnung, die von Machine Learning verwaltet wird, unterstützt die Datenverkehrsteilung und -spiegelung für A/B-Tests, Debugging und robuste Überwachung. Da die Berechnung vom Dienst verwaltet wird, sind Day-2-Vorgänge einfacher, wenn Sie Ihr Modell selbst hosten. Verwaltete Compute bietet auch eine breite Auswahl an Computekonfigurationen und Skalierungsfunktionen.
Wenn Sie sich entscheiden, Ihr Modell auf einem Azure Kubernetes Service (AKS)-Cluster selbst zu hosten, der an Machine Learning oder eine andere containerbasierte Plattform angefügt ist, stellen Sie sicher, dass der Knotenpool von anderen APIs oder anderen Workloads auf dem Cluster isoliert ist, um vorhersehbare Leistung zu erzielen und die Sicherheit zu optimieren. Vermeiden Sie die Verwendung von GPU-basierten oder GPU-optimierten Computefunktionen für andere Als Ihre KI-Workloadfunktionen, um Kosten zu reduzieren. Richten Sie stattdessen Ihre Leistungsbasislinie durch Tests und die richtige Größe Ihrer Berechnung ein, um Ihre Leistungsanforderungen ohne Überbereitstellung zu erfüllen.
Sie können Ihr Modell auch selbst hosten, indem Sie Infrastruktur as a Service (IaaS)-Lösungen wie Azure Data Science Virtual Machine verwenden.
Überlegungen zur Orchestrierungsplattform
Die Orchestrierung bezieht sich im Kontext von AI-Workload-Anwendungsplattformen auf Tools wie den Eingabeaufforderungsfluss in Machine Learning und Azure AI Studio. Diese Tools dienen dazu, den gesamten Entwicklungszyklus von KI-Anwendungen zu optimieren, indem viele gängige Workflowfunktionen automatisiert werden.
Nicht funktionale Anforderungen
Wie bei allen anderen Produktionsworkloads in Ihrer Cloud-Umgebung müssen Sie beim Bewerten von Orchestrierungstools Folgendes berücksichtigen:
Zuverlässigkeit, Sicherheit und Überwachung. Orchestrierungstools sollten Zuverlässigkeit, Sicherheit und Überwachungsstandards für Produktionsworkloads einhalten.
Leistung. Für Orchestrierungstools ist kein GPU-optimierter oder GPU-basierter Compute erforderlich. Ziehen Sie allgemeine SKUs in Betracht.
Kostenoptimierung. Orchestrierungstools sind immer aktiviert, ziehen Sie die flexiblen Computeoptionen in Betracht, um die Nutzungskosten zu minimieren.
Extras
Bevorzugen Sie eine off-the-shelf-Lösung wie den Eingabeaufforderungsfluss. Ermitteln Sie, ob ihre Funktionen Ihren Orchestrierungsanforderungen entsprechen, bevor Sie sich mit Tools wie LangChain oder Semantic Kernel benutzerdefiniertes Hosting ansehen.
Hostendpunkte für Lösungen wie den Promptfluss auf Machine Learning mit Computeinstanzen oder auf AKS mit Self-Hosting.