Governanceempfehlungen für KI-Workloads in Azure
Dieser Artikel enthält Governanceempfehlungen für Organisationen, die KI-Workloads in Azure ausführen. Im Vordergrund stehen Azure KI-Platform-as-a-Service (PaaS)-Lösungen, einschließlich Azure KI Studio, Azure OpenAI, Azure Machine Learning und Azure KI Services. Behandelt werden sowohl generative als auch nicht generative KI-Workloads.
Durch effektive Governance wird die verantwortungsvolle Nutzung von KI unterstützt. Dies ermöglicht Unternehmen, ihre KI-Investitionen zu optimieren und gleichzeitig Risiken im Zusammenhang mit Sicherheit, Kosten und Einhaltung gesetzlicher Bestimmungen zu reduzieren.
Verwalten von KI-Modellen
Die KI-Modellgovernance bezieht sich auf die Prozesse für die Verwaltung von KI-Modellen, um das Generieren zuverlässiger, sicherer und ethisch vertretbarer Ausgaben zu gewährleisten. Die Steuerung von Modelleingaben und -ausgaben trägt zur Risikominderung bei. Zu diesen Risiken gehören schädliche Inhalte und unbeabsichtigte KI-Verwendung. Beide können sich negativ auf Benutzer und die Organisation auswirken. Diese Prozesse unterstützen die Bereitstellung verantwortungsvoller KI und schützen vor potenziellen rechtlichen und ethischen Herausforderungen.
Richten Sie einen Prozess zum Erkennen von KI-Risiken ein. Verwenden Sie Tools wie Defender for Cloud zum Erkennen von Workloads für generative KI und Ermitteln von Risiken, um Artefakte generativer KI vorab bereitzustellen. Etablieren Sie eine Richtlinie für die regelmäßige Durchführung von Red Team-Vorgängen bei Modellen für generative KI. Dokumentieren Sie identifizierte Risiken, und aktualisieren Sie Ihre KI-Governancerichtlinien kontinuierlich, um neue Probleme zu beheben.
Definieren Sie Baselineinhaltsfilter für Modelle für generative KI. Verwenden Sie Azure KI Inhaltssicherheit, um einen Baselineinhaltsfilter für Ihre genehmigten KI-Modelle zu definieren. Dieses Sicherheitssystem führt sowohl den Prompt als auch die Fertigstellung Ihres Modells über eine Gruppe von Klassifizierungsmodellen aus. Diese Klassifizierungsmodelle erkennen und verhindern die Ausgabe schädlicher Inhalte in einer Reihe von Kategorien. Azure KI Inhaltssicherheit bietet Funktionen wie Prompt Shields, Fundiertheitserkennung und Texterkennung bei geschütztem Material. Die Lösung überprüft Bilder und Text. Erstellen Sie einen Prozess für Anwendungsteams, um unterschiedliche Governanceanforderungen zu kommunizieren.
Etablieren Sie Modelle für generative KI. Verwenden Sie Systemmeldungen und das RAG-Muster (Retrieval-Augmented Generation, abrufgestützte Generierung), um die Ausgabe von Modellen für generative KI zu steuern. Testen Sie die Effektivität der Fundiertheit mithilfe von Tools wie prompt flow oder dem Open-Source-Red-Teaming-Framework PyRIT.
Verwalten von KI-Kosten
Die Governance von KI-Kosten umfasst das Verwalten von Ausgaben im Zusammenhang mit KI-Workloads, um die Effizienz zu maximieren und unnötige Ausgaben zu reduzieren. Durch eine effektive Kostenkontrolle wird sichergestellt, dass KI-Investitionen mit den Geschäftszielen übereinstimmen, wodurch unvorhergesehene Kosten durch eine Überbereitstellung oder Unterauslastung verhindert werden. Mit diesen Methoden können Organisationen ihre KI-Vorgänge finanziell optimieren.
Verwenden Sie das richtige Abrechnungsmodell. Wenn Sie über vorhersagbare Workloads verfügen, verwenden Sie KI-Mindestabnahmen in Azure KI Services. Verwenden Sie für Azure OpenAI-Modelle bereitgestellte Durchsatzeinheiten (Provisioned Throughput Units, PTUs), die möglicherweise günstiger sind als die Preise bei nutzungsbasierter Bezahlung (verbrauchsbasiertes Preismodell). Üblicherweise werden zur Kostenoptimierung PTU-Endpunkte und verbrauchsbasierte Endpunkte kombiniert. Verwenden Sie PTUs für den primären Endpunkt des KI-Modells und einen sekundären, verbrauchsbasierten KI-Endpunkt für den Überlauf. Weitere Informationen finden Sie unter Einführen eines Gateways für mehrere Azure OpenAI-Instanzen.
Wählen Sie das passende Modell für Ihren Anwendungsfall aus. Wählen Sie das für Ihre Anforderungen und Ihr Budget passende KI-Modell aus. Verwenden Sie kostengünstigere Modelle, es sei denn, der Anwendungsfall erfordert ein teureres Modell. Zur Feinabstimmung maximieren Sie den Zeitverbrauch innerhalb der einzelnen Abrechnungszeiträume, um zusätzliche Gebühren zu vermeiden. Weitere Informationen finden Sie unter Azure OpenAI Service-Modelle und Preise. Siehe auch Azure KI Studio-Modellkatalog und Abrechnungsinformationen zu Modellimplementierungen.
Legegn Sie Bereitstellungsgrenzen fest. Weisen Sie Bereitstellungskontingente für jedes Modell basierend auf erwarteten Workloads zu, um unnötige Kosten zu vermeiden. Überwachen Sie dynamische Kontingente kontinuierlich, um sicherzustellen, dass sie der tatsächlichen Nachfrage entsprechen, und passen Sie sie entsprechend an, um den optimalen Durchsatz ohne Budgetüberschreitungen aufrechtzuerhalten.
Verwenden Sie den richtigen Bereitstellungstyp. Mit Azure OpenAI-Modellen können Sie unterschiedliche Bereitstellungstypen verwenden. Die globale Bereitstellung bietet Preise mit niedrigeren Kosten pro Token für bestimmte OpenAI-Modelle.
Bewerten Sie Hostingoptionen. Wählen Sie je nach den Anforderungen Ihrer Lösung die richtige Hostinginfrastruktur aus. Beispielsweise umfassen Optionen bei Workloads für generative KI verwaltete Onlineendpunkte, Azure Kubernetes Service (AKS) und Azure App Service, jeweils mit einem eigenen Abrechnungsmodell. Wählen Sie die Option aus, die das beste Gleichgewicht zwischen Leistung und Kosten für Ihre spezifischen Anforderungen bietet.
Steuern Sie das Clientverhalten in verbrauchsbasierten Diensten. Beschränken Sie den Clientzugriff auf Ihren KI-Dienst, indem Sie Sicherheitsprotokolle wie Netzwerksteuerelemente, Schlüssel und rollenbasierte Zugriffssteuerung (Role-Based Access Control, RBAC) durchsetzen. Sorgen Sie dafür, dass Clients API-Einschränkungen, z. B. eine Höchstanzahl von Token und Vervollständigungen, verwenden. Erstellen Sie nach Möglichkeit Batchanforderungen, um die Effizienz zu optimieren. Halten Sie Prompts kurz und präzise. Stellen Sie jedoch den erforderlichen Kontext bereit, um den Tokenverbrauch zu reduzieren.
Ziehen Sie die Verwendung eines Gateways für generative KI in Betracht. Mithilfe eines Gateways für generative KI können Sie den Tokenverbrauch nachverfolgen und drosseln, Sicherungsmuster anwenden und die Weiterleitung an verschiedene KI-Endpunkte einrichten, um die Kosten zu steuern.
Erstellen Sie eine Richtlinie zum Herunterfahren von Compute-Instanzen. Definieren und erzwingen Sie eine Richtlinie, die besagt, dass KI-Ressourcen die Funktion zum automatischen Herunterfahren auf virtuellen Computern und Compute-Instanzen in Azure KI Studio und Azure Machine Learning verwenden müssen. Das automatische Herunterfahren kann auf Nichtproduktionsumgebungen und Produktionsworkloads angewendet werden, die Sie für eine bestimmte Dauer offline schalten können.
Weitere Richtlinien zur Kostenverwaltung finden Sie unter Verwalten von KI-Kosten und Kostenoptimierung in der Azure OpenAI-Baselinearchitektur.
Verwalten von KI-Plattformen
Zur KI-Plattformgovernance gehört das Anwenden von Richtlinienkontrollen auf verschiedene KI-Dienste in Azure, z. B. Azure KI Studio und Azure Machine Learning. Durch die Verwendung von Governance auf Plattformebene werden konsistente Sicherheits-, Compliance- und Betriebsrichtlinien im gesamten KI-Ökosystem durchgesetzt. Diese Ausrichtung unterstützt eine effektive Überwachung, die die gesamte KI-Verwaltung und -Zuverlässigkeit stärkt.
Verwenden Sie integrierte Governancerichtlinien. Verwenden Sie Azure Policy, um integrierte Richtliniendefinitionen für jede von Ihnen verwendete KI-Plattform anzuwenden. Dazu gehören u. a. Azure KI Studio, Azure Machine Learning, Azure KI Services, Azure KI-Suche.
Aktivieren Sie KI-Richtlinien für Azure-Zielzonen. Für Benutzer von Azure-Zielzonen enthält die Bereitstellung eine Zusammenstellung empfohlener integrierter Richtlinien für Azure KI-Plattformdienste. Wählen Sie die Richtlinieninitiative aus, die Sie während einer Azure-Zielzonenbereitstellung unter der Kategorie Workloadspezifische Compliance verwenden möchten. Die Richtliniensätze umfassen Azure OpenAI, Azure Machine Learning, Azure KI-Suche und Azure Bot Service.
Steuern der KI-Sicherheit
Die KI-Sicherheitsgovernance befasst sich mit dem Schutz von KI-Workloads vor Bedrohungen, die Daten, Modelle oder Infrastrukturen gefährden könnten. Durch robuste Sicherheitsverfahren werden diese Systeme vor unbefugtem Zugriff und Datenschutzverletzungen geschützt. Dieser Schutz gewährleistet die Integrität und Zuverlässigkeit von KI-Lösungen und ist unerlässlich für die Aufrechterhaltung des Benutzervertrauens sowie für die Einhaltung gesetzlicher Bestimmungen.
Aktivieren Sie Defender for Cloud für alle Abonnements. Defender for Cloud bietet einen kostengünstigen Ansatz zum Erkennen von Konfigurationen in Ihren bereitgestellten, ungeschützten Ressourcen. Sie sollten auch den KI-Bedrohungsschutz aktivieren.
Konfigurieren der Zugriffssteuerung. Gewähren Sie Benutzerzugriff mit den geringsten Rechten auf zentralisierte KI-Ressourcen. Beginnen Sie beispielsweise mit der Azure-Rolle „Leser“, und stufen Sie sie hoch auf die Azure-Rolle „Mitwirkender“, wenn die eingeschränkten Berechtigungen die Anwendungsentwicklung verlangsamen.
Verwenden verwalteter Identitäten Verwenden Sie eine verwaltete Identität für alle unterstützten Azure-Dienste. Gewähren Sie den Zugriff mit geringsten Rechten auf Anwendungsressourcen, die auf KI-Modellendpunkte zugreifen müssen.
Verwenden Sie den Just-in-Time-Zugriff. Verwenden Sie Privileged Identity Management (PIM) für den Just-in-Time-Zugriff.
Steuern von KI-Vorgängen
Die Governance von KI-Vorgängen konzentriert sich auf die Verwaltung und Aufrechterhaltung stabiler KI-Dienste. Diese Vorgänge unterstützen langfristige Zuverlässigkeit und Leistung. Zentrale Aufsichts- und Kontinuitätspläne helfen Organisationen dabei, Ausfallzeiten zu vermeiden, wodurch der konsistente Geschäftswert der KI gewährleistet wird. Diese Initiativen tragen zu einer effizienten KI-Bereitstellung und einer nachhaltigen betrieblichen Effektivität bei.
Überprüfen und verwalten Sie KI-Modelle. Entwickeln Sie eine Richtlinie für die Modellversionsverwaltung, insbesondere, wenn Modelle aktualisiert oder eingestellt werden. Sie müssen die Kompatibilität mit vorhandenen Systemen beibehalten und einen reibungslosen Übergang zwischen Modellversionen gewährleisten.
Entwickeln Sie einen Plan für Geschäftskontinuität und Notfallwiederherstellung. Stellen Sie eine Richtlinie für Geschäftskontinuität und Notfallwiederherstellung für Ihre KI-Endpunkte und -Daten auf. Konfigurieren Sie die Baselinenotfallwiederherstellung von Ressourcen, die von Ihren KI-Modellendpunkte gehostet werden. Zu diesen Ressourcen gehören Azure KI Studio, Azure Machine Learning, Azure OpenAI oder Azure KI Services. Alle Azure-Datenspeicher, z. B. Azure Blob Storage, Azure Cosmos DB und Azure SQL-Datenbank, bieten Anleitungen zur Zuverlässigkeit und Notfallwiederherstellung, die Sie befolgen sollten.
Definieren Sie Baselinemetriken für KI-Ressourcen. Aktivieren Sie empfohlene Warnungsregeln, um Benachrichtigungen über Abweichungen zu erhalten, die auf eine verminderte Workloadintegrität hinweisen. Beispiele finden Sie unter Azure KI-Suche, Azure Machine Learning, Bereitstellungen von Prompt Flows in Azure KI Studio und in den Leitfäden zu einzelnen Azure KI Services.
Steuern der Einhaltung gesetzlicher Bestimmungen für KI
Gemäß den gesetzlichen Vorschriften zur KI müssen Organisationen branchenübliche Normen und rechtliche Verpflichtungen einhalten, wodurch Risiken im Zusammenhang mit Verbindlichkeiten reduziert werden und Vertrauen aufgebaut wird. Compliancemaßnahmen helfen Organisationen dabei, Strafen zu vermeiden und die Glaubwürdigkeit gegenüber Kunden und Aufsichtsbehörden zu verbessern. Die Einhaltung dieser Normen stellt eine solide Grundlage für die verantwortungsvolle und konforme KI-Nutzung dar.
Automatisieren Sie die Compliance. Verwenden Sie Microsoft Purview Compliance Manager, um die Compliance in Cloudumgebungen zu bewerten und zu verwalten. Wenden Sie die entsprechenden Initiativen zur Einhaltung gesetzlicher Bestimmungen in Azure Policy auf Ihre Branche an. Wenden Sie andere Richtlinien basierend auf den von Ihnen verwendeten KI-Diensten (z. B. Azure KI Studio und Azure Machine Learning) an.
Entwickeln Sie branchenspezifische Complianceprüflisten. Vorschriften und Normen unterscheiden sich je nach Branche und Standort. Sie müssen Ihre gesetzlichen Anforderungen kennen und Prüflisten erstellen, die die für Ihre Branche relevanten gesetzlichen Anforderungen widerspiegeln. Überwachen Sie die auf Ihre KI-Workloads angewendeten Richtlinien anhand von Normen wie ISO/IEC 23053:2022 (Framework for Artificial Intelligence Systems Using Machine Learning, Framework für KI-Systeme mit maschinellem Lernen).
Verwalten von KI-Daten
Die KI-Datengovernance umfasst Richtlinien, um zu gewährleisten, dass in KI-Modelle eingespeiste Daten angemessen, konform und sicher sind. Die Datengovernance schützt Privatsphäre und geistiges Eigentum, wodurch die Zuverlässigkeit und Qualität der KI-Ausgaben verbessert werden. Diese Maßnahmen tragen dazu bei, Risiken im Zusammenhang mit Datenmissbrauch zu mindern. Sie entsprechen den regulatorischen und ethischen Normen.
Richten Sie einen Prozess für die Katalogisierung von Daten ein. Verwenden Sie ein Tool wie Microsoft Purview, um ein einheitliches Datenkatalog- und Klassifizierungssystem in Ihrer Organisation zu implementieren. Integrieren Sie diese Richtlinien in Ihre CI/CD-Pipelines für die KI-Entwicklung.
Verwalten sie Datensicherheitsgrenzen. Durch die Katalogisierung von Daten wird sichergestellt, dass vertrauliche Daten nicht in öffentlich zugängliche KI-Endpunkte eingespeist werden. Wenn Sie Indizes aus bestimmten Datenquellen erstellen, kann der Indizierungsprozess die Sicherheitsgrenzen um Daten entfernen. Vergewissern sie sich, dass alle in KI-Modellen erfassten Daten gemäß einheitlichen Normen klassifiziert und überprüft werden.
Vermeiden Sie Urheberrechtsverletzungen. Verwenden Sie ein Inhaltsfiltersystem wie Geschützte Materialerkennung in Azure KI Inhaltssicherheit, um urheberrechtlich geschütztes Material herauszufiltern. Stellen Sie beim Etablieren, Trainieren oder Optimieren von KI-Modellen sicher, dass Sie rechtmäßig erworbene und ordnungsgemäß lizenzierte Daten verwenden und Schutzmaßnahmen implementieren, um Urheberrechtsverletzungen des Modells zu verhindern. Überprüfen Sie regelmäßig die Ausgaben auf die Einhaltung der geistigen Eigentumsrechte.
Implementieren Sie die Versionskontrolle für Grundlagendaten. Richten Sie einen Versionskontrollprozess für Grundlagendaten ein, z. B. in RAG. Durch die Versionsverwaltung wird gewährleistet, dass Sie alle Änderungen an den zugrundeliegenden Daten oder deren Struktur nachverfolgen können. Sie können die Änderungen bei Bedarf rückgängig machen und so zur Aufrechterhaltung der Konsistenz aller Bereitstellungen beitragen.