Freigeben über

Missbrauchsüberwachung

  • Artikel

Azure OpenAI Service erkennt und entschärft Fälle von wiederkehrenden Inhalten und/oder Verhaltensweisen, die auf eine Nutzung des Dienstes in einer Weise hindeuten, die gegen die Verhaltensregeln oder andere geltende Produktbedingungen verstoßen könnte. Details zum Umgang mit Daten finden Sie auf der Seite Daten, Datenschutz und Sicherheit.

Komponenten der Missbrauchsüberwachung

Es gibt mehrere Komponenten für die Missbrauchsüberwachung:

  • Inhaltsklassifizierung: Klassifizierermodelle erkennen verletzenden Text und/oder Bilder in Benutzerprompts (Eingaben) und Vervollständigungen (Ausgaben). Das System sucht nach Kategorien von Schäden, die in den Inhaltsanforderungen definiert sind, und weist Schweregrade zu, wie auf der Seite „Inhaltsfilterung“ ausführlicher beschrieben. Die Signale zur Inhaltsklassifizierung tragen zur Mustererkennung bei, wie unten beschrieben.
  • Erfassen von Missbrauchsmustern: Die System zur Missbrauchsüberwachung von Azure OpenAI Service untersucht die Nutzungsmuster von Kunden und verwendet Algorithmen und Heuristiken, um Indikatoren für potenziellen Missbrauch zu erkennen. Erkannte Muster berücksichtigen beispielsweise die Häufigkeit und den Schweregrad, mit der schädliche Inhalte (wie in den Signalen der Inhaltsklassifizierer angegeben) in den Prompts und Vervollständigungen eines Kunden erkannt werden, wie auch die Absicht des Verhaltens. Die Trends und Dringlichkeit des erkannten Musters wirken sich auch auf die Bewertung potenzieller Missbrauchsschweregrade aus. Beispielsweise werden ein höheres Volumen schädlicher Inhalte, die als höherer Schweregrad klassifiziert werden, oder wiederkehrendes Verhalten, das auf Absicht hinweist (z. B. wiederkehrende Jailbreak-Versuche) wahrscheinlicher eine hohe Bewertung erhält, die auf potenziellen Missbrauch hindeutet.
  • Überprüfung und Entscheidung: Prompts und Vervollständigungen, die durch die Inhaltsklassifizierung gekennzeichnet und/oder als Teil eines potenziell missbräuchlichen Nutzungsmusters identifiziert werden, werden einem weiteren Überprüfungsprozess unterzogen, um die Analyse des Systems zu bestätigen und Entscheidungen über Maßnahmen zu treffen. Eine solche Überprüfung erfolgt über zwei Methoden: menschliche Überprüfung und KI-Überprüfung.
    • Wenn Prompts und Vervollständigungen durch die Inhaltsklassifizierung als schädlich und/oder als Teil eines potenziell missbräuchlichen Nutzungsmusters gekennzeichnet werden, können sie standardmäßig für eine automatisierte maschinelle Überprüfung durch ein LLM anstelle eines menschlichen Prüfers ausgewählt werden. Das für diesen Zweck verwendete LLM verarbeitet Prompts und Vervollständigungen nur, um die Analyse des Systems zu bestätigen und Entscheidungen über Maßnahmen zu treffen. Prompts und Vervollständigungen, die einer solchen LLM-Überprüfung unterzogen werden, werden nicht vom System gespeichert oder verwendet, um das LLM oder andere Systeme zu trainieren.
    • In einigen Fällen, in denen die automatisierte Überprüfung in komplexen Zusammenhängen die geltenden Konfidenzschwellenwerte nicht erreicht oder wenn LLM-Überprüfungssysteme nicht zur Verfügung stehen, kann eine Überprüfung durch einen Menschen durchgeführt werden, um eine zusätzliche Beurteilung vorzunehmen. Dies kann dazu beitragen, die Gesamtgenauigkeit der Missbrauchsanalyse zu verbessern. Autorisierte Microsoft-Mitarbeiter können gekennzeichnete Inhalte bewerten und die Klassifizierung oder Entscheidung basierend auf vordefinierten Anleitungen und Richtlinien entweder bestätigen oder korrigieren. Auf Prompts und Vervollständigungen können nur autorisierte Microsoft-Mitarbeiter über sichere Zugriffsarbeitstationen (Secure Access Workstations, SAWs) zugreifen mit Just-In-Time (JIT)-Genehmigung der Anforderung durch Teamleiter. Für Azure OpenAI Service-Ressourcen, die im Europäischen Wirtschaftsraum bereitgestellt werden, befinden sich die autorisierten Microsoft-Mitarbeiter im Europäischen Wirtschaftsraum. Dieser Prozess der menschlichen Überprüfung findet nicht statt, wenn der Kunde für eine modifizierte Missbrauchsüberwachung zugelassen wurde.
  • Benachrichtigung und Aktion: Wenn ein Schwellenwert für missbräuchliches Verhalten basierend auf den vorherigen Schritten bestätigt wurde, wird der Kunde per E-Mail über die Entscheidung informiert. Mit Ausnahme von schwerwiegendem oder wiederkehrendem Missbrauch erhalten Kunden in der Regel die Möglichkeit, das missbräuchliche Verhalten zu erläutern oder zu beheben und Mechanismen zu implementieren, um eine Wiederholung zu verhindern. Ein Fehler bei der Behebung des Verhaltens – oder wiederkehrender oder schwerwiegender Missbrauch – kann dazu führen, dass der Zugriff des Kunden auf Azure OpenAI-Ressourcen und/oder -Funktionen ausgesetzt oder beendet wird.

Modifizierte Missbrauchsüberwachung

Einige Kunden möchten den Azure OpenAI Service möglicherweise für einen Anwendungsfall verwenden, der die Verarbeitung hoch sensitiver oder streng vertraulicher Daten umfasst, oder sie kommen zum Schluss, dass sie nicht möchten oder nicht das Recht haben, Microsoft das Speichern und das Durchführen von menschlichen Überprüfungen für ihre Prompts und Vervollständigungen zur Erkennung von Missbrauch zu gestatten. Um diese Bedenken auszuräumen, ermöglicht Microsoft Kunden, welche zusätzliche Kriterien für den eingeschränkten Zugang erfüllen, die Änderung der Missbrauchsüberwachung zu beantragen, indem sie dieses Formular ausfüllen. Erfahren Sie mehr über das Beantragen der modifizierten Missbrauchsüberwachung bei Eingeschränktem Zugriff auf Azure OpenAI Service und über die Auswirkungen der modifizierten Missbrauchsüberwachung auf die Datenverarbeitung unter Daten, Datenschutz und Sicherheit für Azure OpenAI Service.

Hinweis

Wenn die Missbrauchsüberwachung geändert wird und keine menschliche Überprüfung durchgeführt wird, ist die Erkennung von potenziellem Missbrauch möglicherweise weniger genau. Kunden werden wie oben beschrieben über eine potenzielle Missbrauchserkennung informiert und sollten bereit sein, auf eine solche Benachrichtigung zu reagieren, um Dienstunterbrechungen wenn möglich zu vermeiden.

Nächste Schritte