다음을 통해 공유

남용 모니터링

  • 아티클

Azure OpenAI Service는 행동 강령 또는 기타 적용 가능한 제품 약관을 위반할 수 있는 방식으로 서비스 사용을 제안하는 반복 콘텐츠 및/또는 동작의 인스턴스를 검색하고 완화합니다. 데이터 처리 방법에 대한 자세한 내용은 데이터, 개인 정보 및 보안 페이지에서 확인할 수 있습니다.

남용 모니터링 구성 요소

남용 모니터링에 대한 몇 가지 구성 요소가 있습니다.

  • 콘텐츠 분류: 분류자 모델은 사용자 프롬프트(입력) 및 완성(출력)에서 유해한 텍스트 및/또는 이미지를 검색합니다. 시스템은 콘텐츠 요구 사항에 정의된 피해 범주를 찾고 콘텐츠 필터링 페이지에 자세히 설명된 대로 심각도 수준을 할당합니다. 콘텐츠 분류 신호는 아래에 설명된 대로 패턴 검색에 기여합니다.
  • 남용 패턴 캡처: Azure OpenAI 서비스의 남용 모니터링 시스템은 고객 사용 패턴을 살펴보고 알고리즘 및 추론을 사용하여 잠재적인 남용 지표를 감지하고 점수를 매깁니다. 예를 들어 감지된 패턴은 고객의 프롬프트 및 완료에서 유해한 콘텐츠가 감지되는 빈도 및 심각도와 동작의 의도성을 고려합니다. 감지된 패턴의 추세와 긴급도는 잠재적인 남용 심각도의 점수 매기기에도 영향을 줍니다. 예를 들어 더 높은 심각도로 분류된 유해한 콘텐츠의 양이 많거나 의도(예: 반복 탈옥 시도)를 나타내는 반복 행위는 모두 잠재적인 남용을 나타내는 높은 점수를 받을 가능성이 높습니다.
  • 검토 및 결정: 콘텐츠 분류를 통해 플래그가 지정되거나 잠재적으로 악의적인 사용 패턴의 일부로 식별되는 프롬프트 및 완료에는 시스템의 분석을 확인하고 조치 결정을 알리는 데 도움이 되는 다른 검토 프로세스가 적용됩니다. 이러한 검토는 인간 검토 및 AI 검토의 두 가지 방법을 통해 수행됩니다.
    • 기본적으로 프롬프트 및 완성이 콘텐츠 분류를 통해 유해하고/또는 잠재적으로 악의적인 사용 패턴의 일부로 식별되는 경우, 사용자 검토자 대신 LLM을 사용하여 자동화된 눈 끄기 검토를 위해 샘플링될 수 있습니다. 이 용도 프로세스에 사용되는 LLM은 시스템 분석을 확인하고 조치 결정을 알리기 위한 프롬프트 및 완료만을 표시합니다. 이러한 LLM 검토를 거치는 프롬프트 및 완료는 시스템에 저장되거나 LLM 또는 다른 시스템을 학습하는 데 사용되지 않습니다.
    • 경우에 따라 자동화된 검토가 복잡한 컨텍스트에서 적용 가능한 신뢰도 임계값을 충족하지 못하거나 LLM 검토 시스템을 사용할 수 없는 경우 추가적인 판단을 내릴 수 있도록 인적 검토가 도입될 수 있습니다. 이렇게 하면 전반적인 남용 분석 정확도를 개선하는 데 도움이 될 수 있습니다. 승인된 Microsoft 직원은 플래그가 지정된 콘텐츠를 평가하고 미리 정의된 지침 및 정책에 따라 분류 또는 결정을 확인하거나 수정할 수 있습니다. 팀 관리자가 부여한 JIT(Just-In-Time) 요청 승인을 통해 인증된 Microsoft 직원이 SAW(Secure Access Workstations)를 통해서만 사용자 검토를 위해 프롬프트 및 완료에 액세스할 수 있습니다. 유럽 경제 지역에 배포된 Azure OpenAI Service 리소스의 경우 권한 있는 Microsoft 직원은 유럽 경제 지역에 있습니다. 고객이 수정된 남용 모니터링에 대해 승인된 경우 이 사용자 검토 프로세스가 수행되지 않습니다.
  • 알림 및 조치: 이전 단계에 따라 악의적인 동작의 임계값이 확인되면 고객에게 이메일로 결정에 대한 알림을 받습니다. 심각하거나 반복되는 남용의 경우를 제외하면, 일반적으로 고객에게는 악의적인 행동을 설명하거나 교정하고 재발을 방지하기 위한 메커니즘을 구현할 수 있는 기회가 주어집니다. 동작을 해결하지 못하거나 반복적이거나 심각한 남용으로 인해 Azure OpenAI 리소스 및/또는 기능에 대한 고객의 액세스가 중단되거나 종료될 수 있습니다.

수정된 남용 모니터링

일부 고객은 매우 중요하거나 기밀이 높은 데이터 처리와 관련된 사용 사례에 Azure OpenAI 서비스를 사용하려고 할 수도 있고, 그렇지 않으면 Microsoft가 프롬프트 및 남용 감지 완료에 대한 사용자 검토를 저장하고 수행할 수 있는 권한을 원하지 않거나 허용하지 않는다고 결론을 내릴 수 있습니다. 이러한 문제를 해결하기 위해 Microsoft는 추가 제한된 액세스 자격 기준을 충족하는 고객이 이 양식을 작성하여 남용 모니터링을 수정하도록 적용할 수 있도록 허용합니다. Azure OpenAI 서비스에 대한 제한된 액세스에서 수정된 남용 모니터링을 적용하고 수정된 남용 모니터링이 Azure OpenAI 서비스의 데이터 처리, 개인 정보 보호 및 보안에 미치는 영향에 대해 자세히 알아봅니다.

참고 항목

남용 모니터링이 수정되고 사용자 검토가 수행되지 않으면 잠재적인 남용을 탐지하는 것이 덜 정확할 수 있습니다. 고객은 위에서 설명한 대로 잠재적인 남용 탐지에 대한 알림을 받게 되며, 가능한 경우 서비스 중단을 방지하기 위해 이러한 알림에 응답할 준비가 되어 있어야 합니다.

다음 단계