생성형 오케스트레이션 사용 관련 FAQ
이 자주 묻는 질문(FAQ)은 Copilot Studio에 내장된 사용자 지정 에이전트에 대한 생성형 오케스트레이션의 AI 영향에 대해 설명합니다.
생성형 오케스트레이션이란?
생성형 오케스트레이션 을 사용하면 사용자 지정 에이전트가 관련 주제 및/또는 작업으로 사용자 쿼리에 응답할 수 있습니다. 생성형 오케스트레이션은 대화 내역의 세부 정보를 사용하여 입력 내용을 채워 넣음으로써 보다 자연스러운 대화를 가능하게 합니다. 예를 들어 커클랜드에서 가장 가까운 매장에 대해 질문한 다음 그곳의 날씨를 묻는 경우 오케스트레이션은 커클랜드의 날씨 를 묻고 싶다고 추론합니다. 시스템은 여러 작업 또는 항목을 함께 연결할 수도 있습니다. 예를 들어 "매장 영업시간을 확인하고 가장 가까운 매장을 찾아야 합니다"라고 답할 수 있습니다. 에이전트가 세부 사항에 대해 확실하지 않은 경우 모호성을 없애기 위해 후속 질문을 할 수 있습니다.
생성형 오케스트레이션은 무엇을 할 수 있나요?
생성형 오케스트레이션을 통해 시스템은 먼저 사용 가능한 항목 및 작업의 이름, 설명, 입력 및 출력을 사용하여 사용자 쿼리에 응답하는 계획을 만듭니다. 또한 최근 10번의 대화 내역도 참조합니다. 그런 다음 대화에서 필요한 입력 내용을 채워 계획을 실행하고, 누락되거나 모호한 세부 정보가 있는 경우 사용자에게 후속 조치를 취합니다. 시스템은 사용자에게 답변하기 전에 사용자의 질문에 대한 답변을 찾았는지 확인합니다. 그렇지 않은 경우에는 다시 과정을 거칩니다. 마지막으로, 시스템은 토픽 및/또는 작업의 계획 출력을 기반으로 응답을 생성합니다. 또한 최종 응답을 생성할 때 에이전트에 대한 사용자 지정 지침을 사용합니다.
생성형 오케스트레이션의 의도된 용도는 무엇입니까?
에이전트 내에서 이 모드를 사용하여 대화 기록, 항목에 대한 이름 및 설명, 작업에 대한 이름, 설명, 입력 및 출력을 기반으로 사용자 쿼리에 응답할 수 있는 에이전트 만들 수 있습니다.
생성형 오케스트레이션은 어떻게 평가되나요? 성능을 측정하는 데 사용되는 메트릭은 무엇입니까?
생성형 오케스트레이션은 프로세스의 각 단계에서 엔드투엔드 품질을 평가합니다. 품질은 시스템이 사용자 쿼리를 성공적으로 처리하는 계획을 얼마나 잘 만들고 실행하는지를 기준으로 측정됩니다. 우리 팀은 미세 조정 중에 품질 점수에 수동으로 레이블을 지정합니다. 다양한 사용자 쿼리, 프롬프트 및 작업에 대해 품질을 평가합니다. 또한 시스템이 사용자와 작성자의 악성 콘텐츠를 얼마나 잘 무시하는지, 유해한 콘텐츠 생성을 얼마나 잘 방지하는지도 평가합니다.
생성형 오케스트레이션의 한계는 무엇인가요? 사용자가 시스템을 사용할 때 생성형 오케스트레이션 제한의 영향을 최소화하려면 어떻게 해야 합니까?
최상의 결과를 얻으려면 토픽과 작업에 고품질 설명이 포함되어야 합니다. Copilot Studio 설명서에서 고품질 설명을 작성하는 방법에 대한 지침을 제공합니다.
생성형 오케스트레이션을 효과적이고 책임감 있게 사용하려면 어떤 운영 요소와 설정이 필요합니까?
생성형 오케스트레이션은 현재 영어로만 제공됩니다. 에이전트 내에서 생성 모드를 활성화하면 테스트 패널을 사용하여 시스템이 얼마나 잘 작동하는지 테스트할 수 있습니다. 에이전트에 대한 사용자 지정 지침을 추가하여 최종 응답을 생성할 수도 있습니다.
작업이란 무엇이며 생성 모드가 활성화된 에이전트는 작업을 어떻게 사용합니까?
사용자 지정 에이전트에 작업을 추가하여 사용자 쿼리에 응답할 수 있습니다. Microsoft나 타사에서 개발한 작업을 사용할 수도 있고, 직접 작업을 만들 수도 있습니다. 사용자 지정 에이전트에 대해 어떤 작업을 구성할지 구성합니다. 또한 시스템에서 사용하는 이름, 설명, 입력 및 출력을 편집할 수 있습니다.
Copilot Studio는 작업에 어떤 데이터를 제공할 수 있습니까? Copilot Studio 작업에는 어떤 권한이 있나요?
에이전트가 작업을 호출하면 작업은 작업에 지정된 입력 값을 받습니다. 입력 값에는 사용자와의 대화 기록 중 일부가 포함될 수 있습니다.
작업에서 활성화된 Copilot Studio를 사용할 때 어떤 종류의 문제가 발생할 수 있습니까?
작업이 항상 의도한 대로 작동하지 않을 수 있습니다. 작업에 대한 입력을 준비하거나 작업의 출력을 기반으로 응답을 생성할 때 오류가 발생할 수 있습니다. 에이전트가 사용자 쿼리에 대해 잘못된 작업을 호출할 수도 있습니다. 작업을 사용할 때 이러한 오류의 위험을 완화하려면 사용자 지정 에이전트의 작업에 대해 고품질의 관련성 있고 모호하지 않은 설명이 구성되어 있는지 확인합니다.
Copilot Studio에는 책임 있는 AI를 위해 어떤 보호 장치가 마련되어 있나요?
에이전트를 보호하기 위한 많은 완화 기능이 있습니다. 일련의 지식, 작업 및 항목으로 에이전트 구성할 수 있습니다. 에이전트는 구성의 일부가 아닌 작업을 수행하지 않습니다. 관리자는 조직의 상담원에 대한 작업을 허용하지 않을 수 있습니다. 확인 없이 작업이 트리거되는 것이 우려되는 경우 사용자가 호출에 동의한 경우에만 작업이 호출되도록 구성할 수 있습니다.
또한 유해한 콘텐츠와 탈옥 공격을 감지하기 위해 시스템에 대한 입력을 살펴보는 분류자가 있습니다. 테스트에 따르면 이러한 분류자는 유해한 콘텐츠 및 탈옥 공격을 차단하는 데 성공률이 높으며 유해하지 않은 콘텐츠 또는 탈옥 공격을 차단하지 않는 데에도 높은 성공률을 보입니다. 그러나 분류자는 완벽할 수 없으므로 에이전트가 유해한 콘텐츠를 생성하거나 탈옥 공격에 대응할 위험이 있습니다. 이러한 위험에는 에이전트가 따르려고 시도하는 작업 또는 지식 소스의 출력에 지침이 추가될 수 있는 도메인 간 프롬프트 삽입 공격이 포함됩니다.
마지막으로, 에이전트가 인공 지능을 사용한다는 것을 사용자에게 알리는 것이 가장 좋으므로 다음 기본 메시지는 사용자에게 "저는 때때로 AI를 사용해 질문에 답합니다"라고 알립니다.