연습 – 근거 검색
AI 기반 고객 지원 에이전트를 통합하는 것은 Contoso Camping Store의 판도를 바꾸는 것입니다! 고객은 Contoso Camping Store 제품 사용 방법에 대한 제품 권장 사항 및 지침을 지원 에이전트에게 요청할 수 있습니다. 그러나 모델이 모델에 전달된 원본 재질에 기초한 응답을 제공하는지 확인하려고 합니다.
출력의 근거 있음 여부를 감지하기 위해 모델로 프롬프트를 테스트해 보겠습니다.
근거 있는 출력 감지
근거 있는 원본을 제공하고, 프롬프트를 제출하고, 근거 있는 출력을 검색하는 모델의 기능을 테스트하기 위한 완료를 제공할 수 있습니다. 텐트 비용으로 이 테스트를 시도해 봅시다.
콘텐츠 보안 페이지에서 근거성 검색을 선택합니다.
작업 선택 섹션에서 Q&A를 선택합니다.
테스트 섹션에서 각 상자에 다음을 입력합니다.
근거 있는 원본 – 텐트 비용은 $250
프롬프트 – 텐트 비용?
완료 – $250
테스트 실행을 선택합니다.
근거 있는 원본과 완성 출력이 정렬된 경우 모델은 출력이 근거 있음을 감지할 수 있었습니다.
근거 없는 출력 감지
모델이 경우에 따라 잘못된 정보를 제공할 수 있으므로 모델이 출력이 접지되지 않았는지 여부를 검색할 수 있는지 확인해야 합니다. 이전 예와 마찬가지로 근거 없는 출력을 테스트할 수 있지만 대신 근거 있는 원본과 모순되거나 일치하지 않는 완성을 제공합니다.
테스트 섹션에서 각 상자에 다음을 입력합니다.
근거 있는 원본 – 텐트 비용은 $250
프롬프트 – 텐트 비용?
완료 – $350
테스트 실행을 선택합니다.
완성이 텐트의 잘못된 비용을 제공하므로 출력이 근거 없음이며 모델은 출력이 근거가 없음을 감지할 수 있습니다.
요약된 출력 생성
고객 지원 에이전트의 경우 모델이 요약 출력을 생성할 수 있는지 확인하려고 합니다. 예를 들어 고객이 제품에서 발생한 문제에 대해 장황하게 설명하는 경우입니다. 모델이 고객 문의의 맥락을 정확하게 종합하여 근거 있는 요약된 출력을 제공하도록 하고자 합니다. 고객 문의를 근거 있는 원본으로 전달하고 문의 컨텍스트에 따라 완료를 제공하여 근거 있는지를 테스트할 수 있습니다.
작업 선택 섹션에서 요약을 선택합니다.
테스트 섹션에서 각 상자에 다음을 입력합니다.
근거 있는 원본 - 최근 가족 캠핑 여행을 위해 TrailMaster X4 텐트 3개를 구입했습니다. 전반적으로 좋은 성능을 보였지만 몇 가지 사소한 문제를 발견했습니다. 텐트 중 하나의 지퍼가 약간 끈적이는 것 같았고, 보관 가방에 작은 찢어짐이 있었습니다. 이는 사소한 문제이지만 사용자의 관심을 끌 수 있도록 해야 한다고 생각했습니다.
완료 – 문제 없이 잘 작동하는 텐트 4개를 구입했습니다.
테스트 실행을 선택합니다.
고객이 텐트 3개를 구입했고 텐트에 몇 가지 사소한 문제가 있었다는 점을 고려하면 완료는 근거 있음이 아닙니다. 모델은 요약된 출력이 근거 없음을 감지할 수 있었습니다.
