Azure AI Studio의 플레이그라운드에서 모델 테스트
플레이그라운드는 자체 클라이언트 애플리케이션을 개발할 필요 없이 배포된 모델을 실험하는 데 사용할 수 있는 Azure AI Studio의 유용한 인터페이스입니다. Azure AI Studio는 다양한 매개 변수 튜닝 옵션이 있는 여러 플레이그라운드를 제공합니다.
완성 플레이그라운드
완성 플레이그라운드를 사용하면 텍스트 입력, 텍스트 출력 인터페이스를 통해 배포된 모델을 호출하고 매개 변수를 조정할 수 있습니다. 배포에서 모델의 배포 이름을 선택해야 합니다. 필요에 따라 제공된 예제를 사용하여 시작할 수 있습니다. 그런 다음 사용자 고유의 프롬프트를 입력할 수 있습니다.
완료 플레이그라운드 매개 변수
모델의 성능을 변경하도록 조정할 수 있는 많은 매개 변수가 있습니다.
- 온도: 임의성을 제어합니다. 온도를 낮추면 모델이 더 반복적이고 결정된 응답을 생성합니다. 온도를 높이면 예기치 않거나 창의적인 응답이 발생합니다. 온도 또는 상위 P를 조정하되 둘 다 조정하지는 마세요.
- 최대 길이(토큰): 모델 응답당 토큰 수에 대한 제한을 설정합니다. API는 프롬프트(시스템 메시지, 예제, 메시지 기록 및 사용자 쿼리 포함)와 모델 응답 간에 공유되는 최대 4,000개의 토큰을 지원합니다. 한 토큰은 일반적인 영어 텍스트의 경우 약 4자입니다.
- 시퀀스 중지: 문장 또는 목록의 끝과 같은 원하는 지점에서 응답을 중지합니다. 모델이 응답에서 추가 토큰 생성을 중지하는 시퀀스를 최대 4개까지 지정합니다. 반환된 텍스트에는 중지 시퀀스가 포함되지 않습니다.
- 상위 확률(상위 P): 온도와 유사하게 임의성을 제어하지만 다른 방법을 사용합니다. 상위 P를 낮추면 모델의 토큰 선택이 유사 토큰으로 좁혀지게 됩니다. 상위 P를 늘리면 모델이 가능성이 높고 낮은 토큰 중에서 선택할 수 있습니다. 온도 또는 상위 P를 조정하되 둘 다 조정하지는 마세요.
- 빈도 페널티: 지금까지 텍스트에 나타난 빈도에 따라 토큰을 비례적으로 반복할 가능성을 줄입니다. 이렇게 하면 응답에서 정확히 동일한 텍스트를 반복할 가능성이 줄어듭니다.
- 현재 상태 페널티: 지금까지 텍스트에 표시된 토큰을 반복할 가능성을 줄입니다. 이렇게 하면 응답에 새 주제를 도입할 가능성이 높아집니다.
- 사전 응답 텍스트: 사용자의 입력 뒤와 모델의 응답 앞에 텍스트를 삽입합니다. 이렇게 하면 응답에 대한 모델을 준비하는 데 도움이 될 수 있습니다.
- 사후 응답 텍스트: 대화를 모델링할 때와 같이 추가 사용자 입력을 권장하도록 모델의 생성된 응답 뒤에 텍스트를 삽입합니다.
채팅 플레이그라운드
채팅 플레이그라운드는 대화형 메시지 출력 인터페이스를 기반으로 합니다. 시스템 메시지를 사용하여 세션을 초기화하고 채팅 컨텍스트를 설정할 수 있습니다.
채팅 플레이그라운드에서 퓨샷 예제를 추가할 수 있습니다. 퓨샷이라는 용어는 모델이 수행해야 하는 작업을 학습하는 데 도움이 되는 몇 가지 예제를 제공하는 것을 의미합니다. 예를 제공하지 않는 것을 의미하는 제로 샷과 대조해서 생각할 수 있습니다.
비서 설정에서 사용자 입력이 무엇이고 비서 응답이 무엇인지에 대한 몇 가지 예제를 제공할 수 있습니다. 비서는 시스템 메시지에 정의한 톤, 규칙 및 형식으로 여기에 포함된 응답을 모방하려고 합니다.
채팅 플레이그라운드 매개 변수
완성 플레이그라운드와 같은 채팅 플레이그라운드에는 모델의 동작을 사용자 지정하는 매개 변수도 포함되어 있습니다. 채팅 플레이그라운드는 완료 플레이그라운드에서 사용할 수 없는 다른 매개 변수도 지원합니다. 여기에는 다음이 포함됩니다.
- 최대 응답: 모델 응답당 토큰 수에 대한 제한을 설정합니다. API는 프롬프트(시스템 메시지, 예제, 메시지 기록 및 사용자 쿼리 포함)와 모델 응답 간에 공유되는 최대 4,000개의 토큰을 지원합니다. 한 토큰은 일반적인 영어 텍스트의 경우 약 4자입니다.
- 포함된 이전 메시지: 각 새 API 요청에 포함할 과거 메시지 수를 선택합니다. 과거 메시지를 포함하면 모델에 새 사용자 쿼리에 대한 컨텍스트를 제공하는 데 도움이 됩니다. 이 숫자를 10으로 설정하면 사용자 쿼리 5개와 시스템 응답 5개가 포함됩니다.
현재 토큰 수는 채팅 플레이그라운드에서 볼 수 있습니다. API 호출은 토큰별로 가격이 책정되고 최대 응답 토큰 제한을 설정할 수 있으므로 현재 토큰 수를 감시하여 대화가 최대 응답 토큰 수를 초과하지 않도록 해야 합니다.