Azure AI Foundry 포털의 흐름에 대한 LLM 도구

Important

이 문서에 표시된 항목(미리 보기)은 현재 퍼블릭 미리 보기에서 확인할 수 있습니다. 이 미리 보기는 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.

자연어 처리를 위해 LLM(큰 언어 모델)을 사용하려면 프롬프트 흐름 LLM 도구를 사용합니다.

참고 항목

다양한 자연어 처리 작업에 대해 텍스트를 조밀한 벡터 표현으로 변환하는 포함에 대한 내용은 포함 도구를 참조하세요.

필수 조건

프롬프트 도구 설명서에 설명된 대로 프롬프트를 준비합니다. LLM 도구와 프롬프트 도구는 모두 Jinja 템플릿을 지원합니다. 자세한 내용 및 모범 사례는 프롬프트 엔지니어링 기술을 참조하세요.

LLM 도구를 사용하여 빌드

1. Azure AI Foundry에서 흐름을 만들거나 엽니다. 자세한 내용은 흐름 만들기를 참조하세요.

2. + LLM을 선택하여 LLM 도구를 흐름에 추가합니다.

   

3. 프로비전된 리소스 중 하나에 대한 연결을 선택합니다. 예를 들어 Default_AzureOpenAI를 선택합니다.

4. Api 드롭다운 목록에서 채팅 또는 완료를 선택합니다.

5. Text 완성 입력 테이블에 설명된 LLM 도구 입력 매개 변수에 대한 값을 입력합니다. 채팅 API를 선택한 경우 채팅 입력 테이블을 참조하세요. 완료 API를 선택한 경우 텍스트 완성 입력 테이블을 참조하세요. 프롬프트 입력을 준비하는 방법에 대한 자세한 내용은 필수 구성 요소를 참조하세요.

6. 필요에 따라 흐름에 도구를 더 추가합니다. 또는 실행하여 흐름을 실행합니다.

7. 출력은 Outputs 테이블에 설명되어 있습니다.

입력

다음 입력 매개 변수를 사용할 수 있습니다.

텍스트 완성 입력

이름	형식	설명	필수
prompt	string	언어 모델에 대한 텍스트 프롬프트입니다.	예
model, deployment_name	string	사용할 언어 모델입니다.	예
max_tokens	정수	완료 시 생성할 최대 토큰 수입니다. 기본값은 16입니다.	아니요
온도	float	생성된 텍스트의 임의성입니다. 기본값은 1입니다.	아니요
stop	list	생성된 텍스트에 대한 중지 시퀀스입니다. 기본값은 null입니다.	아니요
접미사	string	완성의 끝에 추가된 텍스트입니다.	아니요
top_p	float	생성된 토큰에서 상위 선택 항목을 사용할 확률입니다. 기본값은 1입니다.	아니요
로그 문제	정수	생성할 로그 확률의 수입니다. 기본값은 null입니다.	아니요
echo	부울 값	응답에서 프롬프트를 다시 에코할지 여부를 나타내는 값입니다. 기본값은 false입니다.	아니요
presence_penalty	float	반복 구와 관련하여 모델의 동작을 제어하는 값입니다. 기본값은 0입니다.	아니요
frequency_penalty	float	드문 구 생성과 관련하여 모델의 동작을 제어하는 값입니다. 기본값은 0입니다.	아니요
best_of	정수	생성할 최상의 완료 수입니다. 기본값은 1입니다.	아니요
logit_bias	사전	언어 모델에 대한 로그 바이어스입니다. 기본값은 빈 사전입니다.	아니요

채팅 입력

이름	형식	설명	필수
prompt	string	언어 모델이 회신해야 하는 텍스트 프롬프트입니다.	예
model, deployment_name	string	사용할 언어 모델입니다.	예
max_tokens	정수	응답에서 생성할 최대 토큰 수입니다. 기본값은 inf입니다.	아니요
온도	float	생성된 텍스트의 임의성입니다. 기본값은 1입니다.	아니요
stop	list	생성된 텍스트에 대한 중지 시퀀스입니다. 기본값은 null입니다.	아니요
top_p	float	생성된 토큰에서 상위 선택 항목을 사용할 확률입니다. 기본값은 1입니다.	아니요
presence_penalty	float	반복 구와 관련하여 모델의 동작을 제어하는 값입니다. 기본값은 0입니다.	아니요
frequency_penalty	float	드문 구 생성과 관련하여 모델의 동작을 제어하는 값입니다. 기본값은 0입니다.	아니요
logit_bias	사전	언어 모델에 대한 로그 바이어스입니다. 기본값은 빈 사전입니다.	아니요

출력

출력은 입력에 대해 선택한 API에 따라 달라집니다.

API	반환 형식	설명
Completion	string	예측된 완료 날짜의 텍스트입니다.
채팅	string	대화의 한 응답 텍스트입니다.

다음 단계

• 흐름을 만드는 방법에 대해 자세히 알아보기