LLM 도구
프롬프트 흐름의 LLM(대규모 언어 모델) 도구를 사용하면 OpenAI 또는 Azure OpenAI Service와 같이 널리 사용되는 대규모 언어 모델 또는 자연어 처리를 위해 Azure AI 모델 유추 API에서 지원하는 모든 언어 모델을 활용할 수 있습니다.
프롬프트 흐름은 다음과 같은 몇 가지 다양한 대규모 언어 모델 API를 제공합니다.
- 완료: OpenAI의 완료 모델은 제공된 프롬프트를 기반으로 텍스트를 생성합니다.
- 채팅: OpenAI의 채팅 모델 및 Azure AI 채팅 모델은 텍스트 기반 입력 및 응답과 대화형 대화를 용이하게 합니다.
참고 항목
LLM 도구 API 설정에서 옵션을 제거 embedding 했습니다. 포함 도구와 함께 포함 API를 사용할 수 있습니다.
Azure OpenAI 연결에는 키 기반 인증만 지원됩니다.
Azure OpenAI 리소스의 리소스 그룹 이름에 비 ascii 문자를 사용하지 마세요. 프롬프트 흐름이 이 경우를 지원하지 않습니다.
필수 조건
OpenAI 리소스 만들기:
OpenAI:
- OpenAI 웹 사이트에서 계정을 만듭니다.
- 로그인하고 개인 API 키를 찾습니다.
Azure OpenAI:
- 다음 지침에 따라 Azure OpenAI 리소스를 만듭니다.
서버리스 API 엔드포인트에 배포된 모델
- 관심 있는 카탈로그에서 모델을 사용하여 엔드포인트를 만들고 서버리스 API 엔드포인트를 사용하여 배포합니다.
- Mistral, Cohere, Meta Llama 또는 Microsoft 모델 제품군과 같은 Azure AI 모델 유추 API에서 지원하는 서버리스 API 엔드포인트에 배포된 모델을 사용하려면 프로젝트에서 엔드포인트에 대한 연결을 만들어야 합니다 .
연결
프롬프트 흐름에서 프로비전된 리소스에 대한 연결을 설정합니다.
| Type | 이름 | API 키 | API 형식 | API 버전 |
|---|---|---|---|---|
| OpenAI | 필수 | Required | - | - |
| Azure OpenAI - API 키 | Required | 필수 | 필수 | Required |
| Azure OpenAI - Microsoft Entra ID | Required | - | - | Required |
| 서버리스 모델 | Required | Required | - | - |
팁
- Azure OpenAI 연결에 Microsoft Entra ID 인증 유형을 사용하려면 사용자 또는 사용자가 할당한 관리 ID에
Cognitive Services OpenAI User또는Cognitive Services OpenAI Contributor role을 할당해야 합니다. - 사용자 ID를 사용하여 흐름 실행을 제출하도록 지정하는 방법에 대해 자세히 알아보세요.
- 관리 ID를 사용하여 Azure OpenAI 서비스를 구성하는 방법에 대해 자세히 알아보세요.
입력
다음 섹션에서는 다양한 입력을 보여 줍니다.
텍스트 완료
| 속성 | 형식 | 설명 | 필수 |
|---|---|---|---|
| prompt | string | 언어 모델에 대한 텍스트 프롬프트입니다. | 예 |
| model, deployment_name | string | 사용할 언어 모델입니다. | 예 |
| max_tokens | 정수 | 완료 시 생성할 최대 토큰 수입니다. 기본값은 16입니다. | 아니요 |
| 온도 | float | 생성된 텍스트의 임의성입니다. 기본값은 1입니다. | 아니요 |
| stop | list | 생성된 텍스트의 중지 시퀀스입니다. 기본값은 null입니다. | 아니요 |
| 접미사 | string | 완료 끝에 텍스트가 추가되었습니다. | 아니요 |
| top_p | float | 생성된 토큰 중 최고의 선택을 사용할 확률입니다. 기본값은 1입니다. | 아니요 |
| 로그 문제 | 정수 | 생성할 로그 확률의 수입니다. 기본값은 null입니다. | 아니요 |
| echo | 부울 값 | 응답에서 프롬프트를 다시 에코할지 여부를 나타내는 값입니다. 기본값은 false입니다. | 아니요 |
| presence_penalty | float | 반복 구에 대한 모델의 동작을 제어하는 값입니다. 기본값은 0입니다. | 아니요 |
| frequency_penalty | float | 희귀 구를 생성하기 위한 모델의 동작을 제어하는 값입니다. 기본값은 0입니다. | 아니요 |
| best_of | 정수 | 생성할 최상의 완료 수입니다. 기본값은 1입니다. | 아니요 |
| logit_bias | 사전 | 언어 모델에 대한 로그 바이어스입니다. 기본값은 빈 사전입니다. | 아니요 |
채팅
| 속성 | 형식 | 설명 | 필수 |
|---|---|---|---|
| prompt | string | 언어 모델이 응답에 사용하는 텍스트 프롬프트입니다. | 예 |
| model, deployment_name | string | 사용할 언어 모델입니다. 모델이 서버리스 API 엔드포인트에 배포되는 경우에는 이 매개 변수가 필요하지 않습니다. | 예* |
| max_tokens | 정수 | 응답에서 생성할 최대 토큰 수입니다. 기본값은 inf입니다. | 아니요 |
| 온도 | float | 생성된 텍스트의 임의성입니다. 기본값은 1입니다. | 아니요 |
| stop | list | 생성된 텍스트의 중지 시퀀스입니다. 기본값은 null입니다. | 아니요 |
| top_p | float | 생성된 토큰 중 최고의 선택을 사용할 확률입니다. 기본값은 1입니다. | 아니요 |
| presence_penalty | float | 반복 구에 대한 모델의 동작을 제어하는 값입니다. 기본값은 0입니다. | 아니요 |
| frequency_penalty | float | 희귀 구를 생성하기 위한 모델의 동작을 제어하는 값입니다. 기본값은 0입니다. | 아니요 |
| logit_bias | 사전 | 언어 모델에 대한 로그 바이어스입니다. 기본값은 빈 사전입니다. | 아니요 |
Outputs
| API | 반환 형식 | 설명 |
|---|---|---|
| Completion | string | 하나의 예측 완료 텍스트 |
| 채팅 | string | 대화의 한 응답 텍스트 |
LLM 도구 사용
- OpenAI 리소스 또는 서버리스 API 엔드포인트에 대한 연결을 설정하고 선택합니다.
- 큰 언어 모델 API 및 해당 매개 변수를 구성합니다.
- 지침으로 프롬프트를 준비합니다.