모델 LLM 도구 열기
Open Model LLM 도구를 사용하면 Azure Machine Learning 프롬프트 흐름에서 자연어 처리를 위해 Falcon 및 Llama 2와 같은 다양한 오픈 모델 및 기본 모델을 활용할 수 있습니다.
주의
사용 중단 알림: Open Model LLM 도구는 AZURE AI 모델 유추 API에서 지원하는 모든 모델에 대한 지원을 제공하는 LLM 도구를 위해 더 이상 사용되지 않으므로 유연성이 향상됩니다.
Visual Studio Code 프롬프트 흐름 확장에서 작동하는 방식은 다음과 같습니다. 이 예제에서는 도구가 LlaMa-2 채팅 엔드포인트를 호출하고 "CI란?"을 묻는 데 사용됩니다.
이 프롬프트 흐름 도구는 두 가지 LLM API 형식을 지원합니다.
- 채팅: 앞의 예제에 나와 있습니다. 채팅 API 유형은 텍스트 기반 입력 및 응답을 사용하여 대화형 대화를 용이하게 합니다.
- 완료: 완성 API 형식은 제공된 프롬프트 입력에 따라 단일 응답 텍스트 완성을 생성하는 데 사용됩니다.
빠른 개요: 모델 열기 LLM 도구를 사용할 어떻게 할까요? 있나요?
- Azure Machine Learning 모델 카탈로그에서 모델을 선택하고 배포합니다.
- 모델 배포에 연결합니다.
- 열린 모델 llm 도구 설정을 구성합니다.
- 프롬프트를 준비합니다.
- 흐름을 실행합니다.
필수 구성 요소: 모델 배포
- Azure Machine Learning 모델 카탈로그에서 시나리오와 일치하는 모델을 선택합니다.
- 배포 단추를 사용하여 Azure Machine Learning 온라인 유추 엔드포인트에 모델을 배포합니다.
- 배포 옵션으로 이동하면서 결제 옵션 중 하나를 사용합니다.
자세한 내용은 추론을 위해 엔드포인트에 기본 모델 배포를 참조하세요.
필수 구성 요소: 모델에 연결
프롬프트 흐름이 배포된 모델을 사용하려면 해당 모델에 연결해야 합니다. 연결하는 방법에는 두 가지가 있습니다.
엔드포인트 연결
흐름이 Azure Machine Learning 또는 Azure AI Studio 작업 영역에 연결되면 모델 열기 LLM 도구는 해당 작업 영역의 엔드포인트를 사용할 수 있습니다.
Azure Machine Learning 또는 Azure AI Studio 작업 영역 사용: 웹 페이지 기반 브라우저 작업 영역 중 하나에서 프롬프트 흐름을 사용하는 경우 해당 작업 영역에서 자동으로 작동하는 온라인 엔드포인트를 사용할 수 있습니다.
먼저 VS Code 또는 코드 사용: VS Code 또는 Code First 제품 중 하나에서 프롬프트 흐름을 사용하는 경우 작업 영역에 연결해야 합니다. 모델 열기 LLM 도구는 권한 부여를 위해 azure.identity DefaultAzureCredential 클라이언트를 사용합니다. 한 가지 방법은 환경 자격 증명 값을 설정하는 것입니다.
사용자 지정 연결
모델 열기 LLM 도구는 CustomConnection을 사용합니다. 프롬프트 흐름은 다음 두 가지 유형의 연결을 지원합니다.
작업 영역 연결 - Azure Machine Learning 작업 영역에 비밀로 저장되는 연결입니다. 이러한 연결을 사용할 수 있지만 여러 위치에서 일반적으로 Studio UI에서 생성되고 유지 관리됩니다. Studio UI에서 사용자 지정 연결을 만드는 방법을 알아보려면 사용자 지정 연결을 만드는 방법을 참조하세요.
로컬 연결 - 컴퓨터에 로컬로 저장된 연결입니다. 이러한 연결은 Studio UX에서 사용할 수 없지만 VS Code 확장과 함께 사용할 수 있습니다. 로컬 사용자 지정 연결을 만드는 방법을 알아보려면 로컬 연결을 만드는 방법을 참조하세요.
설정해야 하는 키는 다음과 같습니다.
- endpoint_url
- 이 값은 이전에 만든 추론 엔드포인트에서 찾을 수 있습니다.
- endpoint_api_key
- 비밀 값으로 설정해야 합니다.
- 이 값은 이전에 만든 추론 엔드포인트에서 찾을 수 있습니다.
- model_family
- 지원되는 값: LLAMA, DOLLY, GPT2 또는 FALCON
- 이 값은 대상으로 하는 배포 유형에 따라 달라집니다.
도구 실행: 입력
모델 LLM 열기 도구에는 많은 매개 변수가 있으며, 그 중 일부는 필수입니다. 자세한 내용은 다음 표를 참조하세요. 시각적 명확성을 위해 이러한 매개 변수를 이전 스크린샷과 일치시킬 수 있습니다.
| 속성 | 형식 | 설명 | 필수 |
|---|---|---|---|
| api | string | 사용된 모델과 선택한 시나리오에 따라 달라지는 API 모드입니다. 지원되는 값: (완료 | 채팅) | 예 |
| endpoint_name | string | 지원되는 모델이 배포된 온라인 추론 엔드포인트의 이름입니다. 연결보다 우선합니다. | 예 |
| 온도 | float | 생성된 텍스트의 임의성입니다. 기본값은 1입니다. | 아니요 |
| max_new_tokens | 정수 | 완료 시 생성할 최대 토큰 수입니다. 기본값은 500입니다. | 아니요 |
| top_p | float | 생성된 토큰에서 상위 선택 항목을 사용할 확률입니다. 기본값은 1입니다. | 아니요 |
| model_kwargs | 사전 | 이 입력은 사용되는 모델과 관련된 구성을 제공하는 데 사용됩니다. 예를 들어 Llama-02 모델은 {"temperature":0.4}를 사용할 수 있습니다. 기본값{}: | 아니요 |
| deployment_name | string | 온라인 추론 엔드포인트에서 대상으로 지정할 배포의 이름입니다. 값이 전달되지 않으면 추론 부하 분산 장치 트래픽 설정이 사용됩니다. | 아니요 |
| prompt | string | 언어 모델이 응답을 생성하는 데 사용하는 텍스트 프롬프트입니다. | 예 |
Outputs
| API | 반환 형식 | 설명 |
|---|---|---|
| Completion | string | 예상 완료 1개의 텍스트 |
| 채팅 | string | 대화에 대한 한 응답의 텍스트입니다. |
온라인 엔드포인트에 배포
Open Model LLM 도구가 포함된 흐름을 온라인 엔드포인트에 배포하는 경우 권한을 설정하는 추가 단계가 있습니다. 웹 페이지를 통해 배포하는 동안 시스템 할당 ID 유형과 사용자 할당 ID 유형 중에서 선택할 수 있습니다. 어느 쪽이든 Azure Portal(또는 유사한 기능)을 사용하여 엔드포인트를 호스팅하는 Azure Machine Learning 작업 영역 또는 Ai Studio 프로젝트의 ID에 "읽기 권한자" 작업 함수 역할을 추가합니다. 프롬프트 흐름 배포를 새로 고쳐야 할 수 있습니다.