프롬프트 흐름 개발
프롬프트 흐름은 LLM(대규모 언어 모델)에서 제공하는 AI 애플리케이션의 개발 주기를 간소화하는 개발 도구입니다. 이 문서에서는 Azure Machine Learning 스튜디오 프롬프트 흐름 및 채팅 흐름을 만들고 개발하는 방법을 알아봅니다.
LLM 기반 AI 애플리케이션의 모멘텀이 커짐에 따라 프롬프트 흐름은 AI 애플리케이션의 프로토타입 생성, 실험, 반복 및 배포 프로세스를 간소화하는 포괄적인 솔루션을 제공합니다. 프롬프트 흐름을 사용하여 다음을 수행할 수 있습니다.
- 시각화된 그래프를 통해 LLM, 프롬프트 및 Python 도구를 연결하는 실행 가능한 흐름을 오케스트레이션합니다.
- 흐름을 쉽게 테스트, 디버그 및 반복합니다.
- 프롬프트 변형을 만들고 각 변형의 성능을 비교합니다.
프롬프트 흐름 만들기 및 개발
프롬프트 흐름을 만들려면 Azure Machine Learning 스튜디오 왼쪽 탐색 영역에서 프롬프트 흐름을 선택한 다음 프롬프트 흐름 페이지에서 만들기를 선택합니다.
새 흐름 만들기 화면에서 다음을 통해 흐름을 만들 수 있습니다.
- 템플릿에서 표준, 채팅 또는 평가 흐름 만들기
- 탐색 갤러리에서 사용 가능한 샘플을 복제합니다.
- 로컬 파일 또는 파일 공유에서 기존 흐름을 가져옵니다.
흐름을 만들려면 원하는 흐름 카드에서 만들기 또는 복제를 선택합니다. 다음 화면 창에서 원하는 경우 새 흐름 이름을 변경한 다음 만들기 또는 복제를 선택할 수 있습니다. 작성 UI에서 새 흐름이 열립니다.
컴퓨팅 세션
작성을 시작하기 전에 흐름 제작 페이지의 맨 위에서 컴퓨팅 세션 시작을 선택하여 컴퓨팅 세션을 시작합니다. 흐름 실행에 컴퓨팅 세션이 필요합니다. 컴퓨팅 세션은 필요한 모든 종속성 패키지를 포함하는 Docker 이미지를 포함하여 애플리케이션을 실행하는 데 필요한 컴퓨팅 리소스를 관리합니다.
작성 페이지
컴퓨팅 세션을 시작하는 데 몇 분 정도 걸릴 수 있습니다. 컴퓨팅 세션이 시작되는 동안 흐름 제작 페이지의 일부를 검사합니다.
페이지의 왼쪽에 있는 흐름 또는 평면화 보기는 흐름을 작성하는 주요 작업 영역입니다. 평면화 보기에서 노드, 도구, 프롬프트 및 입력을 편집할 수 있습니다. 노드 또는 전체 흐름을 실행합니다. 출력을 정의하고 봅니다.
오른쪽 위에 있는 파일에 는 흐름의 폴더 및 파일 구조가 표시됩니다. 각 흐름에는 flow.dag.yaml 파일, 소스 코드 파일 및 시스템 폴더가 포함된 폴더가 있습니다. 테스트, 배포 또는 공동 작업을 위해 파일을 추가, 편집, 삭제, 업로드 또는 다운로드할 수 있습니다.
오른쪽 아래의 그래프 보기는 흐름 구조를 시각화합니다. 자동 레이아웃을 확대 또는 축소하거나 사용할 수 있습니다. 이 보기를 직접 편집할 수는 없지만 평면화 보기에서 노드를 찾아 편집할 수 있습니다.
흐름 입력 및 출력
입력 및 출력 섹션에서 입력 및 출력을 보고, 추가 또는 제거하고, 편집할 수 있습니다.
흐름 입력은 흐름 전체에 전달되는 데이터입니다. 이름과 형식을 지정하여 입력 스키마를 정의하고 각 입력의 값을 설정하여 흐름을 테스트합니다. 를 사용하여
${input.<input name>}흐름 노드에서 흐름 입력을 참조할 수 있습니다.흐름 출력은 흐름에서 전체적으로 생성된 데이터로, 흐름 실행 결과를 요약합니다. 구문
${<node name>.output}또는${<node name>.output.<field name>}를 사용하여 단일 노드 출력을 참조하여 흐름 출력 값을 정의할 수 있습니다. 흐름 실행 또는 일괄 처리 실행이 완료된 후 출력 결과 테이블을 보고 내보낼 수 있습니다.
흐름 도구
흐름에서 LLM, Python, 프롬프트, Serp API 및 콘텐츠 안전과 같은 다양한 종류의 도구를 사용할 수 있습니다. 도구를 선택하면 해당 도구의 새 노드가 흐름 끝에 추가됩니다. 노드 이름을 지정하고 필요한 구성을 설정해야 합니다. 노드 컨트롤을 사용하여 흐름에서 노드의 위치를 변경할 수 있습니다.
노드 입력 및 출력
LLM 및 프롬프트 도구는 Jinja를 템플릿 언어로 사용하여 프롬프트를 동적으로 생성합니다. 예를 들어 고정 텍스트를 사용하는 {{}} 대신 입력 이름을 묶어 즉석에서 바꿀 수 있습니다.
다음과 같은 방법으로 노드 입력 및 출력 을 설정할 수 있습니다.
- 입력 값을 직접 설정합니다.
- 를 사용하여 흐름 입력을 참조합니다
${input.<input name>}. - 사용하거나
${<node name>.output.<field name>}.를 사용하여${<node name>.output}노드 출력 참조
프롬프트 또는 Python 스크립트 작성을 완료한 후 시스템의 입력 유효성 검사를 선택하고 구문 분석하여 프롬프트 템플릿 및 Python 함수 입력에 따라 노드 입력을 자동으로 구문 분석합니다.
노드 출력을 참조하여 노드를 연결할 수 있습니다. 예를 들어 Python 노드가 LLM 노드 출력을 사용하도록 Python 노드 입력에서 LLM 노드 출력을 참조할 수 있습니다. 그래프 보기에서 두 노드가 함께 연결된 것을 볼 수 있습니다.
LLM 노드
Azure OpenAI LLM 노드의 경우 연결, API 및 deployment_name 선택하고 프롬프트를 설정해야 합니다. 연결을 사용하여 Azure OpenAI와 상호 작용하는 데 필요한 비밀 키 또는 기타 중요한 자격 증명을 안전하게 저장하고 관리합니다.
아직 연결이 없는 경우 LLM 노드를 추가하기 전에 만들고 Azure OpenAI 리소스에 채팅 또는 완료 배포가 있는지 확인합니다. 자세한 내용은 Azure OpenAI를 사용하여 연결 설정 및 리소스 만들기 및 모델 배포를 참조하세요.
Python 노드
Python 도구를 사용하려면 Python 스크립트, 입력 값 및 기타 구성을 설정해야 합니다. 새 Python 노드는 입력 및 출력을 정의하는 다음과 같은 상용구 Python 함수를 제공합니다.
from promptflow import tool
# The inputs section will change based on the arguments of the tool function, after you save the code
# Adding type to arguments and return value will help the system show the types properly
# Please update the function name/signature per need
@tool
def my_python_tool(input1: str) -> str:
return 'hello ' + input1
조건부 제어
프롬프트 흐름은 흐름의 노드 실행에 대한 조건을 설정할 수 있는 조건부 제어를 제공합니다.
조건부 제어는 흐름의 각 노드를 활성화 구성과 연결하는 기능을 제공합니다. 이 구성은 노드를 when 실행해야 하는 시기를 결정하는 문입니다. 이 기능의 힘은 특정 작업의 실행이 이전 작업의 결과에 따라 달라지는 복잡한 흐름에서 실현됩니다. 조건부 제어를 사용하여 지정된 조건이 충족되는 경우에만 실행되도록 특정 노드를 구성할 수 있습니다.
노드 카드에서 구성 활성화 단추를 선택하여 노드에 대한 활성화 구성 을 설정합니다. When 문을 추가하고 조건을 설정합니다. 흐름 입력 또는 노드 출력을 참조하여 조건을 설정할 수 있습니다. 예를 들어 조건을 ${input.<input name>} 설정하거나 ${<node name>.output} 특정 값으로 설정할 수 있습니다. 조건이 충족되지 않으면 노드를 건너뛰고 노드 상태가 무시됨으로 표시됩니다.
흐름 테스트
단일 노드를 실행하거나 전체 흐름을 실행하여 흐름을 테스트할 수 있습니다.
- 단일 노드를 실행하려면 노드 카드에서 실행 아이콘을 선택합니다. 노드 실행이 완료되면 노드 출력 섹션에서 결과를 빠르게 확인할 수 있습니다.
- 전체 흐름을 실행하려면 페이지 맨 위에서 실행을 선택합니다.
흐름 출력
실행을 선택하여 흐름을 실행하면 페이지 맨 위에 있는 배너에서 실행 상태를 볼 수 있습니다. 위쪽 배너 또는 위쪽 메뉴 모음에서 출력 보기를 선택하여 자세한 입력, 출력, 흐름 실행 및 오케스트레이션 정보를 봅니다.
흐름 실행이 완료되면 출력 보기를 선택하여 출력 화면에서 모든 기록 출력을 확인할 수 있습니다 .
출력 화면에서 추적 탭을 선택하여 흐름의 기간 및 관련 토큰 비용에 대한 정보를 제공하는 그래프를 확인합니다. 노드 이름 아래에서 흐름을 선택하여 오른쪽 창에서 자세한 흐름 개요 정보를 확인합니다.
흐름을 확장하고 단계를 선택하여 해당 단계에 대한 자세한 정보를 확인합니다. 범위 트리에서 각 노드 실행 기간을 확인할 수 있습니다. 자세한 내용은 추적 범위 사양을 참조 하세요.
채팅 흐름 개발
채팅 흐름은 대화형 애플리케이션 개발을 위해 설계된 특정 유형의 프롬프트 흐름입니다. 채팅 흐름은 표준 흐름 기능을 기반으로 하여 채팅 입력/출력 및 채팅 기록에 대한 향상된 지원을 제공합니다. 채팅 흐름을 사용하면 채팅 입력 및 출력을 처리하는 챗봇을 쉽게 만들 수 있습니다.
채팅 흐름을 만들려면 새 흐름 만들기 화면에서 채팅 흐름 카드에서 만들기를 선택하거나 탐색 갤러리에서 채팅을 선택하고 사용 가능한 흐름 중 하나를 복제합니다.
채팅 흐름 작성 페이지에서 채팅 흐름은 표준 및 평가 흐름과 구분하기 위해 채팅 레이블로 태그가 지정됩니다. 채팅 흐름을 테스트하려면 페이지 맨 위에 있는 채팅을 선택하여 대화할 채팅 상자를 엽니다.
채팅 입력, 채팅 출력 및 채팅 기록
표준 흐름과 채팅 흐름을 구별하는 가장 중요한 요소는 채팅 입력, 채팅 기록 및 채팅 출력입니다. 채팅 흐름에는 채팅 기록 및 채팅 입력이 필요합니다.
채팅 입력 은 사용자가 챗봇에 제출한 메시지 또는 쿼리를 나타냅니다. 채팅 입력을 효과적으로 처리하는 것은 성공적인 대화를 위해 매우 중요합니다. 사용자 의도를 이해하고, 관련 정보를 추출하고, 적절한 응답을 트리거하는 작업이 포함되기 때문입니다.
채팅 기록은 사용자 입력 및 AI 생성 출력을 포함하여 사용자와 챗봇 간의 모든 상호 작용에 대한 기록입니다. 대화 내용을 추적하고 AI가 상황에 맞는 응답을 생성할 수 있도록 하려면 채팅 기록을 유지하는 것이 필수적입니다.
채팅 출력 은 입력에 대한 응답으로 사용자에게 전송되는 AI 생성 메시지를 나타냅니다. 상황에 맞게 적절하고 매력적인 채팅 결과를 생성하는 것은 긍정적인 사용자 환경을 위해 필수적입니다.
채팅 흐름에는 여러 입력이 있을 수 있습니다. 채팅 흐름 입력 섹션에서 입력 중 하나를 채팅 입력으로 표시하고 채팅 상자에 질문을 입력하여 채팅 입력 값을 채웁니다.
채팅 기록 관리
채팅 기록을 chat_history 관리하는 데 도움이 되도록 입력 섹션에서 채팅 기록을 나타내기 위해 예약되어 있습니다. 수동으로 편집 chat_history할 수 없습니다.
채팅 기록은 입력 및 출력 목록으로 구성됩니다. 사용자 채팅 입력, 생성된 채팅 출력, 기타 흐름 입출력을 포함하여 채팅 상자의 모든 상호 작용은 자동으로 채팅 기록에 저장됩니다. 다음 코드는 채팅 기록의 구조를 보여 줍니다.
[
{
"inputs": {
"<flow input 1>": "xxxxxxxxxxxxxxx",
"<flow input 2>": "xxxxxxxxxxxxxxx",
"<flow input N>""xxxxxxxxxxxxxxx"
},
"outputs": {
"<flow output 1>": "xxxxxxxxxxxx",
"<flow output 2>": "xxxxxxxxxxxxx",
"<flow output M>": "xxxxxxxxxxxxx"
}
},
{
"inputs": {
"<flow input 1>": "xxxxxxxxxxxxxxx",
"<flow input 2>": "xxxxxxxxxxxxxxx",
"<flow input N>""xxxxxxxxxxxxxxx"
},
"outputs": {
"<flow output 1>": "xxxxxxxxxxxx",
"<flow output 2>": "xxxxxxxxxxxxx",
"<flow output M>": "xxxxxxxxxxxxx"
}
}
]
참고 항목
채팅 상자에서 테스트를 수행하면 채팅 기록이 자동으로 저장됩니다. 일괄 처리 실행의 경우 일괄 처리 실행 데이터 세트 내에 채팅 기록을 포함해야 합니다. 사용할 수 있는 채팅 기록이 없는 경우 일괄 처리 실행 데이터 세트 내의 빈 목록 [] 으로 설정합니다chat_history.
과거 상호 작용을 검색하려면 프롬프트에서 참조 chat_history 합니다. 그런 다음, 이전 입력 및 출력을 참조하여 상황에 맞는 응답을 만들 수 있습니다. 채팅 기록을 프롬프트에 통합하는 것은 컨텍스트 인식 및 매력적인 챗봇 응답을 만드는 데 필수적입니다.
Jinja 언어 for-loop 문법을 사용하여 입력 및 출력 목록을 표시할 수 있습니다 chat_history.
{% for item in chat_history %}
user:
{{item.inputs.question}}
assistant:
{{item.outputs.answer}}
{% endfor %}
채팅 상자로 테스트
채팅 상자는 챗봇과의 대화를 시뮬레이션하여 채팅 흐름을 테스트하는 대화형 방법을 제공합니다. 채팅 상자를 사용하여 채팅 흐름을 테스트하려면 다음을 수행합니다.
- 채팅을 선택하여 채팅 사이드바를 엽니다.
- 화면 아래쪽의 채팅 상자에 테스트 질문을 입력하여 챗봇으로 보냅니다.
- 챗봇의 응답을 검토하여 상황에 맞게 적절하고 정확한지 확인합니다.
- 작성 페이지 맨 위에 있는 출력 보기를 선택하여 채팅 입력, 출력 및 기록을 빠르게 보고 디버그합니다.
- 출력 화면에서 추적 탭을 선택한 다음 흐름을 선택하여 오른쪽 창에 자세한 흐름 개요 정보를 표시합니다. 흐름을 확장하고 단계를 선택하여 해당 단계에 대한 자세한 정보를 확인합니다.
