Azure AI 검색을 사용하여 RAG 솔루션을 빌드하는 방법
이 자습서 시리즈에서는 Azure AI 검색에서 RAG 솔루션을 빌드하는 패턴을 보여 줍니다. 관련성을 극대화하고 비용을 최소화하기 위해 Azure AI Search, 종속성 및 최적화에 기본 제공되는 구성 요소를 다룹니다.
샘플 데이터는 Azure Storage에 업로드된 PDF의 컬렉션입니다. 콘텐츠는 NASA의 지구 무료 전자 책에서입니다.
샘플 코드는 이 Python Notebook에서 찾을 수 있지만 컨텍스트, 인사이트 및 대체 방법을 탐색하기 위해 이 시리즈의 문서를 사용하는 것이 좋습니다.
이 시리즈의 연습
포함 및 채팅을 위한 모델 선택
대화형 검색을 위한 인덱스 디자인
검색 가능한 콘텐츠를 로드, 청크, 포함 및 수집하는 인덱싱 파이프라인 디자인
쿼리 및 채팅 모델을 사용하여 검색 가능한 콘텐츠 검색
관련성 최대화
스토리지 및 비용 최소화
복잡성을 줄이기 위해 RAG 패턴의 몇 가지 측면을 생략했습니다.
채팅 기록 및 컨텍스트 관리가 없습니다. 채팅 기록은 일반적으로 근거 데이터와 별도로 저장되고 관리되므로 추가적인 단계와 코드가 필요합니다. 이 자습서에서는 LLM 및 기본 LLM 환경의 원자성 질문과 답변을 가정합니다.
결과에 대한 사용자별 보안이 없습니다(이를 "보안 조정"이라고 합니다). 자세한 내용 및 리소스는 보안 트리밍부터 시작하고 문서 끝에 있는 링크를 검토해야 합니다.
이 시리즈에서는 RAG 솔루션 개발의 기본 사항을 다룹니다. 기본 사항을 이해한 후에는 더 많은 추상화가 제공되거나 프로덕션 환경 및 더 복잡한 워크로드에 더 적합한 가속기 및 기타 코드 샘플을 계속 진행합니다.
RAG에 Azure AI 검색을 사용하는 이유는 무엇인가요?
채팅 모델은 요청에서 수락할 수 있는 데이터 양에 대한 제약 조건에 직면합니다. LLM에 전달된 콘텐츠 품질이 RAG 솔루션을 만들거나 중단시킬 수 있으므로 Azure AI 검색을 사용해야 합니다.
채팅 모델에 최고 품질의 입력을 제공하기 위해 Azure AI 검색은 AI 통합 및 포괄적인 관련성 튜닝을 갖춘 동급 최고의 검색 엔진을 제공합니다. 검색 엔진은 벡터 유사성 검색(여러 알고리즘), 키워드 검색, 유사 항목 검색, 지리 공간적 검색 및 필터를 지원합니다. 이러한 모든 구성 요소를 포함하는 하이브리드 쿼리 요청을 빌드하고 각 쿼리가 전체 요청에 기여하는 정도를 제어할 수 있습니다.