Azure AI 검색이란?
Azure AI Search(이전의 "Azure Cognitive Search")는 검색 인덱스로 수집하는 다른 유형의 콘텐츠에 대한 엔터프라이즈 지원 정보 검색 시스템입니다. 모든 규모의 고성능 애플리케이션용으로 빌드된 포괄적인 고급 검색 기술 세트가 함께 제공됩니다.
Azure AI Search는 Azure OpenAI Service와 Azure Machine Learning 간의 네이티브 LLM 통합과 관련성 튜닝을 위한 여러 전략을 사용하여 Azure에서 RAG 기반 애플리케이션을 빌드하는 데 권장되는 검색 시스템입니다.
Azure AI Search는 기존 시나리오와 GenAI 시나리오 모두에서 사용할 수 있습니다. 일반적인 사용 사례로는 카탈로그 또는 문서 검색, 정보 검색(데이터 탐색), 대화형 검색을 위한 RAG(검색 보강 생성) 등이 있습니다.
검색 서비스를 만들 때 다음 기능을 사용합니다.
- 검색 인덱스 위에 벡터 검색 및 전체 텍스트 및 하이브리드 검색을 위한 검색 엔진입니다.
- 콘텐츠 변환 기능이 있는 풍부한 인덱싱 여기에는 RAG에 대한 통합 데이터 청크 및 벡터화, 텍스트에 대한 어휘 분석 및 콘텐츠 추출 및 보강을 위한 선택적 적용 AI가 포함됩니다.
- 벡터 쿼리, 텍스트 검색, 하이브리드 쿼리, 유사 항목 검색, 자동 완성, 지역 검색 등에 대한 풍부한 쿼리 구문입니다.
- 의미 체계 순위, 점수 매기기 프로필, 벡터 쿼리에 대한 양자화 및 런타임에 쿼리 동작을 제어하기 위한 매개 변수를 사용한 관련성 및 쿼리 성능 튜닝
- Azure 규모, 보안 및 도달률.
- 데이터 계층, 기계 학습 계층, Azure AI 서비스 및 Azure OpenAI의 Azure 통합
구조적으로 검색 서비스는 인덱싱되지 않은 데이터를 포함하는 외부 데이터 저장소와 검색 인덱스에 쿼리 요청을 보내고 응답을 처리하는 클라이언트 앱 사이에 배치됩니다.
클라이언트 앱에서 검색 환경은 Azure AI 검색의 API를 통해 정의되며 관련성 튜닝, 의미 체계 순위 지정, 자동 완성, 동의어 일치, 유사 일치, 패턴 일치, 필터링 및 정렬이 이 환경에 포함될 수 있습니다.
Azure 플랫폼에서 Azure AI 검색은 Azure 데이터 원본에서 데이터 수집/검색을 자동화하는 인덱서 형태, 이미지 및 자연어 처리와 같은 Azure AI 서비스의 소모성 AI 또는 Azure Machine Learning에서 만들거나 Azure Functions 내부에서 래핑하는 사용자 지정 AI를 통합하는 기술 세트 형태의 다른 Azure 서비스와 통합할 수 있습니다.
검색 서비스 내부
검색 서비스 자체의 두 가지 기본 워크로드는 인덱싱 및 쿼리입니다.
인덱싱은 콘텐츠를 검색 서비스에 로드하여 검색 가능하게 만드는 유입 프로세스입니다. 내부적으로 인바운드 텍스트는 토큰으로 처리되고 반전된 인덱스에 저장되며 인바운드 벡터는 벡터 인덱스에 저장됩니다. Azure AI 검색에서 인덱싱할 수 있는 문서 형식은 JSON입니다. 어셈블한 JSON 문서를 업로드하거나 인덱서를 사용하여 데이터를 검색하고 JSON으로 직렬화할 수 있습니다.
기술을 통한 적용 AI는 이미지 및 언어 모델로 인덱싱을 확장합니다. 원본 문서에 이미지 또는 구조화되지 않은 큰 텍스트가 있는 경우 OCR을 수행하고, 이미지를 분석 및 설명하고, 구조를 유추하고, 텍스트를 번역하는 기술을 연결할 수 있습니다. 출력은 JSON으로 직렬화하고 검색 인덱스로 수집할 수 있는 텍스트입니다.
기술 세트는 인덱싱 중 데이터 청크 및 벡터화도 수행할 수 있습니다. Azure OpenAI, Azure AI Foundry 포털의 모델 카탈로그 또는 외부 청크 및 포함 모델에 연결하는 사용자 지정 기술을 인덱싱하는 동안 사용하여 벡터 데이터를 만들 수 있습니다. 출력은 검색 인덱스로 수집할 수 있는 청크 분할된 벡터 콘텐츠입니다.
인덱스가 검색 가능한 텍스트로 채워진 경우 클라이언트 앱에서 검색 서비스에 쿼리 요청을 보내고 응답을 처리하면 쿼리가 발생할 수 있습니다. 모든 쿼리 실행은 사용자가 제어하는 검색 인덱스를 통해 이루어집니다.
의미 체계 순위 지정은 쿼리 실행 확장입니다. 결과 집합을 재평가하기 위한 언어 해석을 활용하여 보조 순위를 추가함으로써 의미론적으로 가장 관련성이 높은 결과를 맨 위로 올립니다.
통합 벡터화는 쿼리 실행의 확장이기도 합니다. 검색 인덱스에 벡터 필드가 있는 경우 쿼리 시 벡터화된 원시 벡터 쿼리 또는 텍스트를 제출할 수 있습니다.
Azure AI 검색을 사용하는 이유
Azure AI 검색이 적합한 애플리케이션 시나리오는 다음과 같습니다.
기존 전체 텍스트 검색과 차세대 벡터 유사성 검색에 사용합니다. 키워드 및 유사성 검색의 강도를 양쪽 모두 활용하는 정보 검색을 사용하여 생성형 AI 앱을 다시 만듭니다. 두 모달리티를 모두 사용하여 가장 관련성이 큰 결과를 검색합니다.
이질적인 콘텐츠를 벡터와 텍스트로 구성된 사용자 정의 및 채워진 검색 인덱스에 통합합니다. 사용자는 검색 가능한 항목에 대한 소유권과 제어권을 유지합니다.
생성형 AI 및 RAG 앱에 대한 데이터 청크와 벡터화를 통합합니다.
문서 수준에서 세분화된 액세스 제어를 적용합니다.
인덱싱 및 쿼리 워크로드를 전용 검색 서비스로 오프로드합니다.
관련성 튜닝, 패싯 탐색, 필터(지리 공간 검색 포함), 동의어 매핑 및 자동 완성과 같은 관련 기능을 쉽게 구현합니다.
Azure Blob Storage 또는 Azure Cosmos DB에 저장된 크고 구분되지 않는 텍스트, 이미지 파일 또는 애플리케이션 파일을 검색 가능한 청크로 변환합니다. 이는 Azure AI의 외부 처리를 추가하는 AI 기술을 통해 인덱싱하는 동안에 수행됩니다.
언어 또는 사용자 지정 텍스트 분석을 추가합니다. 비 영어 콘텐츠가 있는 경우 Azure AI 검색은 Lucene 분석기와 Microsoft 자연어 프로세서를 모두 지원합니다. 또한 분음 부호 필터링이나 문자열의 패턴 인식 및 유지와 같은 원시 콘텐츠의 특수 처리를 수행하도록 분석기를 구성할 수도 있습니다.
특정 기능에 대한 자세한 내용은 Azure AI 검색 기능을 참조하세요.
시작하는 방법
기능은 Azure Portal, 간단한 REST API 또는 Azure SDK(예: .NET용 Azure SDK)를 통해 노출됩니다. Azure Portal은 인덱스 및 기술 집합을 프로토타이핑하고 쿼리하기 위한 도구를 사용하여 서비스 관리 및 콘텐츠 관리를 지원합니다.
Azure Portal 사용
핵심 검색 기능에 대한 엔드투엔드 탐색은 다음 네 단계로 수행할 수 있습니다.
계층 및 지역을 결정합니다. 무료 Search 서비스는 구독당 하나만 허용됩니다. 무료 계층에서 모든 빠른 시작을 완료할 수 있습니다. 더 많은 용량과 기능을 사용하려면 청구 가능한 계층이 필요합니다.
Azure Portal에서 검색 서비스를 만듭니다.
데이터 가져오기 마법사로 시작합니다. 기본 제공 샘플 또는 지원되는 데이터 원본을 선택하여 몇 분 안에 인덱스를 만들고, 로드하고, 쿼리합니다.
포털 클라이언트를 사용하여 방금 만든 검색 인덱스를 쿼리하여 검색 탐색기로 완료합니다.
API 사용
또는 원자성 단계에서 검색 인덱스를 만들고, 로드하고, 쿼리할 수 있습니다.
Azure Portal, REST API, .NET SDK 또는 다른 SDK를 사용하여 검색 인덱스 만들기 인덱스 스키마는 검색 가능한 콘텐츠의 구조를 정의합니다.
"푸시" 모델을 사용하여 콘텐츠를 업로드하여 모든 소스에서 JSON 문서를 푸시하거나 소스 데이터가 지원되는 형식인 경우 "풀" 모델(인덱서)을 사용합니다.
Azure Portal, REST API, .NET SDK 또는 다른 SDK에서 검색 탐색기를 사용하여 인덱스 쿼리
가속기 사용
또는 솔루션 가속기를 사용해 보세요.
데이터와의 채팅 솔루션 가속기는 콘텐츠에 대한 사용자 지정 RAG 솔루션을 만드는 데 도움이 됩니다.
대화형 지식 마이닝 솔루션 가속기는 대화형 솔루션을 만들어 연락 센터 대화록 이후 실행 가능한 인사이트를 추출하는 데 도움이 됩니다.
문서 지식 마이닝 가속기를 사용하면 비정형 다중 모드 문서에서 요약, 엔터티 및 메타데이터를 처리하고 추출할 수 있습니다.
Build your own copilot 솔루션 가속기는 Azure OpenAI Service, Azure AI 검색 및 Microsoft Fabric을 활용하여 사용자 지정 Copilot 솔루션을 만듭니다.
일반 부조종사는 관련 문서를 식별하고, 구조화되지 않은 정보를 요약하고, 사용자 고유의 데이터를 사용하여 Word 문서 서식 파일을 생성하는 데 도움이 됩니다.
Client Advisor 올인원 사용자 지정 Copilot은 Client Advisor가 구조화된 데이터와 구조화되지 않은 데이터 모두에서 생성형 AI의 기능을 활용할 수 있도록 지원합니다. 고객이 일상적인 작업을 최적화하고 더 많은 클라이언트와 더 나은 상호 작용을 수행하도록 지원
Research Assistant는 관련 문서를 식별하고, 방대한 양의 구조화되지 않은 정보를 요약 및 분류하고, 전반적인 문서 검토 및 콘텐츠 생성을 가속화하는 자체 AI 도우미를 빌드하도록 지원합니다.
팁
복잡한 솔루션이나 사용자 지정 솔루션에 대한 도움이 필요하면 Azure AI 검색 기술에 대해 심도 깊은 전문 지식을 갖춘 파트너에게 문의하세요.
검색 옵션 비교
Azure AI 검색이 다른 검색 관련 솔루션과 어떻게 비교되는지 질문하는 고객이 많습니다. 다음 표에 주요 차이점이 요약되어 있습니다.
| 비교 대상 | 주요 차이점 |
|---|---|
| Microsoft Search | Microsoft Search는 SharePoint의 콘텐츠를 쿼리해야 하는 Microsoft 365 인증 사용자를 위한 것입니다. Azure AI 검색은 Azure 및 모든 JSON 데이터 세트에서 콘텐츠를 끌어옵니다. |
| Bing | Bing API는 Bing.com 인덱스를 쿼리하여 용어와 일치시킵니다. Azure AI 검색은 콘텐츠로 채워진 인덱스를 검색합니다. 데이터 수집과 스키마를 제어합니다. |
| 데이터베이스 검색 | Azure SQL에는 전체 텍스트 검색과 벡터 검색이 있습니다. Azure Cosmos DB에는 텍스트 검색 및 벡터 검색도 있습니다. Azure AI 검색은 관련성 튜닝이나 이기종 원본의 콘텐츠와 같은 기능이 필요할 때 매력적인 대안이 됩니다. 리소스 사용률도 또 다른 변곡점입니다. 인덱싱 및 쿼리는 계산 집약적입니다. DBMS에서 검색을 오프로드하면 트랜잭션 처리에 사용되는 시스템 리소스가 보존됩니다. |
| 전용 검색 솔루션 | 광범위한 기능을 제공하는 전용 검색을 결정했다고 가정하면 검색 기술 간에 최종 범주 비교가 수행됩니다. 클라우드 공급자 중에서 Azure AI 검색은 Azure의 콘텐츠를 통한 벡터, 키워드 및 하이브리드 워크로드에, 주로 정보 검색과 콘텐츠 탐색 모두를 검색하는 데 사용하는 앱에 가장 강력합니다. |
주요 장점은 다음과 같습니다.
- 벡터 및 벡터가 아닌(텍스트) 인덱싱 및 쿼리를 지원합니다. 벡터 유사성 쿼리를 사용하면 쿼리가 정확히 일치하지 않더라도 쿼리와 의미 체계상 유사한 정보를 찾을 수 있습니다. 하이브리드 검색을 사용하여 키워드 및 벡터 검색의 장점을 결합합니다.
- 의미 체계 순위 및 점수 매기기 프로필을 통한 순위 지정 및 관련성 튜닝. 용어 상승 및 필드 우선 순위를 지원하는 쿼리 구문을 활용할 수도 있습니다.
- 인덱싱 계층에서의 Azure 데이터 통합(크롤러).
- 콘텐츠 텍스트와 벡터를 검색할 수 있도록 하는 변환을 위한 Azure AI 통합
- 신뢰할 수 있는 연결에 대한 Microsoft Entra 보안 및 인터넷이 없는 시나리오에서 프라이빗 연결을 위한 Azure Private Link
- 전체 검색 환경: 56개 언어에서 언어 및 사용자 지정 텍스트 분석. 패싯, 쿼리 자동 완성 및 제안된 결과, 동의어
- Azure 규모, 안정성 및 전체 도달률