사용자 지정 명명된 엔터티 인식이란?
사용자 지정 명명된 엔터티 인식은 Azure AI 언어에서 제공하는 사용자 지정 기능 중 하나입니다. 사용자 지정 명명된 엔터티 인식 작업에 대한 사용자 지정 모델을 빌드할 수 있도록 기계 학습 인텔리전스를 적용하는 클라우드 기반 API 서비스입니다.
사용자 지정 NER을 통해 사용자는 사용자 지정 AI 모델을 빌드하여 계약 또는 재무 문서와 같은 비정형 텍스트에서 도메인별 엔터티를 추출할 수 있습니다. 개발자는 사용자 지정 NER 프로젝트를 만들어 데이터에 반복적으로 레이블을 지정하고, 학습하고, 평가하고, 모델 성능을 개선한 후 사용할 수 있습니다. 레이블이 지정된 데이터의 품질은 모델 성능에 큰 영향을 미칩니다. 모델 빌드 및 사용자 지정을 간소화하기 위해 서비스는 언어 스튜디오를 통해 액세스할 수 있는 사용자 지정 웹 포털을 제공합니다. 이 빠른 시작의 단계를 수행하여 서비스를 쉽게 시작할 수 있습니다.
이 설명서에는 다음과 같은 문서 유형이 포함되어 있습니다.
- 빠른 시작은 서비스에 대한 요청을 수행하는 과정을 안내하는 시작 지침입니다.
- 개념은 서비스 기능에 대한 설명을 제공합니다.
- 방법 가이드에는 보다 구체적이거나 사용자 지정된 방식으로 서비스를 사용하기 위한 지침이 포함되어 있습니다.
사용 시나리오 예제
사용자 지정 명명된 엔터티 인식은 다양한 산업의 여러 시나리오에서 사용할 수 있습니다.
정보 추출
많은 금융 및 법률 조직에서는 매일 수천 개의 복잡한 비정형 텍스트 원본에서 데이터를 추출하고 정규화합니다. 해당 원본에는 은행 명세서, 법적 계약 또는 은행 양식이 포함됩니다. 예를 들어, 사용자 검토자가 수동으로 수행하는 모기지 애플리케이션 데이터 추출은 추출하는 데 며칠이 걸릴 수 있습니다. 사용자 지정 NER 모델을 빌드하여 이러한 단계를 자동화하면 프로세스가 간소화되고 비용, 시간, 노력이 절약됩니다.
의미 체계 검색을 향상/보강하기 위한 지식 마이닝
검색은 텍스트 콘텐츠를 사용자에게 제공하는 모든 앱의 기본입니다. 일반적인 시나리오에는 카탈로그 또는 문서 검색, 소매 제품 검색 또는 데이터 과학에 대한 지식 마이닝이 포함됩니다. 다양한 업계의 많은 기업은 구조적 문서와 비구조적 문서를 모두 포함하는 다른 유형의 프라이빗 콘텐츠에 대한 풍부한 검색 환경을 빌드하려고 합니다. 개발자는 파이프라인의 일부로 사용자 지정 NER을 사용하여 해당 업계와 관련된 텍스트에서 엔터티를 추출할 수 있습니다. 이러한 엔터티를 사용하여 보다 사용자 지정된 검색 환경을 위해 파일의 인덱싱을 보강할 수 있습니다.
감사 및 규정 준수
정책을 감사하고 적용하기 위해 상당히 긴 텍스트 파일을 수동으로 검토하는 대신 금융 또는 법률 기업의 IT 부서에서 사용자 지정 NER을 사용하여 자동화된 솔루션을 빌드할 수 있습니다. 이러한 솔루션은 규정 준수 정책을 적용하고 구조화 및 비구조적 콘텐츠를 처리하는 지식 마이닝 파이프라인을 기반으로 필요한 비즈니스 규칙을 설정하는 데 유용할 수 있습니다.
프로젝트 개발 수명 주기
사용자 지정 NER을 사용하는 경우 일반적으로 여러 단계가 포함됩니다.
스키마 정의: 데이터를 파악하고 추출하려는 엔터티를 식별합니다. 모호성을 방지합니다.
데이터 레이블 지정: 데이터 레이블 지정은 모델 성능을 결정하는 데 중요한 요소입니다. 정확하고, 일관되고, 완전하게 레이블을 지정합니다.
- 정확한 레이블 지정: 각 엔터티를 항상 올바른 형식으로 레이블을 지정합니다. 추출하려는 항목만 포함하고 레이블에 불필요한 데이터를 포함하지 마세요.
- 일관된 레이블 지정: 동일한 엔터티는 모든 파일에서 동일한 레이블을 포함해야 합니다.
- 완전한 레이블 지정: 모든 파일에 있는 엔터티의 모든 인스턴스에 레이블을 지정합니다.
모델 학습: 모델은 레이블이 지정된 데이터에서 학습을 시작합니다.
모델 성능 보기: 학습이 완료되면 모델의 평가 세부 정보, 해당 성능 및 이를 향상시키는 방법에 대한 지침을 확인합니다.
모델 배포: 모델을 배포하면 분석 API를 통해 사용할 수 있습니다.
엔터티 추출: 엔터티 추출 작업에 사용자 지정 모델을 사용합니다.
참조 설명서 및 코드 샘플
사용자 지정 명명된 엔터티 인식을 사용하는 경우 Azure AI 언어에 대한 다음 참조 설명서 및 샘플을 참조하세요.
| 개발 옵션/언어 | 참조 설명서 | 샘플 |
|---|---|---|
| REST API(작성) | REST API 설명서 | |
| REST API(런타임) | REST API 설명서 | |
| C#(런타임) | C# 설명서 | C# 샘플 |
| Java(런타임) | Java 설명서 | Java 샘플 |
| JavaScript(런타임) | JavaScript 설명서 | JavaScript 샘플 |
| Python(런타임) | Python 설명서 | Python 샘플 |
책임 있는 AI
AI 시스템에는 기술뿐만 아니라 기술을 사용하는 사람, 영향을 받는 사람, 배포되는 환경이 포함됩니다. 사용자 지정 NER에 대한 투명도 참고를 읽고 시스템에서 책임감 있는 AI 사용 및 배포에 대해 알아봅니다. 자세한 내용은 다음 문서를 참조하세요.