Azure AI 언어에서 PII(개인 식별 정보) 검색이란 무엇인가요?
2024년 6월부터 대화형 PII 서비스에 대한 일반 공급 지원이 제공됩니다(영어로만 제공). 이제 고객은 AI 품질, Azure SLA 지원 및 프로덕션 환경 지원, 엔터프라이즈급 보안을 염두에 두고 대화식으로 작성된 기록(예: "um", "ah"가 포함된 텍스트, 여러 화자 및 더 명확성을 위한 단어 맞춤법), 채팅 및 기타 텍스트를 수정할 수 있습니다.
PII 탐지는 Azure AI 언어에서 제공하는 기능 중 하나입니다. 이 기능은 서면 언어와 관련된 지능형 애플리케이션을 개발하기 위한 클라우드의 기계 학습 및 AI 알고리즘 모음입니다. PII 탐지 기능은 구조화되지 않은 텍스트에서 중요한 정보를 식별, 분류 및 수정할 수 있습니다. 예: 전화번호, 이메일 주소, ID 검증 형식. Azure AI 언어는 일반 텍스트 PII 수정은 물론, 음성 기록과 모임 및 통화 기록의 보다 비공식적인 대화 톤을 처리하기 위한 특수 모델인 대화형 PII를 지원합니다. 이 서비스는 입력과 출력이 구조화된 문서 파일인 네이티브 문서 PII 수정도 지원합니다.
팁
현재 기존 Language Studio 리소스를 활용하거나 새 AI Studio 리소스를 만들 수 있는 AI Studio에서 PII 검색을 시도합니다.
- 빠른 시작은 서비스에 대한 요청을 수행하는 과정을 안내하는 시작 지침입니다.
- 방법 가이드에는 보다 구체적이거나 사용자 지정된 방식으로 서비스를 사용하기 위한 지침이 포함되어 있습니다.
- 개념 문서에서는 서비스의 기능 및 기능에 대한 자세한 설명을 제공합니다.
일반적인 워크플로
이 기능을 사용하려면 분석을 위해 데이터를 제출하고 애플리케이션에서 API 출력을 처리합니다. 분석은 데이터에 사용되는 모델에 사용자 지정 추가 없이 있는 그대로 수행됩니다.
Azure AI 언어에서 제공하는 기능에 대한 액세스 권한을 부여하는 Azure AI 언어 리소스를 만듭니다. API 요청을 인증하는 데 사용하는 암호(키라고 함) 및 엔드포인트 URL을 생성합니다.
C#, Java, JavaScript 및 Python에 대한 REST API 또는 클라이언트 라이브러리를 사용하여 요청을 만듭니다. 일괄 처리 요청을 통해 비동기 호출을 보내 여러 기능에 대한 API 요청을 단일 호출로 결합할 수도 있습니다.
텍스트 데이터가 포함된 요청을 보냅니다. 키와 엔드포인트가 인증에 사용됩니다.
응답을 스트리밍하거나 로컬로 저장합니다.
원시 문서 지원
원시 문서는 Microsoft Word(docx) 또는 이식 가능한 문서 파일(pdf)과 같은 원본 문서를 만드는 데 사용되는 파일 형식을 나타냅니다. 원시 문서 지원을 사용하면 Azure AI 언어 리소스 기능을 사용하기 위한 텍스트 전처리가 필요하지 않습니다. 현재 원시 문서 지원은 PiiEntityRecognition 기능에 사용할 수 있습니다.
현재 PII는 다음과 같은 원시 문서 형식을 지원합니다.
| 파일 형식 | 파일 확장명 | 설명 |
|---|---|---|
| Text | .txt |
서식이 지정되지 않은 텍스트 문서입니다. |
| Adobe PDF | .pdf |
이식 가능한 문서 파일 형식의 문서입니다. |
| Microsoft Word | .docx |
Microsoft Word 문서 파일입니다. |
자세한 내용은 언어 처리 네이티브 문서 사용을 참조하세요.
PII 감지 시작
PII 감지를 사용하려면 분석을 위해 텍스트를 제출하고 애플리케이션에서 API 출력을 처리합니다. 분석은 데이터에 사용되는 모델에 대한 사용자 지정 없이 있는 그대로 수행됩니다. PII 감지를 사용하는 방법에는 다음 두 가지가 있습니다.
| 개발 옵션 | 설명 |
|---|---|
| Language Studio | Language Studio는 등록 시 Azure 계정 및 고유한 데이터 없이 텍스트 예제와 엔터티 링크 설정을 시도할 수 있는 웹 기반 플랫폼입니다. 자세한 내용은 Language Studio 웹 사이트 또는 Language Studio 빠른 시작을 참조하세요. |
| REST API 또는 클라이언트 라이브러리(Azure SDK) | REST API 또는 다양한 언어로 제공되는 클라이언트 라이브러리를 사용하여 PII 감지를 애플리케이션에 통합합니다. 자세한 내용은 PII 감지 빠른 시작을 참조하세요. |
참조 설명서 및 코드 샘플
애플리케이션에서 이 기능을 사용할 때 Azure AI 언어에 대한 다음 참조 설명서와 샘플을 참조하세요.
| 개발 옵션/언어 | 참조 설명서 | 샘플 |
|---|---|---|
| REST API | REST API 설명서 | |
| C# | C# 설명서 | C# 샘플 |
| Java | Java 설명서 | Java 샘플 |
| JavaScript | JavaScript 설명서 | JavaScript 샘플 |
| Python | Python 설명서 | Python 샘플 |
책임 있는 AI
AI 시스템에는 기술뿐만 아니라 기술을 사용하는 사용자, 영향을 받는 사용자 및 배포 환경도 포함됩니다. 시스템에서 책임감 있는 AI 사용 및 배포에 대해 알아보려면 PII에 대한 투명성 참고사항을 읽어보세요. 자세한 내용은 다음 문서를 참조하세요.
예제 시나리오
- 민감도 레이블 적용 - 예를 들어 PII 서비스의 결과를 기반으로 PII 엔터티가 감지되지 않는 문서에 공개 민감도 레이블이 적용될 수 있습니다. 미국 주소와 전화 번호가 인식되는 문서의 경우 기밀 레이블이 적용될 수 있습니다. 은행 라우팅 번호가 인식되는 문서에는 기밀 레이블이 사용될 수 있습니다.
- 광범위하게 유통되는 문서에서 일부 개인 정보 범주 수정 - 예를 들어 고객 연락처 레코드에 최전방 지원 담당자가 액세스 가능한 경우 회사는 고객의 개인 정보를 보호하기 위해 고객 기록 버전에서 이름 외에 고객의 개인 정보를 수정할 수 있습니다.
- 무의식적인 편견을 줄이기 위해 개인 정보 수정 - 예를 들어 회사의 이력서 검토 과정에서 무의식적인 성별이나 기타 편견을 줄이기 위해 이름, 주소, 전화 번호를 차단할 수 있습니다.
- 불공평을 줄이기 위해 기계 학습에 원본 데이터의 개인 정보 대체 – 예를 들어 기계 학습 모델을 학습시킬 때 성별을 나타낼 수 있는 이름을 제거하려는 경우, 서비스를 사용하여 식별하고 모델 학습을 위한 일반 자리 표시자로 바꿀 수 있습니다.
- 콜센터 기록에서 개인 정보 제거 – 예를 들어 콜 센터 시나리오에서 상담원과 고객 간에 발생하는 이름 또는 기타 PII 데이터를 제거하려는 경우입니다. 이 서비스를 사용하여 해당 데이터를 식별 및 제거할 수 있습니다.
- 데이터 과학을 위한 데이터 정리 - PII는 데이터 과학자와 엔지니어가 이러한 데이터를 사용하여 기계 학습 모델을 학습할 수 있도록 데이터를 준비하는 데 사용할 수 있습니다. 고객 데이터가 노출되지 않도록 데이터를 수정합니다.
다음 단계
엔터티 링크 설정을 사용하여 시작하는 방법에는 두 가지가 있습니다.
- Language Studio: 코드를 작성할 필요 없이 여러 언어 서비스 기능을 사용해 볼 수 있는 웹 기반 플랫폼입니다.
- REST API 및 클라이언트 라이브러리 SDK를 사용하여 서비스에 요청하는 방법에 대한 지침은 빠른 시작 문서를 참조하세요.