다음을 통해 공유

문서 인텔리전스 사용자 지정 신경망 모델

  • 아티클

이 콘텐츠는확인 표시 v4.0(GA) | 이전 버전: 파란색 확인 표시v3.1(GA)파란색 확인 표시 v3.0(GA) ::: 모니커 엔드에 적용됩니다.

이 콘텐츠는 확인 표시 v3.1(GA) | 최신 버전: 보라색 확인 표시 v4.0(GA) | 이전 버전: 파란색 확인 표시 v3.0에 적용됩니다.

이 콘텐츠는 확인 표시 v3.0(GA) | 최신 버전: 보라색 확인 표시 v4.0(GA)보라색 확인 표시 v3.1에 적용됩니다.

사용자 지정 신경망 문서 모델 또는 신경망 모델은 레이아웃 및 언어 기능을 결합하여 문서에서 레이블이 지정된 필드를 정확하게 추출하는 딥 러닝된 모델 유형입니다. 기본 사용자 지정 신경망 모델은 구조화된 문서 및 반구조화된 문서에서 필드를 추출하는 데 적합한 다양한 문서 종류에 대해 학습됩니다. 사용자 지정 신경망 모델은 v3.0 이상 모델에서 사용할 수 있으며 V4.0을 사용하는 사용자 지정 신경망 모델은 이제 서명 검색을 지원합니다. 아래 표에는 각 범주에 대한 일반적인 문서 유형이 나와 있습니다.

문서 예제
구조적 설문 조사, 설문지
반구조적 청구서, 구매 주문

사용자 지정 신경망 모델은 사용자 지정 템플릿 모델과 동일한 레이블 지정 형식 및 전략을 공유합니다. 현재 사용자 지정 신경망 모델은 사용자 지정 템플릿 모델에서 지원하는 필드 형식의 하위 집합만 지원합니다.

모델 기능

Important

사용자 지정 신경망 v4.0 2024-11-30(GA) 모델은 겹치는 필드 및 테이블 셀 신뢰도를 지원합니다.

사용자 지정 신경망 모델은 현재 키-값 쌍, 선택 표시 및 구조화된 필드(테이블)만 지원합니다.

양식 필드 선택 표시 표 형식 필드 서명 지역 레이블 지정 겹치는 필드
지원됨 지원됨 지원됨 지원됨 지원됨1 지원됨 2

1 사용자 지정 인공신경망 모델의 지역 레이블은 지정된 지역에 대한 레이아웃 API의 결과를 사용합니다. 이 기능은 값이 없으면 학습 시 텍스트가 생성되는 템플릿 모델과 다릅니다.
2 겹치는 필드는 REST API 버전 2024-11-30(GA)에서 지원됩니다. 겹치는 필드에는 몇 가지 제한이 있습니다. 자세한 내용은 겹치는 필드를 참조하세요.

빌드 모드

Build 작업은 템플릿 및 신경망 사용자 지정 모델을 지원합니다. 이전 버전의 REST API 및 클라이언트 라이브러리는 현재 템플릿 모드라고 알려진 단일 빌드 모드만 지원했습니다.

인공신경망 모델은 정보가 동일하지만 페이지 구조가 다른 문서를 지원합니다. 이러한 문서의 예로는 동일한 정보를 공유하지만 회사마다 모양이 다를 수 있는 미국 W2 양식이 있습니다. 자세한 내용은 사용자 지정 모델 빌드 모드를 참조하세요.

겹치는 필드

사용자 지정 신경망 v4.0 2024-11-30(GA) 모델은 겹치는 필드를 지원합니다.

겹치는 필드를 사용하려면 데이터 세트에 예상되는 겹침이 있는 샘플을 하나 이상 포함해야 합니다. 겹침에 레이블을 지정하려면 영역 레이블 지정을 사용하여 각 필드에 대한 콘텐츠 범위(겹침 포함)를 각각 지정합니다. 영역 레이블 지정은 필드 겹침을 나타내는 데 지원되는 유일한 레이블 지정 도구이므로 필드 선택 영역과 겹치는 부분에 레이블을 지정(값 강조 표시)하는 작업은 스튜디오에서 실패합니다. 겹침 지원에는 다음이 포함됩니다.

  • 전체 겹침. 동일한 토큰 집합은 서로 다른 두 필드에 대해 레이블이 지정됩니다.
  • 부분 겹침. 일부 토큰은 두 필드에 모두 속하지만 한 필드 또는 다른 필드의 일부인 토큰만 있습니다.

겹치는 필드에는 몇 가지 제한이 있습니다.

  • 모든 토큰 또는 단어는 두 개의 필드로만 레이블을 지정할 수 있습니다.
  • 테이블의 겹치는 필드는 테이블 행에 걸쳐 있을 수 없습니다.
  • 데이터 세트의 하나 이상의 샘플에 해당 필드에 대한 겹치는 레이블이 포함된 경우에만 겹치는 필드를 인식할 수 있습니다.

겹치는 필드를 사용하려면 데이터 세트에 겹침 레이블을 지정하고 API 버전 **2024-11-30 (GA)**으로 모델을 학습시킵니다.

표 형식 필드

사용자 지정 신경망 v4.0 2024-11-30(GA) 모델은 테이블 형식 필드(테이블)를 지원하여 신뢰할 수 있는 테이블, 행 및 셀 데이터를 분석합니다.

  • API 버전 2022-06-30-preview 이상으로 학습된 모델은 표 형식 필드 레이블을 허용합니다.
  • API 버전 2022-06-30-preview 이상을 사용하여 사용자 지정 신경망 모델로 분석된 문서는 테이블 전체에서 집계된 표 형식 필드를 생성합니다.
  • 결과는 분석 작업 후에 반환되는 analyzeResult 개체의 documents 배열에서 찾을 수 있습니다.

표 형식 필드는 기본적으로 크로스 페이지 테이블을 지원합니다.

  • 여러 페이지에 걸쳐 있는 테이블에 레이블을 지정하려면 단일 테이블의 여러 페이지에 걸쳐 테이블의 각 행에 레이블을 지정합니다.
  • 가장 좋은 방법은 데이터 세트에 예상되는 변형의 몇 가지 샘플이 포함되어 있는지 확인하는 것입니다. 예를 들어, 전체 테이블이 단일 페이지에 있고 테이블이 둘 이상의 페이지에 걸쳐 있는 샘플을 포함합니다.

표 형식 필드는 표로 인식되지 않는 문서 내에서 반복되는 정보를 추출할 때도 유용합니다. 예를 들어 이력서에서 반복되는 업무 환경 섹션에 레이블을 지정하고 테이블 형식 필드로 추출할 수 있습니다.

테이블 형식 필드는 API를 사용하여 테이블, 행 및 셀 신뢰도를 **2024-11-30 (GA)** 제공합니다.

  • 고정 또는 동적 테이블은 다음 요소에 대한 신뢰도 지원을 추가합니다.

    • 테이블 신뢰도는 전체 테이블이 얼마나 정확하게 인식되는지에 대한 측정값입니다.
    • 행 신뢰도, 개별 행 인식의 측정값입니다.
    • 셀 신뢰도, 개별 셀 인식의 측정값입니다.

  • 권장되는 방법은 먼저 테이블부터 시작하여, 행 다음으로 셀로 하향식으로 정확도를 검토하는 것입니다. 표, 행 및 셀 신뢰도에 대한 자세한 내용은 신뢰도 및 정확도 점수를 참조하세요.

지원되는 언어 및 로캘

지원되는 언어의 전체 목록은 언어 지원 - 사용자 지정 모델을 참조하세요.

지원되는 지역

2022년 10월 18일부터 문서 인텔리전스 사용자 지정 인공신경망 모델 학습은 추후 공지가 있을 때까지 다음 Azure 지역에서만 사용할 수 있습니다.

  • 오스트레일리아 동부
  • 브라질 남부
  • 캐나다 중부
  • 인도 중부
  • 미국 중부
  • 동아시아
  • 미국 동부
  • 미국 동부2
  • 프랑스 중부
  • 일본 동부
  • 미국 중남부
  • 동남아시아
  • 영국 남부
  • 서유럽
  • 미국 서부2
  • US Gov 애리조나
  • US Gov 버지니아

팁

나열된 일부 지역 중 하나에서 학습된 모델을 다른 지역에 복사하여 적절하게 사용할 수 있습니다.

REST API 또는 문서 인텔리전스 스튜디오를 사용하여 모델을 다른 지역으로 복사합니다.

팁

나열된 일부 지역 중 하나에서 학습된 모델을 다른 지역에 복사하여 적절하게 사용할 수 있습니다.

REST API 또는 문서 인텔리전스 스튜디오를 사용하여 모델을 다른 지역으로 복사합니다.

팁

나열된 일부 지역 중 하나에서 학습된 모델을 다른 지역에 복사하여 적절하게 사용할 수 있습니다.

REST API 또는 문서 인텔리전스 스튜디오를 사용하여 모델을 다른 지역으로 복사합니다.

입력 요구 사항

  • 최상의 결과를 위해 문서당 하나의 명확한 사진 또는 고품질 스캔을 제공합니다.

  • 지원 파일 형식:

    모델 PDF 이미지:
    jpeg/jpg, png, bmp, tiff, heif     		Microsoft Office:
    Word(docx), Excel(xlsx), PowerPoint(pptx) 및 HTML
    읽음 ✔ ✔ ✔
    레이아웃 ✔ ✔ ✔
    일반 문서 ✔ ✔
    사전 제작 ✔ ✔
    사용자 지정 인공신경망 ✔ ✔

    ✱ Microsoft Office 파일은 현재 다른 모델 또는 버전에서 지원되지 않습니다.

  • PDF 및 TIFF의 경우 최대 2,000페이지를 처리할 수 있습니다(무료 계층 구독의 경우 처음 2페이지만 처리됨).

  • 문서 분석을 위한 파일 크기는 유료(S0) 계층의 경우 500MB, 무료(F0) 계층의 경우 4MB입니다.

  • 이미지 크기는 50 x 50픽셀에서 10,000 x 10,000픽셀 사이여야 합니다.

  • PDF가 암호로 잠긴 경우에는 제출하기 전에 잠금을 해제해야 합니다.

  • 추출할 텍스트의 최소 높이는 1024 x 768 픽셀 이미지의 경우 12픽셀입니다. 이 차원은 150 인치당 도트 수에서 약 8포인트 텍스트에 해당합니다.

  • 사용자 지정 모델 학습의 경우 학습 데이터의 최대 페이지 수는 사용자 지정 템플릿 모델의 경우 500개, 사용자 지정 인공신경망 모델의 경우 50,000개입니다.

  • 사용자 지정 추출 모델 학습의 경우 학습 데이터의 총 크기는 템플릿 모델의 경우 50MB, 신경망 모델의 경우 1G-MB입니다.

  • 사용자 지정 분류 모델 학습의 경우 학습 데이터의 총 크기는 최대 10,000페이지인 1GB입니다.

모범 사례

사용자 지정 신경망 모델은 몇 가지 다른 방법으로 사용자 지정 템플릿 모델과 다릅니다. 사용자 지정 템플릿 또는 모델은 일관된 시각적 템플릿을 사용하여 레이블이 지정된 데이터를 추출합니다. 사용자 지정 신경망 모델은 구조화된 및 반구조화된 필드 추출을 지원합니다. 모델 형식 중에서 선택할 때 신경망 모델로 시작하여 기능적 요구 사항을 지원하는지 확인하기 위해 테스트합니다.

  • 변형 처리 - 사용자 지정 신경망 모델은 단일 문서 종류의 다양한 형식에서 일반화할 수 있습니다. 문서 형식의 모든 변형에 대해 단일 모델을 만드는 것이 좋습니다. 학습 데이터 세트에 서로 다른 각 변형에 대해 레이블이 지정된 샘플을 5개 이상 추가합니다.
  • 필드 이름 지정 - 데이터에 레이블을 지정할 때 값과 관련된 필드에 레이블을 지정하면 추출된 키-값 쌍의 정확도가 향상됩니다. 예를 들어 공급업체 ID를 포함하는 필드 값의 경우 필드 이름을 supplier_id로 지정하는 것이 좋습니다. 필드 이름은 문서의 언어여야 합니다.
  • 연속 값 레이블 지정 - 값 토큰/한 필드의 단어 중 하나여야 합니다.
    • 다른 필드와 인터리빙하지 않고 자연 읽기 순서로 연속 시퀀스로
    • 다른 필드를 포함하지 않는 지역에서
  • 대표 데이터 - 학습 사례의 값은 다양하고 대표적이어야 합니다. 예를 들어 필드 이름이 날짜인 경우 이 필드의 값은 날짜여야 합니다. 임의 문자열과 같은 가상 값은 모델 성능에 영향을 줄 수 있습니다.

현재 제한 사항

  • 사용자 지정 신경망 모델은 페이지 경계를 넘어 분할된 값을 인식하지 않습니다.
  • 사용자 지정 템플릿 모델에 레이블이 지정된 데이터 세트를 사용하여 사용자 지정 신경망 모델을 학습시키는 경우 지원되지 않는 사용자 지정 신경망 필드 형식은 무시됩니다.
  • 사용자 지정 신경망 모델은 매월 빌드 작업 20번으로 제한됩니다. 제한을 늘려야 하는 경우 지원 요청을 엽니다. 자세한 내용은 문서 인텔리전스 서비스 할당량 및 제한을 참조하세요.

모델 학습

사용자 지정 신경망 모델은 v3.0 이상 모델에서 사용할 수 있습니다.

문서 형식 REST API SDK 모델 레이블 지정 및 테스트
사용자 지정 문서 Document Intelligence 3.1 Document Intelligence SDK Document Intelligence Studio

모델을 학습시키는 Build 작업은 새 buildMode 속성을 지원하며, 사용자 지정 신경망 모델을 학습시키려면 buildMode를 neural로 설정합니다.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-11-30

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

https://{endpoint}/formrecognizer/documentModels:build?api-version=v3.1:2023-07-31

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

https://{endpoint}/formrecognizer/documentModels/{modelId}:copyTo?api-version=2022-08-31

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

결제

버전을 v4.0 2024-11-30 (GA)사용하면 표준 30분보다 더 긴 기간 동안 사용자 지정 신경망 모델을 학습할 수 있습니다. 이전 버전은 학습 인스턴스당 30분으로 제한되며, 매월 총 20개의 무료 학습 인스턴스가 제공됩니다. 버전을 v4.0 2024-11-30 (GA)사용하면 10시간의 무료 모델 학습을 받고 10시간 동안 모델을 학습할 수 있습니다.

대량의 데이터 집합이 포함된 단일 모델 빌드에서 10시간을 모두 사용하거나 maxTrainingHours를 지정하여 build 작업의 최대 기간 값을 조정해 여러 빌드에서 활용할 수 있습니다.

POST https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-11-30

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  ...,
  "maxTrainingHours": 10
}

Important

  • 10시간을 초과하는 더 긴 기간 동안 모델을 학습시키거나 추가 신경망 모델을 학습시키려는 경우 청구 요금이 적용됩니다. 청구 요금에 대한 자세한 내용은 가격 책정 페이지를 참조하세요.
  • maxTrainingHours를 원하는 최대 시간으로 설정하여 이 유료 학습 서비스에 옵트인할 수 있습니다. 예산이 없지만 maxTrainingHours가 10시간을 초과하여 설정된 API 호출은 실패합니다.
  • 각 빌드는 학습 데이터 세트의 유형과 크기에 따라 소요되는 시간이 다르므로 학습 작업당 최소 30분으로 신경망 모델 학습에 소요된 실제 시간에 대해 청구 요금이 계산됩니다.
  • 이 유료 학습 기능을 사용하면 유연한 학습 시간으로 더 긴 기간 동안 더 큰 데이터 집합을 학습시킬 수 있습니다.

GET /documentModels/{myCustomModel}
{
  "modelId": "myCustomModel",
  "trainingHours": 0.23,
  "docTypes": { ... },
  ...
}

참고 항목

문서 인텔리전스 버전 v3.1 (2023-07-31) 및 v3.0 (2022-08-31)의 경우 사용자 지정 신경망 모델의 유료 학습은 사용하도록 설정되지 않습니다. 두 가지 이전 버전의 경우 모델당 최대 30분의 학습 기간이 제공됩니다. 20개 이상의 모델 인스턴스를 학습시키려는 경우 Azure 지원 티켓을 만들어 학습 한도를 늘릴 수 있습니다.

결제

문서 인텔리전스 버전 v3.1 (2023-07-31) and v3.0 (2022-08-31)의 경우 모델당 최대 30분의 학습 기간과 매월 최대 20개의 학습을 무료로 받게 됩니다. 20개 이상의 모델 인스턴스를 학습시키려는 경우 Azure 지원 티켓을 만들어 학습 한도를 늘릴 수 있습니다. Azure 지원 티켓의 경우 summary 필드에 Increase Document Intelligence custom neural training (TPS) limit을 입력합니다.

Important

  • 학습 한도를 늘리는 경우 2개의 사용자 지정 신경망 모델 학습 세션이 1시간 학습으로 간주됩니다. 학습 세션 수를 늘리기 위한 가격 책정에 대한 자세한 내용은 가격 책정 페이지를 참조하세요.
  • 학습 한도를 늘리기 위한 Azure 지원 티켓은 구독 수준이 아닌 리소스 수준에서만 적용할 수 있습니다. 지원 티켓에서 리소스 ID 및 지역을 지정하여 단일 문서 인텔리전스 리소스에 대한 학습 한도 증가를 요청할 수 있습니다.

30분보다 더 긴 기간 동안 모델을 학습하려는 경우 버전을 v4.0 2024-11-30 (GA)사용한 유료 교육을 지원합니다. 최신 버전을 사용하여 더 긴 기간 동안 모델을 학습시켜 더 큰 문서를 처리할 수 있습니다. 유료 학습에 대한 자세한 내용은 청구 v4.0을 참조하세요.

결제

문서 인텔리전스 버전 v3.1 (2023-07-31) and v3.0 (2022-08-31)의 경우 모델당 최대 30분의 학습 기간과 매월 최대 20개의 학습을 무료로 받게 됩니다. 20개 이상의 모델 인스턴스를 학습시키려는 경우 Azure 지원 티켓을 만들어 학습 한도를 늘릴 수 있습니다. Azure 지원 티켓의 경우 summary 필드에 Increase Document Intelligence custom neural training (TPS) limit을 입력합니다.

Important

  • 학습 한도를 늘리는 경우 2개의 사용자 지정 신경망 모델 학습 세션이 1시간 학습으로 간주됩니다. 학습 세션 수를 늘리기 위한 가격 책정에 대한 자세한 내용은 가격 책정 페이지를 참조하세요.
  • 학습 한도를 늘리기 위한 Azure 지원 티켓은 구독 수준이 아닌 리소스 수준에서만 적용할 수 있습니다. 지원 티켓에서 리소스 ID 및 지역을 지정하여 단일 문서 인텔리전스 리소스에 대한 학습 한도 증가를 요청할 수 있습니다.

30분보다 더 긴 기간 동안 모델을 학습시키려는 경우 최신 버전 v4.0 (2024-11-30)을 통해 유료 학습이 지원됩니다. 최신 버전을 사용하여 더 긴 기간 동안 모델을 학습시켜 더 큰 문서를 처리할 수 있습니다. 유료 학습에 대한 자세한 내용은 청구 v4.0을 참조하세요.

다음 단계

사용자 지정 모델을 만들고 구성하는 방법을 알아봅니다.

사용자 지정 모델 빌드사용자 지정 모델 작성