Compor modelos personalizados

Estilo de ênfase

Esse conteúdo se aplica a: v3.1 (GA) | Ultima versão: v4.0 (versão prévia) | Versões prévia: v3.0 v2.1

Importante

O comportamento de composição de modelo está mudando para api-version=2024-07-31-preview e posterior, para obter mais informações, consulte modelos personalizados compostos. O comportamento a seguir só se aplica à v3.1 e versões anteriores

Um modelo composto é criado com uma coleção de modelos personalizados e atribuindo-os a uma única ID de modelo. Você pode atribuir até 200 modelos personalizados treinados a um único modelo composto de ID. Quando um documento é enviado para um modelo composto, o serviço executa uma etapa de classificação para decidir qual modelo personalizado representa com precisão o formulário apresentado para análise. Modelos compostos são úteis quando você treina vários modelos e deseja agrupá-los para analisar tipos de formulário semelhantes. Por exemplo, seu modelo composto pode incluir modelos personalizados treinados para analisar suas ordens de compra de suprimentos, equipamentos e móveis. Em vez de tentar selecionar manualmente o modelo apropriado, você pode usar um modelo composto para determinar o modelo personalizado apropriado para cada análise e extração.

Para saber mais, confira Modelos personalizados compostos.

Neste artigo, você aprende como criar e usar modelos personalizados compostos para analisar seus formulários e documentos.

Pré-requisitos

Para começar, você precisa dos seguintes recursos:

• Uma assinatura do Azure. Você pode criar uma assinatura gratuita do Azure.

• Uma instância do Document Intelligence. Depois de obter sua assinatura do Azure, crie um recurso da Informação de Documentos no portal do Azure para obter a chave e o ponto de extremidade. Se você tiver um recurso de Informação de Documento existente, navegue diretamente para a página de recursos. Use o tipo de preço gratuito (F0) para experimentar o serviço e atualizar mais tarde para um nível pago para produção.

  1. Após a implantação do recurso, selecione Ir para o recurso.

  2. Copie os valores de Chaves e Ponto de Extremidade do portal do Azure e cole-os em um local viável, como o Bloco de Notas Microsoft. Você precisa dos valores de chave e ponto de extremidade para conectar o aplicativo à API da Informação de Documentos.

Dica

Para obter mais informações, confira Criar um recurso do Document Intelligence.

• Uma conta de armazenamento do Azure. Se você não sabe como criar uma conta de armazenamento do Azure, siga o Guia de início rápido do Armazenamento do Azure no portal do Azure. Use o tipo de preço gratuito (F0) para experimentar o serviço e atualizar mais tarde para um nível pago para produção.

Criar seus modelos personalizados

Primeiro, é necessário um conjunto de modelos personalizados para compor. Você pode usar o Document Intelligence Studio, a API REST ou bibliotecas de clientes. As etapas são as seguintes:

• Reunir seu conjunto de dados de treinamento
• Carregar seu conjunto de treinamento no Armazenamento de Blob do Azure
• Treinar seus modelos personalizados

Reunir seu conjunto de dados de treinamento

A criação de um modelo personalizado começa com o estabelecimento do conjunto de dados de treinamento. Você precisa de um mínimo de cinco formulários do mesmo tipo preenchidos para seu conjunto de dados de amostra. Eles podem ser de tipos de arquivo diferentes (jpg, png, pdf, tiff) e conter texto e manuscrito. Os formulários precisam seguir os requisitos de entrada do Document Intelligence.

Dica

Siga estas dicas para otimizar seu conjunto de dados para treinamento:

• Se possível, use documentos PDF de texto em vez de documentos baseados em imagem. Os PDFs digitalizados são tratados como imagens.
• Para formulários preenchidos, use exemplos que tenham todos os campos preenchidos.
• Use os formulários com diferentes valores em cada campo.
• Se as imagens de formulário forem de qualidade inferior, use um conjunto de dados maior (10 a 15 imagens, por exemplo).

Confira Criar um conjunto de dados de treinamento para obter dicas sobre como coletar seus documentos de treinamento.

Carregar o conjunto de dados de treinamento

Depois de coletar um conjunto de documentos de treinamento, você precisará carregar seus dados de treinamento em um contêiner de armazenamento de blobs do Azure.

Se você quiser usar dados rotulados manualmente, você tem que carregar os arquivos .labels.json e .ocr.json que correspondam aos seus documentos de treinamento.

Treinar seu modelo personalizado

Quando você treina seu modelo usando dados rotulados, o modelo usa aprendizado supervisionado para extrair os valores de interesse usando os formulários rotulados que você fornece. Os dados rotulados geram modelos de melhor desempenho e podem produzir modelos que funcionam com formulários complexos ou formulários que contêm valores sem chaves.

O Document Intelligence usa a API do modelo de layout predefinido para aprender os tamanhos e as posições esperados dos elementos de texto impressos e manuscritos e extrair tabelas. Em seguida, ele usa rótulos especificados pelo usuário para aprender as associações de chave/valor e as tabelas nos documentos. Recomendamos que você use cinco formulários rotulados manualmente do mesmo tipo (mesma estrutura) para começar ao treinar um novo modelo. Em seguida, adicione mais dados rotulados, conforme necessário, para melhorar a precisão do modelo. O Document Intelligence permite treinar um modelo para extrair pares chave-valor e tabelas usando funcionalidades de aprendizado supervisionado.

Estúdio da Informação de Documentos

Para criar modelos personalizados, comece configurando o projeto:

1. Na página inicial do Studio, selecione Criar novo no cartão de modelo personalizado.

2. Use o comando ➕ Criar um projeto para iniciar o assistente de configuração de projeto novo.

3. Insira os detalhes do projeto, selecione a assinatura e o recurso do Azure e o contêiner de Armazenamento de Blobs do Azure que contém seus dados.

4. Examine, envie suas configurações e crie o projeto.

Ao criar seus modelos personalizados, talvez seja necessário extrair coleções de valores de seus documentos. As coleções podem aparecer em um dos dois formatos. Usando tabelas como o padrão visual:

• Uma contagem dinâmica ou variável de valores (linhas) para um determinado conjunto de campos (colunas)

• Uma coleção específica de valores para um determinado conjunto de campos (colunas e/ou linhas)

Confira Document Intelligence Studio: rotulando como tabelas

REST API

O treinamento com rótulos leva a um melhor desempenho em alguns cenários. Para o treinamento com rótulos, você precisará ter arquivos de informações de rótulo especiais (<nome do arquivo>.pdf.labels.json) no contêiner de armazenamento de blobs junto com os documentos de treinamento.

Os arquivos de rótulo contêm associações chave-valor que um usuário insere manualmente e são necessários para treinamento de dados rotulados. No entanto, nem todos os arquivos de origem precisam ter um arquivo de rótulo correspondente. Os arquivos de origem sem rótulos são tratados como documentos comuns de treinamento. Recomendamos cinco ou mais arquivos rotulados para um treinamento confiável. Você pode usar uma ferramenta de interface do usuário como o Document Intelligence Studio para gerar esses arquivos.

Os arquivos de rótulo contêm associações chave-valor que um usuário inseriu manualmente. Os arquivos são necessários para treinamento de dados rotulados, mas nem todos os arquivos de origem precisam ter um arquivo de rótulo correspondente. Os arquivos de origem sem rótulos são tratados como documentos comuns de treinamento. Recomendamos cinco ou mais arquivos rotulados para um treinamento confiável. Você pode usar uma ferramenta de interface do usuário como o Document Intelligence Studio para gerar esses arquivos.

Depois de obter os arquivos de rótulo, você pode incluí-los chamando o método de treinamento com o parâmetro useLabelFile definido como true.

Bibliotecas de clientes

O treinamento com rótulos leva a um melhor desempenho em alguns cenários. Para o treinamento com rótulos, você precisará ter arquivos de informações de rótulo especiais (<nome do arquivo>.pdf.labels.json) no contêiner de armazenamento de blobs junto com os documentos de treinamento. Depois de obtê-los, chame o método de treinamento com o parâmetro useTrainingLabels definido como true.

Idioma	Método
C#	StartBuildModel
Java	beginBuildModel
JavaScript	beginBuildModel
Python	begin_build_document_model

Criar um modelo composto

Observação

A operação create compose model está disponível somente para modelos personalizados treinados com rótulos. Tentar compor modelos sem rótulo produzirá um erro.

Com a operação criar modelo de composição, você pode atribuir até 100 modelos personalizados treinados para uma única ID de modelo. Ao analisar documentos com um modelo composto, o Document Intelligence classifica primeiro o formulário enviado, escolhe o modelo atribuído com a maior correspondência e retorna resultados para esse modelo. Essa operação é útil quando formulários de entrada podem pertencer a um de vários modelos.

Estúdio da Informação de Documentos

Depois que o processo de treinamento for concluído com êxito, você poderá começar a criar seu modelo composto. Estas são as etapas para criar e usar modelos compostos:

• Reunir suas IDs de modelo personalizado
• Compor seus modelos personalizados
• Analisar documentos
• Gerenciar seus modelos compostos

Coletar suas IDs de modelo

Quando você treina modelos usando o Document Intelligence Studio, a ID do modelo está localizada no menu de modelos em um projeto:

Compor seus modelos personalizados

1. Selecione um projeto de modelos personalizados.

2. No projeto, selecione o item de menu Models.

3. Na lista de modelos resultante, selecione os modelos que você deseja compor.

4. Escolha o botão Compor no canto superior esquerdo.

5. Na janela pop-up, dê um nome ao novo modelo composto e selecione Compor.

6. Quando a operação estiver concluída, seu modelo recém-composto aparecerá na lista.

7. Quando o modelo estiver pronto, use o comando Test para validá-lo com seus documentos de teste e observe os resultados.

Analisar documentos

A operação Analisar do modelo personalizado necessita que você forneça modelID na chamada para o Document Intelligence. Você deve fornecer a ID do modelo composto para o parâmetro modelID em seus aplicativos.

Gerenciar seus modelos compostos

Você pode gerenciar seus modelos personalizados durante os ciclos de vida:

• Testar e validar novos documentos.
• Baixe seu modelo para usar em seus aplicativos.
• Exclua seu modelo quando o ciclo de vida dele for concluído.

REST API

Depois que o processo de treinamento for concluído com êxito, você poderá começar a criar seu modelo composto. Estas são as etapas para criar e usar modelos compostos:

• Compor seus modelos personalizados
• Analisar documentos
• Gerenciar seus modelos compostos

Compor seus modelos personalizados

A API de modelos compostos aceita uma lista de IDs de modelo a serem compostas.

Analisar documentos

Para fazer uma solicitação de Analisar documento use um nome de modelo exclusivo nos parâmetros de solicitação.

Gerenciar seus modelos compostos

Você pode gerenciar modelos personalizados em suas necessidades de desenvolvimento, incluindo copiar, listar e excluir seus modelos.

Bibliotecas de clientes

Depois que o processo de treinamento for concluído com êxito, você poderá começar a criar seu modelo composto. Estas são as etapas para criar e usar modelos compostos:

• Criar um modelo composto
• Analisar documentos
• Gerenciar seus modelos compostos

Criar um modelo composto

Você pode usar a linguagem de programação que preferir para criar um modelo composto:

Linguagem de programação	Exemplo de código
C#	Composição de modelo
Java	Composição de modelo
JavaScript	Modelo de composição
Python	Criar modelo de composição

Analisar documentos

Depois de criar seu modelo composto, você pode usá-lo para analisar formulários e documentos. Use seu model ID composto e deixe que o serviço decida qual dos modelos personalizados agregados é a melhor opção de acordo com o documento fornecido.

Linguagem de programação	Exemplo de código
C#	Analisar um documento com um modelo personalizado/composto usando uma ID do modelo
Java	Analisar um documento com um modelo personalizado/composto usando uma ID do modelo
JavaScript	Analisar um documento com um modelo personalizado/composto usando uma ID do modelo
Python	Analisar um documento com um modelo personalizado/composto usando uma ID do modelo

Gerenciar seus modelos compostos

Você pode gerenciar modelos personalizados em cada estágio em seus ciclos de vida. Você pode copiar um modelo personalizado entre recursos, ver uma lista de todos os modelos personalizados da assinatura, recuperar informações sobre um modelo personalizado específico e excluir modelos personalizados da sua conta.

Linguagem de programação	Exemplo de código
C#	Copiar um modelo personalizado entre recursos do Document Intelligence
Java	Copiar um modelo personalizado entre recursos do Document Intelligence
JavaScript	Copiar um modelo personalizado entre recursos do Document Intelligence
Python	Copiar um modelo personalizado entre recursos do Document Intelligence

Ótimo! Você aprendeu as etapas para criar modelos personalizados e compostos e usá-los em seus projetos e aplicativos do Document Intelligence.

Próximas etapas

Experimente um de nossos guias de início rápido do Document Intelligence:

Estúdio da Informação de Documentos

REST API

C#

Java

JavaScript

Python