Bearbeiten

Freigeben über

Benutzerdefinierten Dokumentverarbeitungsmodellen in Azure

Azure KI Dokument Intelligenz
Azure KI Services
Azure Logic Apps
Azure Machine Learning Studio
Azure Storage

In diesem Artikel werden Azure-Lösungen zu Erstellung, Training, Bereitstellung und Verwendung benutzerdefinierter Dokumentverarbeitungsmodelle beschrieben. Diese Azure-Dienste bieten auch Benutzeroberflächenfunktionen (UI) für Bezeichnung oder Tagging in der Textverarbeitung.

Aufbau

Architekturdiagramm: Mehrere Alternativen für den Build- und Bereitstellungsprozess für benutzerdefinierte Dokumentverarbeitungsmodelle

Laden Sie eine Visio-Datei dieser Architektur herunter.

Datenfluss

  1. Orchestratoren wie Azure Logic Apps, Azure Data Factory oder Azure Functions nehmen Nachrichten und Anlagen von E-Mail-Servern und Dateien von FTP-Servern oder Webanwendungen auf.

    • Azure Functions und Logic Apps ermöglichen serverlose Workloads. Der von Ihnen ausgewählte Dienst hängt von Ihrer Einstellung für Dienstfunktionen wie Entwicklung, Connectors, Verwaltung und Ausführungskontext ab. Weitere Informationen finden Sie unter Vergleich zwischen Azure Functions und Azure Logic Apps.

    • Berücksichtigen Sie die Verwendung von Azure Data Factory für Massendatenverschiebung.

  2. Die Orchestratoren senden aufgenommene Daten an Azure Blob Storage oder Data Lake Storage, organisieren die Daten über Datenspeicher basierend auf Merkmalen wie Dateierweiterungen oder Kunden.

  3. Die verschiedenen Dienste, die für Schulungsdokumente und das Erstellen von benutzerdefinierten Modellen auf Azure unabhängig oder in verschiedenen Kombinationen verwendet werden können, um unterschiedliche Anwendungsfälle zu behandeln:

    • Document Intelligence Studio: Wenn Sie im Dokument Schlüsselwertpaare extrahieren oder eine benutzerdefinierte Tabelle aus einem Bildformat oder EINER PDF-Datei erstellen müssen, verwenden Sie Document Intelligence Studio, um die Daten zu markieren und das benutzerdefinierte Modell zu trainieren. Wenn es eine Anforderung gibt, den Typ des Dokuments (Dokumentklassifizierung) zu identifizieren, bevor Sie das richtige Extraktionsmodell aufrufen, verwenden Sie Document Intelligent Studio, um die Dokumente zu bezeichnen und die Modelle zu erstellen.

    • Language Studio: Für die Dokumentklassifizierung basierend auf Inhalten oder für die domänenspezifische Entitätsextraktion können Sie eine benutzerdefinierte Textklassifizierung oder ein NER-Modell (Named Entity Recognition) in Language Studio trainieren.

    • Azure Machine Learning Studio: Wenn Sie Daten für die Textklassifizierung oder Entitätsextraktion bezeichnen möchten, die Sie mit Open-Source-Frameworks wie PyTorch oder TensorFlow verwenden können, verwenden Sie Machine Learning Studio oder Python SDK, Azure CLI oder REST API. Azure Machine Learning Studio bietet einen Modellkatalog mit Foundation-Modellen. Diese Foundation-Modelle verfügen über Feinabstimmungsmöglichkeiten für verschiedene Aufgaben wie Textklassifizierung, Fragebeantwortung, Zusammenfassung usw. Verwenden Sie Machine Learning Studio UI oder Code, um Foundation-Modelle zu optimieren.

    • Azure OpenAI Service: Für Feinabstimmung von Azure OpenAI-Modellen in Ihren eigenen Daten oder Domänen für verschiedene Aufgaben wie Textzusammenfassung, Fragebeantwortung, Verwenden Sie [Azure AI Foundry Portal]((https://ai.azure.com/) oder Python SDK oder REST-API.

  4. So stellen Sie die benutzerdefinierten Modelle bereit und verwenden Sie sie als Rückschluss:

Komponenten

  • Logic Apps ist Teil von Azure Integration Services. Azure Logic Apps erstellt automatisierte Workflows, die Ihre Anwendungen, Daten, Dienste und Systeme integrieren. Mit verwalteten Connectors für Dienste wie Azure Storage und Microsoft 365 können Sie Workflows auslösen, wenn eine Datei im Speicherkonto oder in einer E-Mail empfangen wird.

  • Data Factory ist ein verwalteter Cloud-Extrakt, transformations-, Load-Dienst (ETL) für die Datenintegration und Transformation. Data Factory kann Transformationsaktivitäten zu einer Pipeline hinzufügen, die das Aufrufen eines REST-Endpunkts oder Ausführen eines Notebooks mit den aufgenommenen Daten einschließen.

  • Azure Functions ist ein serverloses Berechnungsdienst, der ereignisgesteuerte Workloads mit kurzlebigen Prozessen hosten kann.

  • Blob Storage ist die Objektspeicherlösung für rohe Dateien in diesem Szenario. Blob Storage unterstützt Bibliotheken für mehrere Sprachen, z. B. .NET, Node.js und Python. Anwendungen können über HTTP/HTTPS auf Dateien im Blob-Speicher zugreifen. Blob Storage verfügt über heiße, kalte und Archivspeicherebenen, um Kostenoptimierung für das Speichern großer Datenmengen zu unterstützen.

  • Data Lake Storage basiert auf Azure Blob Storage und bietet eine Reihe von Funktionen für die Big Data-Analyse. Data Lake Storage behält die Kosteneffizienz von Blob Storage bei und bietet Features wie die Sicherheits- und Dateisystemsemantik auf Dateiebene mit hierarchischem Namespace.

  • Document Intelligence ist Teil der Azure KI Services. Document Intelligence verfügt über integrierte Dokumentanalysefunktionen, um gedruckten und handschriftlichen Text, Tabellen und Schlüsselwertpaare zu extrahieren. Dokumentintelligenz verfügt über vordefinierte Modelle zum Extrahieren von Daten aus Rechnungen, Dokumenten, Quittungen, Ausweisen und Visitenkarten. Document Intelligence bietet auch eine Custom Template-Formmodell und ein Custom Neural-Dokumentmodell, mit denen Sie benutzerdefinierte Modelle trainieren und bereitstellen können.

    • Document Intelligence Studio bietet eine Benutzeroberfläche zum Erkunden der Features und Modelle von Document Intelligence sowie zum Erstellen, Markieren, Trainieren und Bereitstellen benutzerdefinierter Modelle.

  • Azure KI Language konsolidiert die Azure-Dienste für die linguistische Datenverarbeitung. Die Suite bietet vordefinierte und anpassbare Optionen. Weitere Informationen finden Sie in den verfügbaren Features der Azure KI Language.

    • Language Studio bietet eine Benutzeroberfläche zum Untersuchen und Analysieren der Azure KI Language-Funktionen. Language Studio bietet außerdem Optionen zum Erstellen, Taggen, Training und Bereitstellen benutzerdefinierter Modelle.

  • Azure Machine Learning ist eine verwaltete Machine Learning-Plattform für die Modellentwicklung und -bereitstellung im großen Maßstab.

    • Azure Machine Learning Studio bietet Datenbezeichnungsoptionen für Bilder und Text.
    • Exportieren bezeichneten Daten als COCO- oder Azure Machine Learning-Datasets. Sie können die Datasets für Training und Bereitstellen von Modellen in Azure Machine Learning-Notebooks verwenden.

  • Azure OpenAI Service bietet leistungsstarke Sprachmodelle, multimodale Modelle als REST-APIs, die zum Ausführen verschiedener Aufgaben verwendet werden. Einige der angebotenen Modelle können auch fein abgestimmt werden, um die Modellleistung von Daten zu verbessern, die nicht vorhanden waren oder bei der ursprünglichen Ausbildung des Basismodells unterrepräsentiert wurden.

Alternativen

Sie können diesem Szenario weitere Workflows basierend auf bestimmten Anwendungsfällen hinzufügen.

  • Wenn das Dokument ein Bild- oder PDF-Format hat, können Sie die Daten mithilfe der Azure Computer Vision, Document Intelligence Read API oder Open-Source-Bibliotheken extrahieren.

  • Sie können Dokument- und Konversationszusammenfassungen mithilfe des vordefinierten Modells in Azure KI Language ausführen.

  • Verwenden Sie Vorverarbeitungscode, um Textverarbeitungsschritte auszuführen. Zu diesen Schritten gehören Bereinigung, das Entfernen von Wörtern, Lemmatisierung, Stemming und Textzusammenfassung je nach den Anforderungen an die Dokumentverarbeitung. Sie können den Code als REST-APIs für die Automatisierung verfügbar machen. Führen Sie diese Schritte manuell aus oder automatisieren Sie sie, indem Sie den Erfassungsprozess von Logik Apps oder Azure Functions integrieren.

  • Sie können Azure AI Foundry-Portal verwenden, um zu optimieren, Foundation-Modelle (außer Azure OpenAI-Modelle) bereitzustellen und generative KI-Anwendungen zu erstellen.

    Da es einige Überschneidungen zwischen Azure Machine Learning und Azure AI Foundry gibt, müssen Sie ihre Funktionen auswerten und die beste Plattform für Ihr Szenario auswählen.

  • Sie können auch Azure AI Content Understanding zum Erstellen einer benutzerdefinierten Analyse verwenden, indem Sie ein Feldschema zum Extrahieren strukturierter Daten aus dem Dokument definieren.

Szenariodetails

Die Dokumentverarbeitung ist ein breiter Bereich. Es kann schwierig sein, alle Ihre Dokumentverarbeitungsanforderungen mit den vordefinierten Modellen in Document Intelligence und Azure KI Language zu erfüllen. Möglicherweise müssen Sie benutzerdefinierte Modelle erstellen, um die Dokumentverarbeitung für verschiedene Anwendungen und Domänen zu automatisieren.

Zu den wichtigsten Herausforderungen bei der Modellanpassung gehören:

  • Kennzeichnen oder Taggen von Textdaten mit relevanten Schlüsselwertpaaren, um Text für die Extraktion zu klassifizieren.
  • Verwalten von Schulungsinfrastrukturen wie Compute und Speicher sowie deren Integrationen.
  • Sicheres bereitstellen von Modellen im großen Stil für einfache Integration bei der Nutzung von Anwendungen.

Mögliche Anwendungsfälle

Die folgenden Anwendungsfälle können benutzerdefinierte Modelle für die Dokumentverarbeitung nutzen:

  • Erstellen Sie benutzerdefinierte NER- und Textklassifizierungsmodelle basierend auf Open-Source-Frameworks.
  • Extrahieren benutzerdefinierter Schlüsselwerte aus Dokumenten für verschiedene Branchenvertikale wie Versicherungs- und Gesundheitsversorgung.
  • Taggen und Extrahieren spezifischer domänenabhängiger Entitäten über die vordefinierten NER-Modelle hinaus, für Domänen wie Sicherheit oder Finanzen.
  • Erstellen benutzerdefinierter Tabellen aus Dokumenten.
  • Extrahieren von Signaturen.
  • Bezeichnen und Klassifizieren von E-Mails oder anderen Dokumenten basierend auf Inhalten.
  • Dokumentzusammenfassung oder benutzerdefinierte Frage und Beantwortung Ihrer Daten.

Überlegungen

Diese Überlegungen beruhen auf den Säulen des Azure Well-Architected Frameworks, d. h. einer Reihe von Grundsätzen, mit denen die Qualität von Workloads verbessert werden kann. Weitere Informationen finden Sie unter Microsoft Azure Well-Architected Framework.

In diesem Beispiel hängt die Implementierung jeder Säule von der optimalen Konfiguration und Verwendung jedes Azure-Diensts ab.

Zuverlässigkeit

Zuverlässigkeit stellt sicher, dass Ihre Anwendung Ihre Verpflichtungen gegenüber den Kunden erfüllen kann. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Zuverlässigkeit.

Verfügbarkeit

Resilienz

Sicherheit

Sicherheit bietet Schutz vor vorsätzlichen Angriffen und dem Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Sicherheit.

Kostenoptimierung

Bei der Kostenoptimierung geht es um die Suche nach Möglichkeiten, unnötige Ausgaben zu reduzieren und die Betriebseffizienz zu verbessern. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Kostenoptimierung.

Die Gesamtkosten für die Implementierung dieser Lösung hängen von den Preisen der von Ihnen ausgewählten Dienste ab.

Die Hauptkosten für diese Lösung sind:

Weitere Informationen zur Preisberechnung spezifischer Komponenten finden Sie in den folgenden Ressourcen:

Verwenden Sie den Azure-Preisrechner, um Ihre ausgewählten Komponentenoptionen hinzuzufügen und die Gesamtlösungskosten zu schätzen.

Effiziente Leistung

Die Leistungseffizienz ist die Fähigkeit Ihrer Workload, auf effiziente Weise eine den Anforderungen der Benutzer entsprechende Skalierung auszuführen. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Leistungseffizienz.

Skalierbarkeit

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben.

Hauptautor:

Melden Sie sich bei LinkedIn an, um nicht öffentliche LinkedIn-Profile anzuzeigen.

Nächste Schritte