Freigeben über

Künstliche Intelligenz (KI): Architekturentwurf

  • Artikel

Künstliche Intelligenz (KI) ist eine Technologie, mit der Maschinen intelligentes menschliches Verhalten imitieren können. Mit KI können Computer:

  • Analysieren Sie Daten, um Bilder und Videos zu erstellen.
  • Analysieren und Synthetisieren von Sprache.
  • Verbale Interaktion auf natürliche Weise.
  • Erstellen Sie Vorhersagen, und generieren Sie neue Daten.

Architekten entwerfen Arbeitslasten, die künstliche Intelligenz verwenden, um Funktionen auszuführen oder Entscheidungen zu treffen, bei denen herkömmliche Logik oder Verarbeitung unertragbar oder sogar fast unmöglich wäre, zu implementieren. Als Architekt, der eine Lösung entwickelt, ist es wichtig, die KI- und maschinelle Lernlandschaft zu verstehen und wie Azure Lösungen für die Integration in Ihr Workload-Design bietet.

KI-Konzepte

Algorithmen

Algorithmen oder Maschinelle Lernalgorithmen sind Codeelemente, mit denen Menschen komplexe Datensätze untersuchen, analysieren und finden können. Bei jedem Algorithmus handelt es sich um begrenzte, eindeutige Schritt-für-Schritt-Anleitungen, die der Computer befolgen kann, um ein bestimmtes Ziel zu erreichen. In einem Machine Learning-Modell besteht das Ziel darin, Muster zu ermitteln oder zu ermitteln, mit denen Menschen Vorhersagen erstellen oder Informationen kategorisieren können. Ein Algorithmus kann beschreiben, wie bestimmt werden kann, ob ein Haustier eine Katze, ein Hund, ein Fisch, ein Vogel oder eine Eidechse ist. Ein anderer, weitaus komplizierterer Algorithmus kann beschreiben, wie eine geschriebene oder gesprochene Sprache identifiziert, ihre Wörter analysiert und in eine andere Sprache übersetzt und dann die Genauigkeit der Übersetzung überprüft wird.

Wenn Sie eine Workload entwerfen, müssen Sie eine Algorithmusfamilie auswählen, die für Ihre Aufgabe geeignet ist, und die verschiedenen verfügbaren Algorithmen auswerten, um die passende Anpassung zu finden.

Machine Learning

Maschinelles Lernen ist eine KI-Technik, die Algorithmen zum Erstellen von Prädiktivenmodellen verwendet. Der Algorithmus wird verwendet, um Datenfelder zu analysieren und aus diesen Daten zu lernen, indem Muster verwendet werden, die darin enthalten sind, um Modelle zu generieren. Mit diesen Modellen werden informierte Vorhersagen oder Entscheidungen zu neuen Daten getroffen.

Die Vorhersagemodelle werden anhand bekannter Daten überprüft, mit für bestimmte Geschäftsszenarien ausgewählten Leistungsmetriken bewertet und anschließend nach Bedarf angepasst. Dieser Lern- und Überprüfungsprozess wird als Training bezeichnet. Durch regelmäßiges erneutes Trainieren werden ML-Modelle mit der Zeit verbessert.

Bei der Arbeitsauslastungsgestaltung sollten Sie maschinelles Lernen verwenden, wenn Sie eine Situation haben, in der frühere Beobachtungen zuverlässig verwendet werden können, um zukünftige Situationen vorherzusagen. Diese Beobachtungen können universelle Wahrheiten wie Computervisionen sein, die eine Form von Tier aus einer anderen erkennen, oder diese Beobachtungen können für Ihre Situation spezifisch sein, z. B. Computervision, die einen potenziellen Montagefehler auf Ihren Montagelinien basierend auf früheren Garantieanspruchsdaten erkennt.

Deep Learning

Deep Learning ist eine Art ml, die durch ihre eigene Datenverarbeitung lernen kann. Wie maschinelles Lernen verwendet es auch Algorithmen zum Analysieren von Daten, aber es verwendet künstliche neurale Netzwerke, die viele Eingaben, Ausgaben und Verarbeitungsebenen enthalten. Jede Ebene kann die Daten auf eine andere Weise verarbeiten, und die Ausgabe einer Ebene wird zur Eingabe für die nächste. Dies ermöglicht es Deep Learning, komplexere Modelle zu erstellen als herkömmliches maschinelles Lernen.

Als Workload-Designer erfordert diese Option eine große Investition in die Erzeugung von stark angepassten oder explorativen Modellen. Im Allgemeinen berücksichtigen Sie andere Lösungen, die in diesem Artikel vorgestellt werden, bevor Sie Ihrer Arbeitsauslastung tiefes Lernen hinzufügen.

Generative KI

Generative KI ist eine Form der künstlichen Intelligenz, in der Modelle trainiert werden, um neue originale Inhalte basierend auf vielen Formen von Inhalten wie natürlicher Sprache, Computervision, Audio oder Bildeingabe zu generieren. Mit generativer KI können Sie eine gewünschte Ausgabe in normaler Alltagssprache beschreiben, und das Modell kann reagieren, indem sie passenden Text, Bild, Code und vieles mehr erstellen. Einige Beispiele für generative KI-Anwendungen sind:

  • Microsoft Copilot ist in erster Linie eine Benutzeroberfläche, die Benutzer beim Schreiben von Code, Dokumenten und anderen textbasierten Inhalten unterstützen kann. Es basiert auf beliebten OpenAI-Modellen und ist in eine breite Palette von Microsoft-Anwendungen und -Benutzeroberflächen integriert.

  • Azure OpenAI ist eine Entwicklungsplattform als Dienst, die Zugriff auf die leistungsstarken Sprachmodelle von OpenAI bietet, z. B. o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo with Vision, GPT-4, GPT-3.5-Turbo und Embeddings Modellreihe. Diese Modelle können an Ihre spezifische Aufgabe angepasst werden, z. B.:

    • Inhaltsgenerierung
    • Inhaltszusammenfassung
    • Bildanalyse
    • Semantische Suche
    • Natürliche Sprache für die Codeübersetzung.

Sprachmodelle

Sprachmodelle sind eine Teilmenge der generativen KI, die sich auf NLP-Aufgaben (Natural Language Processing) konzentriert, z. B. Textgenerierung und Stimmungsanalyse. Diese Modelle stellen natürliche Sprache basierend auf der Wahrscheinlichkeit des Vorkommens von Wörtern oder Wortsequenzen in einem bestimmten Kontext dar.

Herkömmliche Sprachmodelle werden in überwachten Einstellungen für Forschungszwecke verwendet, in denen die Modelle auf gut bezeichneten Textdatensätzen für bestimmte Aufgaben trainiert werden. Vortrainierte Sprachmodelle bieten eine barrierefreie Möglichkeit, mit KI zu beginnen und sind in den letzten Jahren häufiger verwendet worden. Diese Modelle werden mit deep learning neuralen Netzwerken auf groß angelegten Textkorpora aus dem Internet trainiert und können auf kleinere Datasets für bestimmte Aufgaben fein abgestimmt werden.

Die Größe eines Sprachmodells hängt von der Anzahl von Parametern oder Gewichtungen des Modells ab, die bestimmen, wie es Eingabedaten verarbeitet und Ausgaben generiert. Parameter werden während des Trainingsprozesses gelernt, indem die Gewichtungen innerhalb der Ebenen des Modells angepasst werden, um die Differenz zwischen den Vorhersagen des Modells und den tatsächlichen Daten zu minimieren. Je mehr Parameter ein Modell aufweist, desto komplexer und aussagekräftiger ist es. Mit der Anzahl von Parametern nimmt jedoch auch der Rechenaufwand für das Training und die Verwendung des Modells zu.

Kleine Sprachmodelle weisen in der Regel weniger als 10 Milliarden Parameter auf, während große Sprachmodelle über mehr als 10 Milliarden Parameter verfügen. Beispielsweise verfügt die Microsoft Phi-3-Modellfamilie über drei Versionen mit unterschiedlichen Größen: Mini (3,8 Milliarden Parameter), kleine (7 Milliarden Parameter) und mittel (14 Milliarden Parameter).

Copiloten

Die Verfügbarkeit von Sprachmodellen führte zu der Entstehung neuer Möglichkeiten zur Interaktion mit Anwendungen und Systemen durch digitale Copiloten und verbundene, domänenspezifische Agenten. Copilots sind Assistenten für generative KI, die häufig als Chatschnittstellen in Anwendungen integriert sind. Sie bieten kontextbezogene Unterstützung für allgemeine Aufgaben in diesen Anwendungen.

Microsoft Copilot ist in eine breite Palette von Microsoft-Anwendungen und -Benutzeroberflächen integriert. Es basiert auf einer offenen Architektur, mit der Drittanbieterentwickler eigene Plug-Ins erstellen können, um die Benutzererfahrung mit Microsoft Copilot zu erweitern oder anzupassen. Darüber hinaus können Drittentwickler eigene Copilots mit derselben offenen Architektur erstellen.

Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation (RAG) ist ein Architekturmuster, das die Funktionen eines großen Sprachmodells (LLM) wie ChatGPT erweitert, das nur für öffentliche Daten trainiert wurde. Mit diesem Muster können Sie ein Abrufsystem hinzufügen, das relevante Erdungsdaten im Kontext mit der Benutzeranforderung bereitstellt. Durch das Hinzufügen eines Informationsempfangssystems können Sie die Von einem Sprachmodell verwendeten Erdungsdaten steuern, wenn sie eine Antwort formuliert. Die RAG-Architektur unterstützt Sie beim Bereich der generativen KI auf Inhalte, die aus vektorisierten Dokumenten, Bildern und anderen Datenformaten stammen. RAG ist jedoch nicht auf den Vektorsuchspeicher beschränkt, das Muster gilt jedoch in Verbindung mit jeder Datenspeichertechnologie.

Automatisiertes maschinelles Lernen (AutoML)

Automatisiertes maschinelles Lernen, auch als automatisiertes ML oder AutoML bezeichnet, ist der Prozess der Automatisierung der zeitaufwendigen, iterativen Aufgaben der Machine Learning-Modellentwicklung. Es versetzt Data Scientists, Analysten und Entwickler in die Lage, ML-Modelle mit hoher Skalierbarkeit, Effizienz und Produktivität zu erstellen und gleichzeitig die Modellqualität zu erhalten.

KI-Dienste

Mit Azure AI-Diensten können Entwickler und Organisationen intelligente, marktfähige und verantwortungsvolle Anwendungen mit sofort einsatzbereiten, vorgefertigten und anpassbaren APIs und Modellen erstellen. Zu den Verwendungen gehören die Verarbeitung natürlicher Sprachen für Unterhaltungen, Suche, Überwachung, Übersetzung, Sprache, Vision und Entscheidungsfindung.

KI-Sprachmodelle

  • Große Sprachmodelle (LLMs) wie z. B. die GPT-Modelle von OpenAI sind leistungsstarke Tools, die natürliche Sprache über verschiedene Domänen und Aufgaben hinweg generieren können. Berücksichtigen Sie bei der Verwendung dieser Modelle Faktoren wie Datenschutz, ethische Nutzung, Genauigkeit und Voreingenommenheit.

  • Offene Phi-Modelle sind kleine, weniger rechenintensive Modelle für generative KI-Lösungen. Ein kleines Sprachmodell (SLM) kann effizienter, interpretiert und erklärbar sein als ein großes Sprachmodell.

Beim Entwerfen einer Workload können Sie Sprachmodelle sowohl als gehostete Lösung als auch hinter einer getakteten API oder für viele kleine Sprachmodelle verwenden, die Sie im Prozess oder zumindest auf derselben Berechnung wie der Verbraucher hosten können. Berücksichtigen Sie bei der Verwendung von Sprachmodellen in Ihrer Lösung Ihre Wahl des Sprachmodells und der verfügbaren Hostingoptionen, um sicherzustellen, dass Sie eine optimierte Lösung für Ihren Anwendungsfall verwenden.

KI-Entwicklungsplattform und -tools

Azure Machine Learning Service

Azure Machine Learning ist ein Maschineller Lerndienst zum Erstellen und Bereitstellen von Modellen. Azure Machine Learning bietet Webschnittstellen und SDKs, damit Sie Ihre Machine Learning-Modelle und -Pipelines im großen Maßstab trainieren und bereitstellen können. Diese Funktionen stehen Ihnen über Open-Source-Python-Frameworks (etwa PyTorch, TensorFlow und sciKit-learn) zur Verfügung.

Machine Learning-Referenzarchitekturen für Azure

Automatisiertes maschinelles Lernen (AutoML)

Erstellen Sie ML-Modelle im großen Maßstab mithilfe der AutoML-Funktion in Azure Machine Learning, um Aufgaben zu automatisieren.

MLflow

Azure Machine Learning-Arbeitsbereiche sind mit MLflow kompatibel, was bedeutet, dass Sie Azure Machine Learning-Arbeitsbereiche auf die gleiche Weise verwenden können, wie Sie einen MLflow-Server verwenden. Diese Kompatibilität hat folgende Vorteile:

  • Azure Machine Learning hostet keine MLflow-Serverinstanzen, kann aber die MLflow-APIs direkt verwenden.
  • Sie können Azure Machine Learning-Arbeitsbereiche als Nachverfolgungsserver für jeden beliebigen MLflow-Code nutzen, unabhängig davon, ob er in Azure Machine Learning ausgeführt wird oder nicht. Sie müssen MLflow lediglich so konfigurieren, dass es auf den Arbeitsbereich verweist, in dem die Nachverfolgung stattfinden soll.
  • Sie können jede Trainingsroutine, die MLflow verwendet, in Azure Machine Learning ausführen, ohne Änderungen vorzunehmen.

Weitere Informationen finden Sie unter MLflow und Azure Machine Learning

Generative KI-Tools

  • Eingabeaufforderungsfluss ist eine Reihe von Entwicklungstools, die entwickelt wurden, um den End-to-End-Entwicklungszyklus von generativen KI-Anwendungen zu optimieren, von der Idee, der Prototyperstellung, dem Testen, der Auswertung bis hin zur Produktionsbereitstellung und -überwachung. Es unterstützt das Prompt Engineering durch Ausdrücke von Aktionen in einem modularen Orchestrierungs- und Flussmodul.

  • Azure AI Studio unterstützt Sie beim Experimentieren, Entwickeln und Bereitstellen von generativen KI-Apps und APIs mit einer umfassenden Plattform. Mit Azure AI Studio haben Sie Zugriff auf Azure AI-Dienste, Foundation-Modelle, Spielplätze und Ressourcen, damit Sie KI-Modelle erstellen, trainieren, optimieren und bereitstellen können. Außerdem können Sie Modellantworten auswerten und Anwendungskomponenten mit Aufforderungsfluss koordinieren, um eine bessere Leistung zu erzielen.

  • Azure Copilot Studio wird verwendet, um Microsoft Copilot in Microsoft 365 zu erweitern und benutzerdefinierte Copiloten für interne und externe Szenarien zu erstellen. Mit Copilot Studio können Benutzer Copiloten mithilfe des umfassenden Dokumenterstellungsbereichs entwerfen, testen und veröffentlichen. Benutzer können auf einfache Weise generative KI-fähige Unterhaltungen erstellen, mehr Kontrolle über Antworten auf vorhandene Copiloten bieten und die Produktivität mit bestimmten automatisierten Workflows beschleunigen.

Datenplattformen für KI

Microsoft Fabric

Microsoft Fabric ist eine End-to-End-Analyse- und Datenplattform für Unternehmen, die eine einheitliche Lösung erfordern. Arbeitsauslastungsteams können Zugriff auf Daten in diesen Systemen erhalten. Es umfasst Datenverschiebung, Verarbeitung, Ingestion, Transformation, Echtzeit-Ereignisrouting und Berichtserstellung. Es bietet ein umfassendes Angebot an Diensten, einschließlich Datentechnik, Data Factory, Data Science, Echtzeitanalyse, Data Warehouse und Datenbanken.

Microsoft Fabric integriert separate Komponenten in einen zusammenhängenden Stapel. Anstatt sich auf verschiedene Datenbanken oder Data Warehouses zu verlassen, können Sie die Datenspeicherung mit OneLake zentralisieren. KI-Funktionen sind in Fabric eingebettet, sodass keine manuelle Integration erforderlich ist.

Copilots in Fabric

Copilot und andere generative KI-Features ermöglichen es Ihnen, Daten zu transformieren und zu analysieren, Einblicke zu generieren und Visualisierungen und Berichte in Microsoft Fabric und Power BI zu erstellen. Sie können entweder Ihren eigenen Copilot erstellen oder einen der folgenden vordefinierten Copiloten auswählen:

KI-Fähigkeiten in Fabric

Mit einer Microsoft Fabric AI-Fähigkeit können Sie ein generatives KI-System konfigurieren, um Abfragen zu generieren, die Fragen zu Ihren Daten beantworten. Nachdem Sie die KI-Fähigkeit konfiguriert haben, können Sie sie mit Ihren Kollegen teilen, die dann ihre Fragen in einfachem Englisch stellen können. Basierend auf ihren Fragen generiert die KI Abfragen über Ihre Daten, die diese Fragen beantworten.

Apache Spark-basierte Datenplattformen für KI

Apache Spark ist ein Framework für die Parallelverarbeitung, das In-Memory-Verarbeitung unterstützt, um die Leistung von Big Data-Analyseanwendungen zu steigern. Spark stellt Primitive für das In-Memory-Clustercomputing bereit. Ein Spark-Auftrag kann Daten in den Arbeitsspeicher laden und zwischenspeichern und wiederholt abfragen, was schneller als datenträgerbasierte Anwendungen wie Hadoop ist.

Apache Spark in Azure Fabric

Microsoft Fabric Runtime ist eine in Azure integrierte Plattform, die auf Apache Spark basiert und die Ausführung und Verwaltung von Datentechnik- und Data Science-Umgebungen ermöglicht. Sie kombiniert wichtige Komponenten aus internen und Open-Source-Quellen und bietet Kunden eine umfassende Lösung.

Hauptkomponenten von Fabric Runtime:

  • Apache Spark: Eine leistungsstarke verteilte Open-Source-Computingbibliothek, die umfangreiche Datenverarbeitungs- und Analyseaufgaben ermöglicht. Apache Spark bietet eine vielseitige und leistungsstarke Plattform für Data Engineering- und Data Science-Umgebungen.

  • Delta Lake: Eine Open-Source-Speicherebene, die ACID-Transaktionen und andere Datenzuverlässigkeitsfeatures in Apache Spark zur Verfügung stellt. Delta Lake ist in Fabric Runtime integriert, verbessert die Datenverarbeitungsfunktionen und stellt Datenkonsistenz für mehrere gleichzeitige Vorgänge sicher.

  • Pakete auf Standardebene für Java/Scala, Python und R zur Unterstützung verschiedener Programmiersprachen und Umgebungen. Diese Pakete werden automatisch installiert und konfiguriert, sodass Entwickler ihre bevorzugten Programmiersprachen auf Datenverarbeitungsaufgaben anwenden können.

Die Microsoft Fabric Runtime basiert auf einem stabilen Open-Source-Betriebssystem, das die Kompatibilität mit verschiedenen Hardwarekonfigurationen und Systemanforderungen gewährleistet.

Azure Databricks Runtime für Machine Learning

Azure Databricks ist eine Apache Spark-basierte Analyseplattform, die mit nur einem Klick eingerichtet werden kann sowie optimierte Workflows und einen interaktiven Arbeitsbereich für die Zusammenarbeit zwischen Data Scientists, Technikern und Business Analysts bietet.

Mit der Databricks Runtime für Machine Learning (Databricks Runtime ML) können Sie einen Databricks-Cluster mit allen Bibliotheken starten, die für das verteilte Training erforderlich sind. Es bietet eine Umgebung für maschinelles Lernen und Data Science. Außerdem umfasst sie mehrere gängige Bibliotheken, einschließlich TensorFlow, PyTorch, Keras und XGBoost. Außerdem unterstützt die Umgebung verteiltes Training mit Horovod.

Apache Spark in Azure HDInsight

Apache Spark in Azure HDInsight ist die Microsoft-Implementierung von Apache Spark in der Cloud. Spark-Cluster in HDInsight sind kompatibel mit Azure Storage und Azure Data Lake Storage. Dadurch können Sie HDInsight Spark-Cluster für die Verarbeitung Ihrer in Azure gespeicherten Daten verwenden.

Die Microsoft Machine Learning Library für Apache Spark ist SynapseML (früher MMLSpark). Diese Open-Source-Bibliothek ergänzt das Spark-Ökosystem um viele Deep Learning- und Data Science-Tools, Netzwerkfunktionen und Leistung auf Produktionsqualität. Hier erhalten Sie weitere Informationen zu den Features und Funktionen von SynapseML.

Datenspeicher für KI

Microsoft Fabric OneLake

OneLake in Fabric ist ein einheitlicher und logischer Data Lake, der auf die gesamte Organisation zugeschnitten ist. Er dient als zentraler Hub für alle Analysedaten und ist in jedem Microsoft Fabric-Mandanten enthalten. OneLake in Fabric basiert auf der Grundlage von Data Lake Storage Gen2.

OneLake in Fabric:

  • unterstützt strukturierte und unstrukturierte Dateitypen.
  • speichert alle tabellarischen Daten im Delta Parquet-Format.
  • stellt einen einzelnen Data Lake innerhalb von Mandantengrenzen bereit, der standardmäßig gesteuert wird.
  • unterstützt die Erstellung von Arbeitsbereichen innerhalb eines Mandanten, sodass eine Organisation Besitz- und Zugriffsrichtlinien verteilen kann.
  • unterstützt die Erstellung verschiedener Datenelemente, z. B. Lakehouses und Warehouses, über die Sie auf Daten zugreifen können.

Weitere Informationen finden Sie unter OneLake, das OneDrive für Daten.

Azure Data Lake Storage Gen2

Azure Data Lake Storage ist ein einzelnes, zentrales Repository, in dem Sie alle Ihre Daten speichern können, sowohl strukturiert als auch unstrukturiert. Mit einem Data Lake kann Ihre Organisation eine Vielzahl von Daten schnell und einfach an einem zentralen Ort speichern, darauf zugreifen und sie analysieren. Mit einem Data Lake müssen Sie Ihre Daten nicht an eine vorhandene Struktur anpassen. Stattdessen können Sie Ihre Daten im Rohformat oder nativen Format speichern, in der Regel als Dateien oder als Binary Large Objects (Blobs).

Data Lake Storage Gen2 bietet Dateisystemsemantik, Sicherheit auf Dateiebene und Skalierung. Da diese Funktionen auf Blob Storage basieren, profitieren Sie gleichzeitig von kostengünstigem, mehrstufigem Speicher mit Hochverfügbarkeit und Notfallwiederherstellungsfunktionen.

Mit Data Lake Storage Gen2 wird Azure Storage zur Grundlage für das Erstellen von Enterprise Data Lakes in Azure. Data Lake Storage Gen2 wurde eigens für die Verarbeitung mehrerer Petabyte an Informationen bei gleichzeitiger Unterstützung eines Durchsatzes von Hunderten von Gigabit konzipiert und bietet Ihnen eine einfache Möglichkeit, riesige Datenmengen zu verwalten.

Datenverarbeitung für KI

Microsoft Fabric Data Factory

Mit Data Factory können Sie Daten aus mehreren Datenquellen aufnehmen, vorbereiten und transformieren (z. B. Datenbanken, Data Warehouse, Lakehouse, Echtzeitdaten und mehr). Wenn Sie Workloads entwerfen, ist dies ein Tool, das für die Erfüllung Ihrer DataOps-Anforderungen von entscheidender Bedeutung sein kann.

Data Factory unterstützt Sowohl Code- als auch No/Low-Code-Lösungen:

  • Mit Datenpipelines können Sie Workflowfunktionen auf Cloudebene erstellen. Mit Datenpipelines können Sie die Drag-and-Drop-Schnittstelle verwenden, um Workflows zu erstellen, die Ihren Datenfluss aktualisieren, Petabyte-Größendaten verschieben und Steuerungsflusspipelinen definieren können.

  • Dataflows bieten eine Low-Code-Schnittstelle zum Aufnehmen von Daten aus Hunderten von Datenquellen und transformieren Ihre Daten mithilfe von 300+ Datentransformationen.

Siehe auch:

Azure Databricks

Mit databricks Data Intelligence Platform können Sie Code schreiben, um einen Machine Learning-Workflow mithilfe von Feature Engineering zu erstellen:

  • Datenpipelinen nehmen Rohdaten ein, erstellen Funktionstabellen, Trainmodelle und durchführen Batch-Ableitungen. Wenn Sie ein Modell mit Feature Engineering in Unity Catalog trainieren und protokollieren, enthält das Modell Featuremetadaten. Wenn Sie das Modell für Batchbewertungen oder Onlinerückschlüsse verwenden, ruft es automatisch Featurewerte ab. Der Aufrufer muss sie nicht kennen oder Logik zum Nachschlagen oder Verknüpfen von Features enthalten, um neue Daten zu ermitteln oder zu verknüpfen.
  • Modell- und Featurebereitstellungsendpunkte stehen mit einem einzigen Klick zur Verfügung und stellen Millisekunden latenzfrei bereit.
  • Daten- und Modellüberwachung.

Sie können auch die Mosaik-KI-Vektorsuche verwenden, die für das Speichern und Abrufen von Einbettungen optimiert ist. Einbettungen sind entscheidend für Anwendungen, die eine Ähnlichkeitssuche erfordern, wie RAG (Retrieval Augmented Generation), Empfehlungssysteme und Bilderkennung.

Datenconnectors für KI

Azure Data Factory- und Azure Synapse Analytics-Pipelines unterstützen viele Datenspeicher und Formate über Kopieren, Datenfluss, Nachschlagen, Metadaten abrufen und Löschen-Aktivitäten. Informationen zu den verfügbaren Datenspeicherconnectors, den unterstützten Funktionen und den entsprechenden Konfigurationen sowie generischen ODBC-Verbindungsoptionen finden Sie in der Übersicht über den Azure Data Factory- und Azure Synapse Analytics-Connector.

Benutzerdefinierte KI

Azure Machine Learning

Azure Machine Learning ist ein Clouddienst zum Beschleunigen und Verwalten des ML-Projektlebenszyklus (Machine Learning). ML-Experten, Datenwissenschaftler und Ingenieure können es in ihren täglichen Arbeitsabläufen zum Trainieren und Bereitstellen von Modellen und zur Verwaltung von maschinellen Lernvorgängen (MLOps) verwenden.

Azure Machine Learning bietet die folgenden Funktionen:

  • Algorithmusauswahl Einige Algorithmen machen bestimmte Annahmen über die Struktur der Daten oder die gewünschten Ergebnisse. Wenn Sie einen finden, der Ihren Bedürfnissen entspricht, kann Ihnen dieser genauere Vorhersagen oder kürzere Trainingsdauern liefern.

    Auswählen von Algorithmen für Azure Machine Learning

  • Die Hyperparameteroptimierung oder -optimierung ist der Prozess der Suche nach der Konfiguration von Hyperparametern, die zu der besten Leistung führen. Der Prozess ist rechenintensiv und manuell. Hyperparameter sind anpassbare Parameter, mit denen Sie den Modelltrainingsprozess steuern können. Bei neuronalen Netzen legen Sie beispielsweise die Anzahl der verborgenen Ebenen sowie die Anzahl der Knoten in den einzelnen Ebenen fest. Die Modellleistung hängt stark von Hyperparametern ab.

    Mit Azure Machine Learning können Sie die Hyperparameteroptimierung automatisieren und Experimente parallel ausführen, um Hyperparameter effizient zu optimieren.

  • Modelltraining Mit Azure Machine Learning können Sie iterativ einen Algorithmus zum Erstellen oder "Lehren" von Modellen verwenden. Nach der Schulung können diese Modelle dann verwendet werden, um Daten zu analysieren, aus denen Vorhersagen vorgenommen werden können. Während der Trainingsphase wird ein qualitativ hochwertiger Satz bekannter Daten markiert, sodass einzelne Felder identifizierbar sind. Die markierten Daten werden in einen Algorithmus eingebracht, der für das Treffen einer bestimmten Vorhersage konfiguriert ist. Nach Abschluss der Verarbeitung gibt der Algorithmus ein Modell in aus, das die festgestellten Muster mit einer Reihe von Parametern beschreibt. Während der Validierung werden neue Daten markiert und zum Testen des Modells verwendet. Der Algorithmus wird entsprechend den jeweiligen Anforderungen angepasst und kann möglicherweise weitere Trainings durchlaufen. Abschließend werden in der Testphase reale Daten ohne Tags oder vorab ausgewählte Ziele verwendet. Wenn die Ergebnisse des Modells korrekt sind, gilt es als einsatzbereit und kann bereitgestellt werden.

  • Automatisiertes Maschinelles Lernen (AutoML) ist der Prozess der Automatisierung der zeitaufwendigen, iterativen Aufgaben der Machine Learning-Modellentwicklung. Dieser kann die benötigte Zeit bis zum Vorliegen produktionsreifer ML-Modelle erheblich reduzieren. AutoML kann bei der Modellauswahl, der Hyperparameteroptimierung, dem Modelltraining und anderen Aufgaben behilflich sein. Hierbei sind keine umfassenden Kenntnisse hinsichtlich Programmierung oder Domänen erforderlich.

    Sie können automatisierte ML verwenden, wenn Azure Machine Learning ein Modell für Sie mithilfe einer angegebenen Zielmetrik trainieren und optimieren soll. Automatisierte ML kann unabhängig von data science Expertise verwendet werden, um eine End-to-End Machine Learning-Pipeline für jedes Problem zu identifizieren.

    Spezialisten für maschinelles Lernen und Entwickler aus den verschiedensten Branchen können automatisiertes maschinelles Lernen für Folgendes verwenden:

    • Implementieren von ML-Lösungen ohne umfangreiches Programmier- oder Maschinelles Lernen

    • Sparen von Zeit und Ressourcen

    • Anwendung bewährter Methoden für Data Science

    • Bereitstellen flexibler Problemlösungen

    • Was ist automatisiertes maschinelles Lernen?

  • Die Bewertung wird auch als Vorhersage bezeichnet. Hierbei handelt es sich um den Prozess des Erstellens von Werten auf Grundlage eines trainierten Machine Learning-Modells, bei dem neue Eingabedaten berücksichtigt werden. Die erstellten Werte (oder „Scores“) können Vorhersagen zukünftiger Werte, jedoch auch eine wahrscheinliche Kategorie oder ein wahrscheinliches Ergebnis darstellen.

  • Feature engineering und featurization. Die Trainingsdaten bestehen aus Zeilen und Spalten. Jede Zeile ist eine Beobachtung oder ein Datensatz, und die Spalten jeder Zeile sind die Features, mit denen die einzelnen Datensätze beschrieben werden. In der Regel werden zum Erstellen von Vorhersagemodellen die Features ausgewählt, die die Muster in den Daten am besten beschreiben.

Obwohl viele der Rohdatenfelder direkt zum Trainieren eines Modells verwendet werden können, ist es häufig erforderlich, zusätzliche (entwickelte) Features zu erstellen, die Informationen bereitstellen, mit denen die Muster in den Daten besser unterschieden werden können. Dieser Prozess wird Feature Engineering genannt. Dabei werden Kenntnisse zum Themenbereich der Daten genutzt, um Features zu erstellen, die ML-Algorithmen beim Lernen unterstützen.

In Azure Machine Learning wird das Feature Engineering mithilfe von Datenskalierungs- und Normalisierungstechniken vereinfacht. Zusammen werden diese Techniken und das Feature Engineering in Experimenten mit automatisiertem maschinellem Lernen (ML) als Featurisierung bezeichnet.

Azure OpenAI

Mit azure OpenAI Service können Sie OpenAI-Modelle auf Ihre persönlichen Datasets anpassen, indem Sie einen Prozess verwenden, der als Feinabstimmung bezeichnet wird. Mit diesem Anpassungsschritt können Sie den Dienst besser nutzen, da er Folgendes bieten kann:

  • Qualitativ hochwertigere Ergebnisse als die, die Sie nur durch schnelle Datentechnik erhalten können
  • Die Möglichkeit, mit mehr Beispielen zu trainieren, als in den maximalen Anfragekontext eines Modells passen.
  • Tokeneinsparungen durch kürzere Eingabeaufforderungen
  • Anforderungen mit geringerer Latenz, insbesondere bei Verwendung kleinerer Modelle.

Weitere Informationen finden Sie unter:

Azure AI-Dienste für benutzerdefinierte KI

Azure AI-Dienste bieten Features, mit denen Sie benutzerdefinierte KI-Modelle und -Anwendungen erstellen können. Dieser Abschnitt enthält eine Übersicht über diese wichtigsten Features.

Custom Speech Service

Benutzerdefinierte Spracherkennung ist ein Feature des Azure AI Speech-Diensts. Custom Speech ermöglicht es Ihnen, die Genauigkeit der Spracherkennung für Ihre Anwendungen und Produkte zu bewerten und zu verbessern. Ein benutzerdefiniertes Sprachmodell kann für Spracherkennung in Echtzeit, Sprachübersetzung und Batchtranskription verwendet werden.

Ohne weitere Konfiguration verwendet die Spracherkennung ein universelles Sprachmodell als Basismodell, das mit Microsoft-eigenen Daten trainiert wird und häufig verwendete gesprochene Sprache widerspiegelt. Das Basismodell wird mit Dialekten und Phonemen vortrainiert, die verschiedene gängige Gebiete repräsentieren. Wenn Sie eine Anforderung zur Spracherkennung ausführen, wird standardmäßig das aktuelle Basismodell für jede unterstützte Sprache verwendet. Das Basismodell funktioniert in den meisten Spracherkennungsszenarien gut.

Ein benutzerdefiniertes Modell kann verwendet werden, um das Basismodell mit dem Ziel zu erweitern, die Erkennung von Fachvokabular zu verbessern, das für die Anwendung spezifisch ist, indem Textdaten zum Trainieren des Modells bereitgestellt werden. Es kann außerdem verwendet werden, um die Erkennung basierend auf den spezifischen Audiobedingungen der Anwendung zu verbessern, indem Audiodaten mit Referenztranskriptionen bereitgestellt werden.

Sie können auch ein Modell mit strukturiertem Text trainieren, wenn die Daten einem Muster folgen, benutzerdefinierte Aussprachen festlegen und die Formatierung des Anzeigetextes mit benutzerdefinierter inverser Textnormalisierung, benutzerdefinierter Neuschreibung und benutzerdefinierter Filterung von Schimpfwörtern anpassen.

Benutzerdefinierter Translator

Custom Translator ist ein Feature des Azure AI Translator-Diensts. Mit Custom Translator können Unternehmen, App-Entwickler und Sprachdienstanbieter angepasste systeme für maschinelle Übersetzung (Neural Machine Translation, NMT) erstellen. Das angepasste Übersetzungssystem wird nahtlos in vorhandene Anwendungen, Workflows und Websites integriert.

Die Plattform ermöglicht Benutzern das Erstellen und Veröffentlichen benutzerdefinierter Systeme für die Übersetzung ins Englische und aus dem Englischen. Benutzerdefinierter Translator unterstützt mehr als drei Dutzend Sprachen, die direkt den für NMT verfügbaren Sprachen zugeordnet werden. Eine vollständige Liste finden Sie unter Sprachunterstützung für Übersetzer.

Custom Translator bietet die folgenden Features:

Funktion BESCHREIBUNG
Anwenden von neuronaler maschineller Übersetzungstechnologie Verbessern Sie Ihre Übersetzung durch die Anwendung der von „Benutzerdefinierter Translator“ bereitgestellten neuronalen maschinellen Übersetzung (NMT).
Erstellen von Systemen, die Ihre Geschäftsterminologie kennen Mithilfe von parallelen Dokumenten können Sie Übersetzungssysteme anpassen und erstellen, die die Terminologie verstehen, die in Ihrem Unternehmen und der Branche verwendet wird.
Verwenden eines Wörterbuchs zum Erstellen Ihrer Modelle Wenn Sie kein Trainingsdataset haben, können Sie ein Modell nur mit Wörterbuchdaten trainieren.
Zusammenarbeit mit anderen Benutzern Teilen Sie Ihre Arbeit mit verschiedenen Personen, um mit Ihrem Team zusammenarbeiten.
Zugriff auf Ihr benutzerdefiniertes Übersetzungsmodell Der Zugriff auf Ihr benutzerdefiniertes Übersetzungsmodell in Ihren vorhandenen Anwendungen/Programmen ist jederzeit über die Microsoft-Textübersetzungs-API V3 möglich.

Benutzerdefinierte Document Intelligence-Modelle

Azure AI Document Intelligence verwendet erweiterte Maschinelle Lerntechnologie, um Dokumente zu identifizieren, Informationen aus Formularen und Dokumenten zu erkennen und zu extrahieren und die extrahierten Daten in einer strukturierten JSON-Ausgabe zurückzugeben. Mit Document Intelligence können Sie Dokumentanalysemodelle, vorgefertigte/vortrainierte oder trainierte eigenständige benutzerdefinierte Modelle verwenden.

Benutzerdefinierte Dokumentintelligenzmodelle enthalten jetzt benutzerdefinierte Klassifizierungsmodelle für Szenarien, in denen Sie den Dokumenttyp identifizieren müssen, bevor Sie das Extraktionsmodell aufrufen. Ein Klassifizierungsmodell kann mit einem benutzerdefinierten Extraktionsmodell gepaart werden, um Felder aus Formularen und Dokumenten zu analysieren und zu extrahieren, die für Ihr Unternehmen spezifisch sind. Eigenständige benutzerdefinierte Extraktionsmodelle können kombiniert werden, um zusammengestellte Modelle zu erstellen.

Benutzerdefinierte KI-Tools

Obwohl vorgefertigte KI-Modelle nützlich und zunehmend flexibel sind, besteht die beste Möglichkeit, das, was Sie von KI benötigen, zu erhalten, darin, ein Modell zu erstellen, das auf Ihre spezifischen Anforderungen zugeschnitten ist. Es gibt zwei primäre Tools zum Erstellen benutzerdefinierter KI-Modelle: Generative KI und traditionelles maschinelles Lernen:

Azure Machine Learning Studio

Azure Machine Learning Studio ist ein Clouddienst zum Beschleunigen und Verwalten des Machine Learning (ML)-Projektlebenszyklus. ML-Experten, Data Scientists und Ingenieure können es in ihren täglichen Workflows verwenden, um Modelle zu trainieren und bereitzustellen und Machine Learning Operations (MLOps) zu verwalten.

  • Erstellen und trainieren Sie das Azure Machine Learning-Modell mit jeder Art von Compute, einschließlich Spark und GPUs, für große KI-Workloads im Cloudmaßstab.
  • Führen Sie automatisiertes Azure Machine Learning (AutoML) und Drag-and-Drop-UI für Azure Machine Learning mit Low-Code aus.
  • Implementieren Sie End-to-End-Azure Machine Learning-Ops und wiederholbare Azure Machine Learning-Pipelines.
  • Verwenden Sie das Dashboard für verantwortungsvolle KI, um Trends zu erkennen und Fehler zu analysieren.
  • Orchestrieren und verwalten Sie das Design von Prompts und LLM-Abläufe.
  • Stellen Sie Modelle mit REST-API-Endpunkten, Echtzeit- und Batch-Rückschlüssen bereit.
  • Verwenden Sie Hubs (Vorschau), um Rechen-, Kontingent-, Sicherheits- und Konnektivität mit Unternehmensressourcen mit einer Gruppe von Arbeitsbereichen zu teilen, während die Governance für die IT zentralisiert wird. Richten Sie einmal einen Hub ein, und erstellen Sie dann sichere Arbeitsbereiche direkt aus dem Studio für jedes Projekt. Verwenden Sie Hubs, um die Arbeit Ihres Teams sowohl in ML Studio als auch in AI Studio zu verwalten.

Azure KI Studio

Azure AI Studio ist so konzipiert, dass Sie benutzerdefinierte generative KI-Anwendungen effizient erstellen und bereitstellen können, indem Sie die Leistungsfähigkeit der umfassenden KI-Angebote von Azure nutzen:

  • Erstellen Sie gemeinsam im Team. Ihr KI Studio-Hub bietet Sicherheit auf Unternehmensebene und eine kollaborative Umgebung mit gemeinsam genutzten Ressourcen und Verbindungen zu vorab trainierten Modellen, Daten und Rechenleistung.
  • Organisieren Sie Ihre Arbeit. Ihr KI Studio-Projekt hilft Ihnen, den Status zu speichern, sodass Sie den Weg von Ihrer ersten Idee bis zum ersten Prototyp und später zur ersten Produktionsbereitstellung durchlaufen können. Laden Sie auch andere Personen ein, mit Ihnen zusammenzuarbeiten.
  • Verwenden Sie Ihre bevorzugte Entwicklungsplattform und Frameworks, einschließlich GitHub, Visual Studio Code, LangChain, Semantic Kernel, AutoGen und mehr.
  • Entdecken und vergleichen Sie aus über 1.600 Modellen.
  • Bereitstellung von „Modellen als Service“ (Models-as-a-Service, MaaS) über serverlose APIs und gehostete Feinabstimmung.
  • Integrieren Sie mehrere Modelle, Datenquellen und Modalitäten.
  • Erstellen Sie eine erweiterte Generation der Abfrageerstellung (Retrieval Augmented Generation, RAG) unter Verwendung Ihrer geschützten Unternehmensdaten, ohne dass eine Feinabstimmung erforderlich ist.
  • Koordinieren und verwalten Sie Prompts für Engineering- und LLM-Flows (Large Language Model).
  • Entwerfen und schützen Sie Apps und APIs mit konfigurierbaren Filtern und Steuerelementen.
  • Bewerten Sie Modellantworten mit integrierten und benutzerdefinierten Auswertungsflows.
  • Stellen Sie KI-Innovationen in der von Azure verwalteten Infrastruktur mit kontinuierlicher Überwachung und Governance in allen Umgebungen bereit.
  • Fortlaufende Überwachung der bereitgestellten Apps für Sicherheit, Qualität und Tokennutzung in der Produktion.|

Einen detaillierten Vergleich zwischen Azure Machine Learning und Azure AI Studio finden Sie unter Azure Machine Learning vs. Azure AI Studio.

Prompt flow in Azure KI Studio

prompt flow in Azure KI Studio ist ein Entwicklungstool zur Optimierung des gesamten Entwicklungszyklus von KI-Anwendungen auf der Grundlage von großen Sprachmodellen (Large Language Models, LLMs). Prompt flow bietet eine umfassende Lösung, die den Prozess der Prototyperstellung, des Experimentierens, Durchlaufens und Bereitstellens Ihrer KI-Anwendungen vereinfacht.

  • Prompt flow ist eine Funktion, das zum Generieren, Anpassen oder Ausführen eines Flows verwendet werden kann.
  • Ein Fluss ist ein ausführbarer Anweisungssatz, der die KI-Logik implementieren kann. Flows können mit verschiedenen Tools erstellt oder ausgeführt werden, z. B. mit einem vorgefertigten Canvas, LangChain usw. Iterationen eines Flows können als Ressourcen gespeichert werden. Sobald ein Flow bereitgestellt wurde, wird er zu einer API. Nicht alle Flows sind prompt flows. Stattdessen ist der prompt flow eine Möglichkeit, einen Flow zu erstellen.
  • Eine Eingabeaufforderung ist ein Paket von Eingaben, das an ein Modell gesendet wird. Es besteht aus der Benutzereingabe, der Systemmeldung und eventuellen Beispielen. Die Benutzereingabe ist Text, der im Chatfenster übermittelt wird. Eine Systemnachricht ist eine Reihe von Anweisungen an das Modell, die sein Verhalten und seine Funktionalität festlegen.
  • Ein Stichproben-Flow ist ein einfacher, vordefinierter Orchestrierungs-Flow, der zeigt, wie Abläufe funktionieren und angepasst werden können.
  • Ein Stichprobenflow ist eine definierte Eingabeaufforderung für ein bestimmtes Szenario, das aus einer Bibliothek kopiert und im Eingabeaufforderungsentwurf verwendet oder geändert werden kann.

Benutzerdefinierte KI-Codesprachen

Das Kernkonzept von KI ist die Verwendung von Algorithmen, um Daten zu analysieren und Modelle zu generieren, mit denen sie auf nützliche Weise beschrieben (oder bewertet) werden. Algorithmen werden von Entwicklern und Datenanalysten (und manchmal auch von anderen Algorithmen) mit Programmiercode geschrieben. Zwei der derzeit beliebtesten Programmiersprachen für die KI-Entwicklung sind Python und R.

Python ist eine höhere Programmiersprache für allgemeine Zwecke. Sie zeichnet sich durch eine einfache, leicht zu erlernende Syntax aus, die betont lesbar ist. Ein Kompilierungsschritt ist nicht erforderlich. Python verfügt über eine umfangreiche Standardbibliothek, es gibt aber auch die Möglichkeit, Module und Pakete hinzuzufügen. Dies fördert die Modularität und ermöglicht es Ihnen, Funktionen ggf. zu erweitern. Es gibt ein großes und wachsendes Ökosystem von KI- und ML-Bibliotheken für Python, darunter viele, die in Azure direkt zugänglich sind.

R ist eine Sprache und Umgebung für statistische Berechnungen und Grafiken. Sie kann für alle Vorgänge von der Online-Zuordnung allgemeiner sozialer Trends und Marketingtrends bis hin zur Entwicklung von Finanz- und Klimamodellen verwendet werden.

Microsoft hat die Programmiersprache R komplett übernommen und bietet R-Entwicklern eine Vielzahl von Optionen zum Ausführen ihres Codes in Azure.

Allgemeine Informationen zu benutzerdefinierter KI in Azure

Kundenstimmen

KI wird in den verschiedensten Branchen in innovativer und inspirierender Weise genutzt. Im Folgenden finden Sie einige Kundenfallstudien und Erfolgsgeschichten:

Weitere Kundenstimmen

Allgemeine Informationen zu Microsoft AI

Erfahren Sie mehr über KI von Microsoft, und bleiben Sie mit den neuesten Nachrichten auf dem Laufenden:

Nächste Schritte