Freigeben über

KI-Architekturentwurf

  • Artikel

KI ist eine Technologie, mit der Maschinen intelligentes menschliches Verhalten imitieren können. Computer können KI verwenden, um:

  • Analysieren Sie Daten, um Bilder und Videos zu erstellen.
  • Analysieren und Synthetisieren von Sprache.
  • Verbale Interaktion auf natürliche Weise.
  • Erstellen Sie Vorhersagen, und generieren Sie neue Daten.

Sie können KI in Anwendungen integrieren, um Funktionen auszuführen oder Entscheidungen zu treffen, die herkömmliche Logik oder Verarbeitung nicht effektiv verarbeiten kann. Als Architekt, der Lösungen entwirft, ist es wichtig, die KI- und Maschinelle Lernlandschaft zu verstehen und wie Sie Azure-Lösungen in Ihr Workload-Design integrieren können.

Erste Schritte

Das Azure Architecture Center bietet Beispielarchitekturen, Architekturhandbücher, Architekturgrundwerte und Ideen, die Sie auf Ihr Szenario anwenden können. Workloads, die KI- und Machine Learning-Komponenten umfassen, sollten dem Azure Well-Architected Framework AI-Workloads Anleitung folgen. Dieser Leitfaden enthält Prinzipien und Designhandbücher, die den Ai- und Machine Learning-Arbeitsaufwand in den fünf Architekturpfeilern beeinflussen. Sie sollten diese Empfehlungen in den Szenarien und Inhalten im Azure Architecture Center implementieren.

KI-Konzepte

KI-Konzepte umfassen eine vielzahl von Technologien und Methoden, mit denen Maschinen Aufgaben ausführen können, die in der Regel menschliche Intelligenz erfordern. In den folgenden Abschnitten finden Sie eine Übersicht über die wichtigsten KI-Konzepte.

Algorithmen

Algorithmen oder Algorithmen für maschinelles Lernen sind Codeelemente, die Den Menschen helfen, die Bedeutung in komplexen Datasets zu erkunden, zu analysieren und zu finden. Jeder Algorithmus ist ein endlicher Satz eindeutiger Schritt-für-Schritt-Anweisungen, die ein Computer befolgen kann, um ein bestimmtes Ziel zu erreichen. Ziel eines maschinellen Lernmodells ist es, Muster zu etablieren oder zu ermitteln, mit denen Menschen Vorhersagen erstellen oder Informationen kategorisieren können. Ein Algorithmus könnte beschreiben, wie Sie feststellen, ob ein Haustier eine Katze, ein Hund, ein Fisch, ein Vogel oder eine Eidechse ist. Ein anderer, weitaus komplizierterer Algorithmus könnte beschreiben, wie man eine geschriebene oder gesprochene Sprache identifiziert, ihre Wörter analysiert, sie in eine andere Sprache übersetzt und dann die Übersetzung auf ihre Richtigkeit überprüft.

Wählen Sie eine Algorithmusfamilie aus, die am besten zu Ihrer Aufgabe passt. Bewerten Sie die verschiedenen Algorithmen innerhalb der Algorithmusfamilie, um die geeignete Lösung für Ihre Arbeitslast zu finden. Weitere Informationen finden Sie unter Was sind Machine Learning-Algorithmen?.

Machine Learning

Maschinelles Lernen ist eine KI-Technik, die Algorithmen zum Erstellen von Prädiktivenmodellen verwendet. Diese Algorithmen analysieren Datenfelder und "lernen" aus den Mustern innerhalb von Daten, um Modelle zu generieren. Die Modelle können dann fundierte Vorhersagen oder Entscheidungen basierend auf neuen Daten treffen.

Die Vorhersagemodelle werden anhand bekannter Daten überprüft, anhand von Leistungsmetriken für bestimmte Geschäftsszenarien gemessen und dann nach Bedarf angepasst. Dieser Lern- und Überprüfungsprozess wird als Training bezeichnet. Durch regelmäßige Umschulungen verbessern sich Machine Learning-Modelle im Laufe der Zeit.

In Ihrem Workload-Design können Sie maschinelles Lernen verwenden, wenn Ihr Szenario frühere Beobachtungen enthält, die Sie zuverlässig verwenden können, um zukünftige Situationen vorherzusagen. Diese Beobachtungen können universelle Wahrheiten sein, z. B. Computervision, die eine Form von Tier aus einer anderen erkennt. Oder diese Beobachtungen können für Ihre Situation spezifisch sein, z. B. Computervision, die einen potenziellen Montagefehler auf Ihren Montagelinien basierend auf früheren Garantieanspruchsdaten erkennt.

Weitere Informationen finden Sie unter Was ist maschinelles Lernen?.

Deep Learning

Deep Learning ist eine Art maschinelles Lernen, das durch seine eigene Datenverarbeitung lernen kann. Wie maschinelles Lernen werden auch Algorithmen zum Analysieren von Daten verwendet. Es analysiert jedoch Daten über künstliche neurale Netzwerke, die viele Eingaben, Ausgaben und Verarbeitungsebenen enthalten. Jede Ebene kann die Daten auf eine andere Weise verarbeiten. Die Ausgabe einer Ebene wird zur Eingabe für die nächste. Dieser Prozess ermöglicht es Deep Learning, komplexere Modelle zu erstellen als herkömmliches maschinelles Lernen.

Deep Learning erfordert eine große Investition, um hoch angepasste oder explorative Modelle zu generieren. Bevor Sie Ihrer Arbeitsbelastung Deep Learning hinzufügen, könnten Sie erwägen, andere Lösungen in diesem Artikel in Betracht zu ziehen.

Weitere Informationen finden Sie unter Was ist Deep Learning?.

Generative KI

Generative AI trainiert Modelle, um originale Inhalte basierend auf vielen Formen von Inhalten zu generieren, z. B. natürliche Sprache, Computervision, Audio oder Bildeingabe. Mit generativer KI können Sie eine gewünschte Ausgabe in der Alltagssprache beschreiben, und das Modell kann reagieren, indem sie passenden Text, Bilder und Code erstellen. Beispiele für generative KI-Anwendungen sind Microsoft Copilot und Azure OpenAI Service.

  • Copilot ist in erster Linie eine Benutzeroberfläche, mit der Sie Code, Dokumente und andere textbasierte Inhalte schreiben können. Es basiert auf beliebten OpenAI-Modellen und ist in eine breite Palette von Microsoft-Anwendungen und -Benutzeroberflächen integriert.

  • Azure OpenAI ist eine Entwicklungsplattform als Dienst, die Zugriff auf die leistungsstarken Sprachmodelle von OpenAI bietet, z. B. o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo with Vision, GPT-4, GPT-3.5-Turbo und die Embeddings-Modellreihe. Sie können diese Modelle an Ihre spezifischen Aufgaben anpassen, z. B.:

    • Inhaltsgenerierung.
    • Inhaltszusammenfassung.
    • Bildverständnis.
    • Semantische Suche.
    • Natürliche Sprache für die Codeübersetzung.

Sprachmodelle

Sprachmodelle sind eine Teilmenge der generativen KI, die sich auf Verarbeitungsaufgaben in natürlicher Sprache konzentrieren, z. B. Textgenerierung und Stimmungsanalyse. Diese Modelle stellen natürliche Sprache basierend auf der Wahrscheinlichkeit des Vorkommens von Wörtern oder Wortsequenzen in einem bestimmten Kontext dar.

Herkömmliche Sprachmodelle werden in überwachten Umgebungen für Forschungszwecke verwendet, in denen die Modelle auf gut beschrifteten Textdatensätzen für bestimmte Aufgaben trainiert werden. Vortrainierte Sprachmodelle bieten eine barrierefreie Möglichkeit, mit KI zu beginnen. Sie werden in den letzten Jahren häufiger verwendet. Diese Modelle werden über neuronale Deep Learning-Netzwerke auf umfangreichen Textsammlungen aus dem Internet trainiert. Sie können sie auf kleinere Datasets für bestimmte Aufgaben optimieren.

Die Anzahl von Parametern oder Gewichtungen bestimmt die Größe eines Sprachmodells. Parameter beeinflussen, wie das Modell Eingabedaten verarbeitet und Ausgabe generiert. Während der Schulung passt das Modell die Gewichtungen an, um den Unterschied zwischen den Vorhersagen und den tatsächlichen Daten zu minimieren. Bei diesem Prozess lernt das Modell Parameter. Je mehr Parameter ein Modell hat, desto komplexer und ausdrucksstarker ist es. Aber es ist auch rechenintensiver, sowohl beim Training als auch bei der Verwendung.

Im Allgemeinen weisen kleine Sprachmodelle im Allgemeinen weniger als 10 Milliarden Parameter auf, und große Sprachmodelle haben mehr als 10 Milliarden Parameter. Beispielsweise verfügt die Microsoft Phi-3-Modellfamilie über drei Versionen:

  • Mini,3,8 Milliarden Parameter
  • Kleine 7-Milliarden-Parameter
  • Mittel, 14 Milliarden Parameter

Weitere Informationen finden Sie im Sprachenmodellkatalog.

Copiloten

Die Verfügbarkeit von Sprachmodellen führte zu der Entstehung neuer Möglichkeiten, mit Anwendungen und Systemen über digitale Copiloten und verbundene, domänenspezifische Agenten zu interagieren. Copilots sind generative KI-Assistenten, die in Anwendungen integriert werden, häufig als Chatschnittstellen. Sie bieten kontextbezogene Unterstützung für allgemeine Aufgaben in diesen Anwendungen.

Microsoft Copilot integriert sich in eine Vielzahl von Microsoft-Anwendungen und -Benutzeroberflächen. Sie basiert auf einer offenen Architektur, in der Nicht-Microsoft-Entwickler eigene Plug-Ins erstellen können, um die Benutzererfahrung mit Copilot zu erweitern oder anzupassen. Partnerentwickler können auch eigene Copiloten mit derselben offenen Architektur erstellen.

Weitere Informationen finden Sie in den folgenden Ressourcen:

Retrieval Augmented Generation

Retrieval Augmented Generation (RAG) ist ein Architekturmuster, das die Funktionalitäten eines großen Sprachmodells (LLM) wie ChatGPT, das nur auf öffentlichen Daten trainiert wird, erweitert. Sie können dieses Muster verwenden, um ein Abrufsystem hinzuzufügen, das relevante Erdungsdaten im Kontext mit der Benutzeranforderung bereitstellt. Ein Informationsabrufsystem ermöglicht die Kontrolle über Grunddaten, die ein Sprachmodell verwendet, wenn es eine Antwort formuliert. Die RAG-Architektur unterstützt Sie beim Bereich der generativen KI auf Inhalte, die aus vektorisierten Dokumenten, Bildern und anderen Datenformaten stammen. RAG ist nicht auf Vektorsuchspeicher beschränkt. Sie können jede Datenspeichertechnologie verwenden.

Weitere Informationen finden Sie unter Entwurf und Entwickeln einer RAG-Lösung und Auswählen eines Azure-Diensts für die Vektorsuche.

Azure KI Services

Mit Azure AI-Dienstenkönnen Entwickler und Organisationen vorgefertigte, vorgefertigte und anpassbare APIs und Modelle verwenden, um intelligente, marktbereite und verantwortungsvolle Anwendungen zu erstellen. Anwendungsfälle umfassen die Verarbeitung natürlicher Sprachen für Unterhaltungen, Suche, Überwachung, Übersetzung, Sprache, Vision und Entscheidungsfindung.

Weitere Informationen finden Sie in den folgenden Ressourcen:

KI-Sprachmodelle

LLMs, wie z. B. die OpenAI GPT-Modelle, sind leistungsstarke Tools, die natürliche Sprache über verschiedene Domänen und Aufgaben hinweg generieren können. Um ein Modell auszuwählen, sollten Sie Faktoren wie Datenschutz, ethische Nutzung, Genauigkeit und Voreingenommenheit berücksichtigen.

Offene Phi-Modelle sind kleine, weniger rechenintensive Modelle für generative KI-Lösungen. Ein kleines Sprachmodell ist möglicherweise effizienter, interpretierbar und erklärbarer als ein LLM.

Wenn Sie eine Workload entwerfen, können Sie Sprachmodelle als gehostete Lösung hinter einer getakteten API verwenden. Alternativ können Sie bei vielen kleinen Sprachmodellen Sprachmodelle im Prozess oder zumindest auf derselben Berechnung wie der Verbraucher hosten. Berücksichtigen Sie bei der Verwendung von Sprachmodellen in Ihrer Lösung Die Wahl des Sprachmodells und der verfügbaren Hostingoptionen, um eine optimierte Lösung für Ihren Anwendungsfall zu gewährleisten.

KI-Entwicklungsplattform und -tools

Die folgenden KI-Entwicklungsplattformen und -tools können Ihnen beim Erstellen, Bereitstellen und Verwalten von Machine Learning- und KI-Modellen helfen.

Azure Machine Learning

Azure Machine Learning ist ein Maschineller Lerndienst, den Sie zum Erstellen und Bereitstellen von Modellen verwenden können. Machine Learning bietet Webschnittstellen und SDKs, mit denen Sie Ihre Machine Learning-Modelle und -Pipelines im großen Maßstab trainieren und bereitstellen können. Diese Funktionen stehen Ihnen über Open-Source-Python-Frameworks (etwa PyTorch, TensorFlow und sciKit-learn) zur Verfügung.

Weitere Informationen finden Sie in den folgenden Ressourcen:

Machine Learning-Referenzarchitekturen für Azure

Automatisiertes maschinelles Lernen

Automatisiertes Maschinelles Lernen (AutoML) ist der Prozess der Automatisierung der zeitaufwendigen, iterativen Aufgaben der Machine Learning-Modellentwicklung. Data Scientists, Analysten und Entwickler können AutoML verwenden, um Machine Learning-Modelle zu erstellen, die hohe Skalierung, Effizienz und Produktivität aufweisen und gleichzeitig die Modellqualität erhalten.

Weitere Informationen finden Sie in den folgenden Ressourcen:

MLflow

Machine Learning-Arbeitsbereiche sind MLflow-kompatibel, was bedeutet, dass Sie einen Machine Learning-Arbeitsbereich auf die gleiche Weise wie einen MLflow-Server verwenden können. Diese Kompatibilität bietet die folgenden Vorteile:

  • Machine Learning hostet keine MLflow-Serverinstanzen, kann aber die MLflow-APIs direkt verwenden.
  • Sie können einen Machine Learning-Arbeitsbereich als Tracking-Server für jeden MLflow-Code verwenden, unabhängig davon, ob er in Machine Learning ausgeführt wird. Sie müssen MLflow so konfigurieren, dass er auf den Arbeitsbereich verweist, in dem die Nachverfolgung erfolgen soll.
  • Sie können Schulungsroutinen ausführen, die MLflow in Machine Learning verwenden, ohne Änderungen vorzunehmen.

Weitere Informationen finden Sie unter MLflow- und Machine Learning- und MLflow-.

Generative KI-Tools

  • Prompt flow ist eine Reihe von Entwicklungstools, die Sie verwenden können, um den End-to-End-Entwicklungszyklus von generativen KI-Anwendungen zu optimieren, von der Idee, der Prototyperstellung, dem Testen und der Auswertung bis hin zur Bereitstellung und Überwachung der Produktion. Es unterstützt das Prompt Engineering durch Ausdrücke von Aktionen in einem modularen Orchestrierungs- und Flussmodul.

  • Azure AI Foundry hilft Ihnen mit einer umfassenden Plattform beim verantwortungsvollen Experimentieren, Entwickeln und Bereitstellen generativer KI-Apps und APIs. Das AI Foundry-Portal bietet Zugriff auf Azure AI-Dienste, Foundation-Modelle, einen Playground und Ressourcen, mit denen Sie KI-Modelle erstellen, trainieren, optimieren und bereitstellen können. Sie können auch Modellantworten auswerten und Prompt-Anwendungskomponenten mit Prompt Flow orchestrieren, um die Leistung zu verbessern.

  • Copilot Studio erweitert Copilot in Microsoft 365. Sie können Copilot Studio verwenden, um benutzerdefinierte Copilots für interne und externe Szenarien zu erstellen. Verwenden Sie eine umfassende Erstellungsumgebung, um Copiloten zu entwerfen, zu testen und zu veröffentlichen. Sie können leicht generative KI-gestützte Gespräche erstellen, eine größere Kontrolle über die Reaktionen von bestehenden Copiloten ermöglichen und die Produktivität mithilfe automatisierter Workflows steigern.

Datenplattformen für KI

Die folgenden Plattformen bieten umfassende Lösungen für Datenbewegungen, Verarbeitung, Aufnahme, Transformation, Echtzeitanalyse und Berichterstellung.

Microsoft Fabric

Microsoft Fabric ist eine End-to-End-Analyse- und Datenplattform für Unternehmen, die eine einheitliche Lösung erfordern. Sie können Workload-Teams Zugriff auf Daten in Fabric gewähren. Die Plattform umfasst Datenbewegungen, Verarbeitung, Erfassung, Transformation, Echtzeitereignisrouting und Berichtserstellung. Es bietet eine umfassende Suite von Diensten, darunter Fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Real-Time Intelligence, Fabric Data Warehouse und Fabric Databases.

Fabric integriert separate Komponenten in einen zusammenhängenden Stapel. Anstatt sich auf verschiedene Datenbanken oder Data Warehouses zu verlassen, können Sie die Datenspeicherung mit OneLake zentralisieren. KI-Funktionen sind in Fabric eingebettet, was die Notwendigkeit der manuellen Integration beseitigt.

Weitere Informationen finden Sie in den folgenden Ressourcen:

Copilots in Fabric

Sie können Copilot und andere generative KI-Features verwenden, um Daten zu transformieren und zu analysieren, Einblicke zu generieren und Visualisierungen und Berichte in Fabric und Power BI zu erstellen. Sie können Ihren eigenen Copilot erstellen oder einen der folgenden vordefinierten Copiloten auswählen:

KI-Fähigkeiten in Fabric

Sie können das Fabric AI-Qualifikationsfeature verwenden, um ein generatives KI-System zu konfigurieren, um Abfragen zu generieren, die Fragen zu Ihren Daten beantworten. Nachdem Sie eine KI-Fähigkeit konfiguriert haben, können Sie sie mit Ihren Kollegen teilen, die dann ihre Fragen in einfacher Sprache stellen können. Basierend auf ihren Fragen generiert die KI Abfragen zu den Daten, die diese Fragen beantworten.

Weitere Informationen finden Sie in den folgenden Ressourcen:

Apache Spark-basierte Datenplattformen für KI

Apache Spark ist ein Framework für die Parallelverarbeitung, das In-Memory-Verarbeitung unterstützt, um die Leistung von Big Data-Analyseanwendungen zu steigern. Spark bietet grundlegende Bausteine für in-Memory Cluster Computing. Ein Spark-Auftrag kann Daten in den Arbeitsspeicher laden und zwischenspeichern und wiederholt abfragen, was schneller als datenträgerbasierte Anwendungen wie Hadoop ist.

Apache Spark in Microsoft Fabric

Fabric Runtime ist eine azure-integrierte Plattform, die auf Apache Spark basiert, die die Implementierung und Verwaltung von Data Engineering- und Data Science-Erfahrungen ermöglicht. Fabric Runtime kombiniert Schlüsselkomponenten aus internen und Open Source-Quellen, die eine umfassende Lösung bieten.

Fabric Runtime verfügt über die folgenden Schlüsselkomponenten:

  • Apache Spark ist eine leistungsstarke open-source verteilte Computing-Bibliothek, die umfangreiche Datenverarbeitungs- und Analyseaufgaben ermöglicht. Apache Spark bietet eine vielseitige und leistungsstarke Plattform für Data Engineering- und Data Science-Umgebungen.

  • Delta Lake ist eine Open-Source Storage-Schicht, die atomare, konsistente, isolierte und dauerhafte (ACID) Transaktionen und andere Funktionen zur Datenzuverlässigkeit in Apache Spark integriert. In Fabric Runtime integriert, verbessert Delta Lake die Datenverarbeitungsfunktionen und trägt dazu bei, die Datenkonsistenz über mehrere gleichzeitige Vorgänge hinweg sicherzustellen.

  • Standardpakete für Java, Scala, Python und R sind Pakete, die verschiedene Programmiersprachen und Umgebungen unterstützen. Diese Pakete werden automatisch installiert und konfiguriert, sodass Entwickler ihre bevorzugten Programmiersprachen für Datenverarbeitungsaufgaben anwenden können.

Fabric Runtime basiert auf einem robusten Open-Source-Betriebssystem, um die Kompatibilität mit verschiedenen Hardwarekonfigurationen und Systemanforderungen sicherzustellen.

Weitere Informationen finden Sie unter Apache Spark Runtimes in Fabric.

Azure Databricks Runtime für Machine Learning

Azure Databricks ist eine Apache Spark-basierte Analyseplattform mit einem Klick-Setup, optimierten Workflows und einem interaktiven Arbeitsbereich für die Zusammenarbeit zwischen Data Scientists, Ingenieuren und Business Analysts.

Sie können Databricks Runtime for Machine Learning verwenden, um einen Databricks-Cluster mit allen Bibliotheken zu starten, die für verteilte Schulungen erforderlich sind. Dieses Feature bietet eine Umgebung für maschinelles Lernen und Data Science. Es enthält mehrere beliebte Bibliotheken, darunter TensorFlow, PyTorch, Keras und XGBoost. Es unterstützt auch verteiltes Training über Horovod.

Weitere Informationen finden Sie in den folgenden Ressourcen:

Apache Spark in Azure HDInsight

Apache Spark in Azure HDInsight ist die Microsoft-Implementierung von Apache Spark in der Cloud. Spark-Cluster in HDInsight sind mit Azure Storage und Azure Data Lake Storage kompatibel, sodass Sie HDInsight Spark-Cluster verwenden können, um Daten zu verarbeiten, die Sie in Azure speichern.

SynapseML, früher als MMLSpark bekannt, ist die Microsoft Machine Learning Library für Apache Spark. Diese Open-Source-Bibliothek ergänzt das Spark-Ökosystem um viele Deep Learning- und Data Science-Tools, Netzwerkfunktionen und Leistung auf Produktionsqualität.

Weitere Informationen finden Sie in den folgenden Ressourcen:

Datenspeicher für KI

Sie können die folgenden Plattformen verwenden, um große Datenmengen effizient zu speichern, darauf zuzugreifen und diese zu analysieren.

Fabric OneLake

OneLake in Fabric ist ein einheitlicher und logischer Datensee, den Sie auf Ihre gesamte Organisation anpassen können. Sie dient als zentraler Hub für alle Analysedaten und ist in jedem Fabric-Mandanten enthalten. OneLake in Fabric basiert auf der Grundlage von Data Lake Storage.

OneLake in Fabric:

  • unterstützt strukturierte und unstrukturierte Dateitypen.
  • Speichert alle tabellarischen Daten im Delta-Parquet Format.
  • stellt einen einzelnen Data Lake innerhalb von Mandantengrenzen bereit, der standardmäßig gesteuert wird.
  • Unterstützt die Erstellung von Arbeitsbereichen innerhalb eines Mandanten, sodass Ihre Organisation Besitz- und Zugriffsrichtlinien verteilen kann.
  • unterstützt die Erstellung verschiedener Datenelemente, z. B. Lakehouses und Warehouses, über die Sie auf Daten zugreifen können.

Weitere Informationen finden Sie unter OneLake, das OneDrive für Daten.

Data Lake Storage

Data Lake Storage ist ein zentrales Repository, in dem Sie Ihre strukturierten und unstrukturierten Daten speichern können. Verwenden Sie einen Data Lake, um schnell und einfach eine Vielzahl von Daten an einem zentralen Ort zu speichern, darauf zuzugreifen und diese zu analysieren. Sie müssen Ihre Daten nicht an eine vorhandene Struktur anpassen. Stattdessen können Sie Ihre Daten im rohen oder nativen Format speichern, in der Regel als Dateien oder als binäre große Objekte oder Blobs.

Data Lake Storage bietet Dateisystemsemantik, Sicherheit auf Dateiebene und Skalierung. Da diese Funktionen auf Azure Blob Storage basieren, erhalten Sie auch kostengünstigen, mehrstufigen Speicher mit hoher Verfügbarkeit und Notfallwiederherstellung.

Data Lake Storage verwendet die Infrastruktur von Azure Storage, um eine Grundlage für die Erstellung von Unternehmensdatenseen in Azure zu schaffen. Data Lake Storage kann mehrere Petabytes an Informationen bereitstellen und gleichzeitig Hunderte von Gigabit-Durchsatz erhalten, sodass Sie massive Datenmengen verwalten können.

Weitere Informationen finden Sie in den folgenden Ressourcen:

Datenverarbeitung für KI

Sie können die folgenden Tools verwenden, um Daten für maschinelles Lernen und KI-Anwendungen vorzubereiten. Stellen Sie sicher, dass Ihre Daten sauber und strukturiert sind, damit Sie sie für erweiterte Analysen verwenden können.

Fabric Data Factory

Mit Fabric Data Factory können Sie Daten aus mehreren Datenquellen aufnehmen, vorbereiten und transformieren, z. B. Datenbanken, Data Warehouses, Lakehouses und Echtzeitdatenströme. Dieser Dienst kann Ihnen helfen, Ihre Anforderungen an Datenvorgänge zu erfüllen, wenn Sie Arbeitslasten gestalten.

Fabric Data Factory unterstützt Codelösungen und No-Code- oder Low-Code-Lösungen:

  • Verwenden Sie Datenpipelinen, um Workflowfunktionen im Cloudmaßstab zu erstellen. Verwenden Sie die Drag-and-Drop-Schnittstelle, um Workflows zu erstellen, die Ihren Datenfluss aktualisieren, Petabyte-Größendaten verschieben und Kontrollflusspipelinen definieren können.

  • Verwenden Sie Datenflows als low-code Schnittstelle, um Daten aus Hunderten von Datenquellen einzubinden und mit Hilfe von über 300 Datentransformationen zu transformieren.

Weitere Informationen finden Sie unter End-to-End-Szenario von Data Factory: Einführung und Architektur.

Azure Databricks

Mithilfe der Databricks Data Intelligence Platform können Sie Code schreiben, um einen Machine Learning-Workflow mithilfe von Feature Engineering zu erstellen. Feature engineering ist der Prozess der Transformation von Rohdaten in Features, die Sie zum Trainieren von Machine Learning-Modellen verwenden können. Databricks Data Intelligence Platform umfasst wichtige Features, die Feature engineering unterstützen:

  • Datenpipelines nehmen Rohdaten auf, erstellen Featuretabellen, trainieren Modelle und führen Batch-Inferenz durch. Wenn Sie Feature Engineering im Unity-Katalog verwenden, um ein Modell zu trainieren und zu protokollieren, wird das Modell mit Featuremetadaten verpackt. Wenn Sie das Modell für Batchbewertungen oder Onlinerückschlüsse verwenden, ruft es automatisch Featurewerte ab. Der Aufrufer muss sich nicht über die Werte informieren oder Logik zum Nachschlagen oder Verknüpfen von Features enthalten, um neue Daten zu ermitteln.

  • Modell- und Funktions-Serving-Endpunkte sind sofort zugreifbar und bieten eine Latenzzeit von Millisekunden.

  • Monitoring hilft, die Leistung und Genauigkeit von Daten und Modellen sicherzustellen.

Sie können auch Mosaik AI Vector Search verwenden, um Einbettungen zu speichern und abzurufen. Einbettungen sind für Anwendungen von entscheidender Bedeutung, die Ähnlichkeitssuchen erfordern, z. B. RAG, Empfehlungssysteme und Bilderkennung.

Weitere Informationen finden Sie unter Azure Databricks: Bereitstellen von Daten für maschinelles Lernen und KI-.

Datenconnectors für KI

Azure Data Factory- und Azure Synapse Analytics-Pipelines unterstützen viele Datenspeicher und Formate über Kopieren, Datenfluss, Nachschlagen, Abrufen von Metadaten und Löschen von Aktivitäten. Informationen zu den verfügbaren Datenbank-Connectors, den unterstützten Funktionen, einschließlich entsprechender Konfigurationen und generischen Open Database Connectivity-Optionen, finden Sie unter Übersicht der Azure Data Factory- und Azure Synapse Analytics-Connectors.

Benutzerdefinierte KI

Benutzerdefinierte KI-Lösungen helfen Ihnen bei der Bewältigung bestimmter Geschäftlicher Anforderungen und Herausforderungen. In den folgenden Abschnitten finden Sie eine Übersicht über verschiedene Tools und Dienste, mit denen Sie benutzerdefinierte KI-Modelle erstellen und verwalten können.

Azure Machine Learning

Azure Machine Learning ist ein Clouddienst zum Beschleunigen und Verwalten des Lebenszyklus von Machine Learning-Projekten: Machine Learning-Experten, Data Scientists und Ingenieure können diesen Dienst in ihren täglichen Workflows verwenden, um Modelle zu trainieren und bereitzustellen und maschinelle Lernvorgänge zu verwalten.

Machine Learning bietet die folgenden Funktionen:

  • Algorithmusauswahl: Einige Algorithmen machen bestimmte Annahmen über die Datenstruktur oder die gewünschten Ergebnisse. Wählen Sie einen Algorithmus aus, der Ihren Anforderungen entspricht, damit Sie nützlichere Ergebnisse, genauere Vorhersagen und schnellere Trainingszeiten erhalten können. Weitere Informationen finden Sie unter Auswählen von Algorithmen für machine Learning.

  • Hyperparametertuning oder -optimierung: Sie können diesen manuellen Prozess verwenden, um Hyperparameterkonfigurationen zu finden, die zur besten Leistung führen. Diese Optimierung verursacht erhebliche Rechenkosten. Hyperparameter sind anpassbare Parameter, die die Steuerung im Modellschulungsprozess bieten. Sie können z. B. die Anzahl der ausgeblendeten Ebenen und die Anzahl der Knoten in jeder Ebene neuronaler Netzwerke auswählen. Die Modellleistung hängt stark von Hyperparametern ab.

    Sie können Machine Learning verwenden, um die Hyperparameteroptimierung zu automatisieren und Experimente parallel auszuführen, um Hyperparameter effizient zu optimieren.

    Weitere Informationen finden Sie in den folgenden Ressourcen:

  • Modell-Training: Sie können iterativ einen Algorithmus verwenden, um Modelle zu erstellen oder zu trainieren. Nachdem Modelle trainiert wurden, können Sie sie verwenden, um Daten zu analysieren und Vorhersagen zu erstellen.

    Während der Schulungsphase:

    1. Ein Qualitätssatz bekannter Daten wird markiert, sodass einzelne Felder identifizierbar sind.

    2. Ein Algorithmus, der so konfiguriert ist, um eine bestimmte Vorhersage zu treffen, empfängt die markierten Daten.

    3. Der Algorithmus gibt ein Modell aus, das die muster erfasst, die er in den Daten identifiziert hat. Das Modell verwendet eine Reihe von Parametern, um diese Muster darzustellen.

    Während der Überprüfung:

    1. Frische Daten werden markiert und zur Überprüfung des Modells verwendet.

    2. Der Algorithmus wird nach Bedarf angepasst und kann möglicherweise mehr Training benötigen.

    3. In der Testphase werden reale Daten ohne Tags oder vorgewählte Ziele verwendet. Wenn die Ergebnisse des Modells korrekt sind, ist es einsatzbereit und kann bereitgestellt werden.

    Weitere Informationen finden Sie in den folgenden Ressourcen:

  • AutoML: Dieser Prozess automatisiert die zeitaufwendigen iterativen Aufgaben der Machine Learning-Modellentwicklung. Es kann die Zeit, die es benötigt, um produktionsbereite Machine Learning-Modelle zu produzieren, erheblich reduzieren. AutoML kann die Modellauswahl, Hyperparameteroptimierung, Modellschulung und andere Aufgaben unterstützen, ohne dass umfangreiche Programmier- oder Domänenkenntnisse erforderlich sind.

    Sie können AutoML verwenden, wenn Machine Learning eine angegebene Zielmetrik zum Trainieren und Optimieren eines Modells verwenden soll. Sie benötigen keine Data Science-Expertise, um eine End-to-End-Machine Learning-Pipeline für Probleme zu identifizieren.

    Machine Learning-Experten und Entwickler in allen Branchen können AutoML für Folgendes verwenden:

    • Implementieren Sie Machine Learning-Lösungen ohne umfangreiche Programmier- oder Machine Learning-Kenntnisse.
    • Sparen Sie Zeit und Ressourcen.
    • Wenden Sie bewährte Methoden für Data Science an.
    • Bieten Sie agile Problemlösungen.

    Weitere Informationen finden Sie unter Was ist AutoML?.

  • Bewertung: Dieser Prozess, auch als Vorhersage bezeichnet, verwendet ein trainiertes Machine Learning-Modell, um Werte basierend auf neuen Eingabedaten zu generieren. Die Werte oder Bewertungen können Vorhersagen zukünftiger Werte darstellen, aber sie können auch eine wahrscheinliche Kategorie oder ein Ergebnis darstellen.

    Weitere Informationen finden Sie in den folgenden Ressourcen:

  • Feature Engineering und Featurisierung: Trainingsdaten bestehen aus Zeilen und Spalten. Jede Zeile ist eine Beobachtung oder ein Datensatz, und die Spalten jeder Zeile sind die Features, mit denen die einzelnen Datensätze beschrieben werden. In der Regel werden zum Erstellen von Vorhersagemodellen die Features ausgewählt, die die Muster in den Daten am besten beschreiben.

Obwohl Sie viele der Rohdatenfelder verwenden können, um ein Modell zu trainieren, müssen Sie möglicherweise andere technische Features erstellen, die Informationen bereitstellen, um Muster in den Daten besser zu unterscheiden. Dieser Prozess wird als Feature-Engineering bezeichnet, bei dem Sie Domänenkenntnisse der Daten verwenden, um Features zu erstellen, die maschinelle Lernalgorithmen helfen, besser zu lernen.

In Machine Learning werden Datenskalierungs- und Normalisierungstechniken angewendet, um das Feature Engineering zu vereinfachen. Zusammengenommen werden diese Techniken und das Feature-Engineering in AutoML-Experimenten als Featurierung bezeichnet. Weitere Informationen finden Sie unter Daten-Featurisierung in automatisiertem maschinellen Lernen.

Azure OpenAI

In Azure OpenAI können Sie einen als Feintuning bekannten Prozess nutzen, um OpenAI-Modelle an Ihre personenbezogenen Datasets anzupassen. Mit diesem Anpassungsschritt wird der Dienst optimiert, indem Folgendes bereitgestellt wird:

  • Höhere Qualität der Ergebnisse im Vergleich zu Prompt-Engineering.
  • Die Möglichkeit, mehr Beispiele zu trainieren, als die maximale Anforderungskontextgrenze eines Modells in der Regel zulässt.
  • Token-Einsparungen durch kürzere Prompts.
  • Anforderungen mit geringerer Latenz, insbesondere wenn Sie kleinere Modelle verwenden.

Weitere Informationen finden Sie in den folgenden Ressourcen:

Azure AI-Dienste für benutzerdefinierte KI

Azure AI-Dienste bietet Features zum Erstellen benutzerdefinierter KI-Modelle und -Anwendungen. In den folgenden Abschnitten finden Sie eine Übersicht über diese wichtigsten Features.

Custom Speech

Benutzerdefinierte Spracherkennung ist ein Feature des Azure AI Speech-Diensts. Sie können benutzerdefinierte Spracherkennung verwenden, um die Genauigkeit der Spracherkennung für Ihre Anwendungen und Produkte zu bewerten und zu verbessern. Verwenden Sie ein benutzerdefiniertes Sprachmodell für Echtzeit-Spracherkennung, Sprachübersetzung sowie Batch-Transkription.

Standardmäßig verwendet die Spracherkennung ein universelles Sprachmodell als Basismodell. Dieses Modell wird mit Microsoft-eigenen Daten trainiert und spiegelt häufig verwendete gesprochene Sprache wider. Das Basismodell ist vortrainiert mit Dialekten und Phonetik, die verschiedene gemeinsame Domänen darstellen. Wenn Sie eine Spracherkennungsanforderung vornehmen, wird standardmäßig das neueste Basismodell für Ihre unterstützte Sprache verwendet. Das Basismodell funktioniert in den meisten Spracherkennungsszenarien gut.

Sie können ein benutzerdefiniertes Modell verwenden, um das Basismodell zu erweitern. So können Sie beispielsweise die Erkennung domänenspezifischer Vokabular verbessern, das für eine Anwendung spezifisch ist, indem Sie Textdaten bereitstellen, um das Modell zu trainieren. Sie können auch die Erkennung für bestimmte Audiobedingungen einer Anwendung verbessern, indem Sie Audiodaten bereitstellen, einschließlich Referenztranskriptionen.

Wenn die Daten einem Muster folgen, können Sie strukturierten Text verwenden, um ein Modell zu trainieren. Sie können benutzerdefinierte Aussprachen angeben und die Anzeigetextformatierung mit benutzerdefinierter umgekehrter Textnormalisierung, benutzerdefinierter Umschreibung und benutzerdefinierter Profanitätsfilterung anpassen.

Benutzerdefinierter Übersetzer

Benutzerdefinierter Übersetzer ist ein Feature des Azure AI Translator Dienstes. Unternehmen, App-Entwickler und Sprachdienstanbieter können benutzerdefinierte Übersetzer verwenden, um benutzerdefinierte systeme für maschinelle Übersetzungen (Neural Machine Translation, NMT) zu erstellen. Das angepasste Übersetzungssystem wird nahtlos in vorhandene Anwendungen, Workflows und Websites integriert.

Sie können dieses Feature verwenden, um benutzerdefinierte Übersetzungssysteme in und aus Englisch zu erstellen und zu veröffentlichen. Der benutzerdefinierte Übersetzer unterstützt mehr als drei Dutzend Sprachen, die direkt den Sprachen für NMT zugeordnet sind. Eine vollständige Liste der Sprachen finden Sie unter Übersetzer-Sprachunterstützung.

Benutzerdefinierte Übersetzer bietet die folgenden Features.

Funktion BESCHREIBUNG
Anwendung der NMT-Technologie Wenden Sie NMT vom benutzerdefinierten Übersetzer an, um Ihre Übersetzung zu verbessern.
Erstellen von Systemen, die Ihre Geschäftsterminologie kennen Passen Sie Übersetzungssysteme an und erstellen Sie sie, indem Sie parallelle Dokumente verwenden, die die Terminologie in Ihrem Unternehmen und Ihrer Branche verstehen.
Verwenden eines Wörterbuchs zum Erstellen Ihrer Modelle Trainieren Sie ein Modell nur mit Wörterbuchdaten, wenn Sie nicht über ein Schulungsdatenset verfügen.
Zusammenarbeit mit anderen Benutzern Arbeiten Sie mit Ihrem Team zusammen, indem Sie Ihre Arbeit mit verschiedenen Personen teilen.
Zugriff auf Ihr benutzerdefiniertes Übersetzungsmodell Greifen Sie jederzeit auf Ihr benutzerdefiniertes Übersetzungsmodell zu, indem Sie Ihre vorhandenen Anwendungen oder Programme über die Microsoft Translator Text-API V3 verwenden.

Benutzerdefinierte Azure AI Document Intelligence-Modelle

Azure AI Document Intelligence verwendet erweiterte Maschinelle Lerntechnologie, um Dokumente zu identifizieren, Informationen aus Formularen und Dokumenten zu erkennen und zu extrahieren und die extrahierten Daten in einer strukturierten JSON-Ausgabe zurückzugeben. Verwenden Sie Document Intelligence, um vorkonfigurierte oder vortrainierte Dokumentanalysemodelle zu nutzen oder eigenständige benutzerdefinierte Modelle zu trainieren.

benutzerdefinierte Dokumentintelligenzmodelle benutzerdefinierte Klassifizierungsmodelle für Szenarien einschließen, in denen Sie den Dokumenttyp identifizieren müssen, bevor Sie das Extraktionsmodell aufrufen. Sie können ein Klassifizierungsmodell mit einem benutzerdefinierten Extraktionsmodell koppeln, um Felder aus Formularen und Dokumenten zu analysieren und zu extrahieren, die für Ihr Unternehmen spezifisch sind. Kombinieren Sie eigenständige, angepasste Extraktionsmodelle, um zusammengesetzte Modelle zu erstellen.

Benutzerdefinierte KI-Tools

Vorgefertigte KI-Modelle sind nützlich und zunehmend flexibel, aber die beste Möglichkeit zur Optimierung von KI besteht darin, ein Modell an Ihre spezifischen Anforderungen anzupassen. Zwei primäre Tools zum Erstellen benutzerdefinierter KI-Modelle sind generative KI und traditionelles maschinelles Lernen.

Azure Machine Learning Studio

Azure Machine Learning Studio ist ein Clouddienst zum Beschleunigen und Verwalten des Machine Learning-Projektlebenszyklus. Machine Learning-Experten, Data Scientists und Ingenieure können es in ihren täglichen Workflows verwenden, um Modelle zu trainieren und bereitzustellen und Machine Learning-Vorgänge zu verwalten.

  • Erstellen und trainieren Sie Machine Learning-Modelle mithilfe eines beliebigen Computetyps, einschließlich Spark und GPUs für große KI-Workloads im Cloudmaßstab.

  • Führen Sie AutoML aus, und verwenden Sie die Drag-and-Drop-Ui für maschinelles Lernen mit geringem Code.

  • Implementieren Sie End-to-End Machine Learning-Vorgänge und wiederholbare Pipelines.

  • Verwenden Sie das verantwortliche KI-Dashboard für die Bias-Erkennung und Fehleranalyse.

  • Orchestrieren und verwalten Sie das Design von Prompts und LLM-Abläufe.

  • Stellen Sie Modelle über REST-API-Endpunkte, Echtzeit-Rückschlüsse und Batch-Ableitung bereit.

  • Verwenden Sie Hub-Arbeitsbereiche, um Rechenleistung, Kontingente, Sicherheit und Konnektivität für Unternehmensressourcen gemeinsam zu nutzen und gleichzeitig die Governance für die IT zu zentralisieren. Richten Sie einmal einen Hub ein, und erstellen Sie dann sichere Arbeitsbereiche direkt aus dem Studio für jedes Projekt. Verwenden Sie Hubs, um die Arbeit Ihres Teams im Studio und im AI Foundry-Portal zu verwalten.

AI Foundry

AI Foundry hilft Ihnen, benutzerdefinierte generative KI-Anwendungen effizient zu erstellen und bereitzustellen, indem Sie die Leistungsfähigkeit umfassender Azure AI-Angebote nutzen.

  • Erstellen Sie gemeinsam im Team. Ihr KI Foundry Hub bietet Sicherheit auf Unternehmensniveau und eine Kollaborative Umgebung, die gemeinsam genutzte Ressourcen und Verbindungen zu vortrainierten Modellen, Daten und Compute umfasst.

  • Organisieren Sie Ihre Arbeit. Ihr AI Foundry-Projekt hilft Ihnen, den Zustand zu speichern, damit Sie von der ersten Idee bis zum ersten Prototyp und der ersten Produktionsbereitstellung durchlaufen können. Laden Sie andere Personen ganz einfach ein, mit Ihnen zusammenzuarbeiten.

  • Verwenden Sie Ihre bevorzugte Entwicklungsplattform und Frameworks, einschließlich GitHub, Visual Studio Code, LangChain, Semantic Kernel und AutoGen.

  • Entdecken und vergleichen Sie aus über 1.600 Modellen.

  • Bereitstellen von Modellen als Dienst (MaaS) über serverlose APIs und gehostete Feinabstimmung.

  • Integrieren Sie mehrere Modelle, Datenquellen und Modalitäten.

  • Erstellen Sie RAG mithilfe Ihrer geschützten Unternehmensdaten, ohne dass eine Feinabstimmung erforderlich ist.

  • Orchestrieren und verwalten Sie das Design von Prompts und LLM-Abläufe.

  • Entwerfen und Schützen von Apps und APIs über konfigurierbare Filter und Steuerelemente.

  • Bewerten von Modellantworten mithilfe integrierter und benutzerdefinierter Auswertungsflüsse.

  • Stellen Sie KI-Innovationen in der azure-verwalteten Infrastruktur bereit, um eine kontinuierliche Überwachung und Governance in allen Umgebungen bereitzustellen.

  • Überwachen Sie bereitgestellte Apps fortlaufend auf Sicherheit, Qualität und Token-Verbrauch in der Produktion.

Weitere Informationen finden Sie unter AI Foundry-Portal im Vergleich zum Machine Learning Studio.

Prompt Flow im KI Foundry Portal

Prompt-Flow im AI Foundry-Portal ist ein Entwicklungstool, mit dem Sie den gesamten Entwicklungszyklus von KI-Anwendungen, die von LLMs unterstützt werden, effizienter gestalten können. Prompt flow bietet eine umfassende Lösung, die den Prozess der Prototyperstellung, des Experimentierens, Durchlaufens und Bereitstellens Ihrer KI-Anwendungen vereinfacht.

  • Prompt Flow ist eine Funktion, mit der Sie einen Flow generieren, anpassen oder ausführen können.

  • Ein Fluss ist ein Anweisungssatz, der KI-Logik implementieren kann. Erstellen oder Ausführen von Abläufen über Tools wie einer vordefinierten Canvas oder LangChain. Sie können Iterationen eines Flusses als Ressourcen speichern. Nachdem Sie einen Fluss bereitgestellt haben, wird er zu einer API. Nicht alle Flows sind Prompt Flows. Ein Prompt Flow ist eine Möglichkeit, einen Flow zu erstellen.

  • Eine Eingabeaufforderung ist ein Eingabepaket, das an ein Modell gesendet wird. Sie besteht aus der Benutzereingabe, der Systemmeldung und allen Beispielen. Die Benutzereingabe ist Text, der im Chatfenster übermittelt wird. Die Systemmeldung ist eine Reihe von Anweisungen für das Modell, das sein Verhalten und seine Funktionalität eingrenzt.

  • Ein Beispielfluss ist ein einfacher, vordefinierter Orchestrierungsfluss, der zeigt, wie Flüsse funktionieren. Sie können einen Beispielfluss anpassen.

  • Eine Beispielaufforderung ist eine definierte Eingabeaufforderung für ein bestimmtes Szenario, das Sie aus einer Bibliothek kopieren und as-is verwenden oder im Eingabeaufforderungsentwurf ändern können.

Benutzerdefinierte KI-Codesprachen

Das Kernkonzept der KI ist die Verwendung von Algorithmen, um Daten zu analysieren und Modelle zu generieren, um sie auf nützliche Weise zu beschreiben oder zu bewerten. Entwickler und Data Scientists verwenden Programmiercode zum Schreiben von Algorithmen, wobei manchmal auch andere Algorithmen genutzt werden. Zwei der beliebtesten Programmiersprachen für die KI-Entwicklung sind Python und R.

Python ist eine höhere Programmiersprache für allgemeine Zwecke. Sie zeichnet sich durch eine einfache, leicht zu erlernende Syntax aus, die betont lesbar ist. Es gibt keinen Kompilierungsschritt. Python verfügt über eine große Standardbibliothek und unterstützt die Möglichkeit, Module und Pakete hinzuzufügen. Dieses Feature fördert die Modularität und ermöglicht es Ihnen, Die Funktionen bei Bedarf zu erweitern. Es gibt ein großes und wachsendes Ökosystem von KI- und Machine Learning-Bibliotheken für Python, darunter viele in Azure.

Weitere Informationen finden Sie in den folgenden Ressourcen:

R ist eine Sprache und Umgebung für statistische Berechnungen und Grafiken. Sie können es für alles verwenden, von der Zuordnung umfassender Social- und Marketingtrends online bis hin zur Entwicklung von Finanz- und Klimamodellen.

Microsoft umfasst die R-Programmiersprache vollständig und bietet R-Entwicklern viele Optionen, um ihren Code in Azure auszuführen.

Weitere Informationen finden Sie unter Interaktives Verwenden von R für machine Learning.

Allgemeine Informationen zu benutzerdefinierter KI in Azure finden Sie in den folgenden Ressourcen:

Kundenstimmen

Viele Branchen wenden KI auf innovative und inspirierende Weise an. Betrachten Sie die folgenden Kundenfallstudien und Erfolgsgeschichten:

Weitere Kundenstimmen

Allgemeine Informationen zu Microsoft AI

Erfahren Sie mehr über Microsoft AI und bleiben Sie mit verwandten Neuigkeiten auf dem laufenden:

Nächster Schritt