Partager via

Conception de l’architecture d’intelligence artificielle (IA)

  • Article

L’intelligence artificielle (IA) est une technologie qui permet aux machines d’imiter le comportement humain intelligent. Avec l’IA, les machines peuvent :

  • Analysez les données pour créer des images et des vidéos.
  • Analyser et synthétiser la voix.
  • Interagir verbalement de manière naturelle.
  • Effectuez des prédictions et générez de nouvelles données.

Les architectes conçoivent des charges de travail qui utilisent l’intelligence artificielle pour effectuer des fonctions ou prendre des décisions où la logique ou le traitement traditionnel serait prohibitif, voire presque impossible, à implémenter. En tant qu’architecte concevant une solution, il est important de comprendre le paysage ia et machine learning et comment Azure propose des solutions à intégrer à votre conception de charge de travail.

Concepts de l’intelligence artificielle

Algorithmes

Les algorithmes ou algorithmes de Machine Learning sont des éléments de code qui aident les humains à explorer, analyser et trouver une signification dans des jeux de données complexes. Chaque algorithme est un ensemble limité d’instructions pas à pas non ambiguës qu’un ordinateur peut suivre pour atteindre un certain objectif. Dans un modèle Machine Learning, l’objectif est d’établir ou de découvrir des modèles que les humains peuvent utiliser pour effectuer des prédictions ou classer des informations. Un algorithme peut décrire comment déterminer si un animal de compagnie est un chat, un chien, un poisson, un oiseau ou un lézard. Un autre algorithme bien plus complexe peut décrire comment identifier un langage écrit ou parlé, analyser ses mots, les traduire dans une langue différente, puis vérifier la précision de la traduction.

Lorsque vous concevez une charge de travail, vous devez sélectionner une famille d’algorithmes adaptée à votre tâche et évaluer les différents algorithmes disponibles pour trouver l’ajustement approprié.

Machine Learning

Le Machine Learning est une technique IA qui utilise des algorithmes pour créer des modèles prédictifs. L’algorithme est utilisé pour analyser les champs de données et pour « apprendre » de ces données à l’aide de modèles trouvés dans celui-ci pour générer des modèles. Ces modèles sont ensuite utilisés pour établir des prédictions ou des décisions informées sur de nouvelles données.

Les modèles prédictifs sont validés par rapport aux données connues, mesurés par des mesures de performances sélectionnées pour des scénarios d’entreprise spécifiques, puis ajustés en fonction des besoins. Ce processus d’apprentissage et de validation est appelé formation. Grâce à la reformation périodique, les modèles ML sont améliorés au fil du temps.

En ce qui concerne la conception de la charge de travail, vous envisagez d’utiliser le Machine Learning lorsque vous avez une situation où les observations passées peuvent être utilisées de manière fiable pour prédire les situations futures. Ces observations peuvent être des vérités universelles telles que la vision par ordinateur qui détecte une forme d’animal d’une autre, ou ces observations peuvent être spécifiques à votre situation telle que la vision par ordinateur qui détecte une erreur d’assemblage potentielle sur vos lignes d’assemblage en fonction des données de revendication de garantie passées.

Apprentissage approfondi

Le Deep Learning est un type de ML qui peut apprendre par le biais de son propre traitement des données. Comme le Machine Learning, il utilise également des algorithmes pour analyser des données, mais il utilise des réseaux neuronaux artificiels qui contiennent de nombreuses entrées, sorties et couches de traitement. Chaque couche peut traiter les données de manière différente, et la sortie d’une couche devient l’entrée pour la suivante. Cela permet au Deep Learning de créer des modèles plus complexes que le Machine Learning traditionnel.

En tant que concepteur de charge de travail, cette option nécessite un investissement important dans la génération de modèles hautement personnalisés ou exploratoires. En règle générale, vous allez envisager d’autres solutions présentées dans cet article avant d’ajouter un deep learning à votre charge de travail.

IA générative

L’IA générative est une forme d’intelligence artificielle dans laquelle les modèles sont formés pour générer un nouveau contenu d’origine basé sur de nombreuses formes de contenu tels que le langage naturel, la vision par ordinateur, l’audio ou l’entrée d’image. Avec l’IA générative, vous pouvez décrire une sortie souhaitée dans une langue quotidienne normale, et le modèle peut répondre en créant un texte, une image, un code approprié, etc. Voici quelques exemples d’applications IA génératives :

  • Microsoft Copilot est principalement une interface utilisateur qui peut aider les utilisateurs à écrire du code, des documents et d’autres contenus textuels. Elle est basée sur des modèles OpenAI populaires et est intégrée à un large éventail d’applications Microsoft et d’expériences utilisateur.

  • Azure OpenAI est une plateforme de développement en tant que service qui permet d’accéder aux modèles de langage puissants d’OpenAI tels qu’o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo avec Vision, GPT-4, GPT-3.5-Turbo et les séries de modèles Embeddings. Ces modèles peuvent être adaptés à votre tâche spécifique, par exemple :

    • Génération de contenu
    • Résumé du contenu
    • Compréhension d’image
    • Recherche sémantique
    • Langage naturel pour la traduction de code.

Modèles de langage

Les modèles de langage sont un sous-ensemble de l’IA générative qui se concentre sur les tâches de traitement du langage naturel (NLP), telles que la génération de texte et l’analyse des sentiments. Ces modèles représentent le langage naturel en fonction de la probabilité de mots ou de séquences de mots qui apparaissent dans un contexte donné.

Les modèles de langage conventionnel ont été utilisés dans des paramètres supervisés à des fins de recherche où les modèles sont formés sur des jeux de données de texte bien étiquetés pour des tâches spécifiques. Les modèles de langage préentraînés offrent un moyen accessible de commencer à utiliser l’IA et sont devenus plus largement utilisés ces dernières années. Ces modèles sont formés sur des corporatations de texte à grande échelle à partir d’Internet à l’aide de réseaux neuronaux d’apprentissage profond et peuvent être affinés sur des jeux de données plus petits pour des tâches spécifiques.

La taille d’un modèle de langage est déterminée par son nombre de paramètres ou de pondérations, qui déterminent la façon dont le modèle traite les données d’entrée et génère la sortie. Les paramètres sont appris pendant le processus d’apprentissage en ajustant les pondérations au sein des couches du modèle pour réduire la différence entre les prédictions du modèle et les données réelles. Plus un modèle a de paramètres, plus il est complexe et expressif, mais aussi plus il est coûteux en calcul pour son apprentissage et son utilisation.

En général, les petits modèles de langage ont moins de 10 milliards de paramètres, les modèles de langage volumineux ont plus de 10 milliards de paramètres. Par exemple, la famille de modèles Microsoft Phi-3 a trois versions avec des tailles différentes : mini (3,8 milliards de paramètres), petite (7 milliards de paramètres) et moyenne (14 milliards de paramètres).

Copilotes

La disponibilité des modèles linguistiques a conduit à l’émergence de nouvelles façons d’interagir avec les applications et les systèmes par le biais de copilotes numériques et connectés, propres à un domaine, à des agents. Les copilotes sont des assistants d’IA générative intégrés aux applications souvent en tant qu’interfaces de conversation. Ils fournissent une prise en charge contextuelle des tâches courantes dans ces applications.

Microsoft Copilot est intégré à un large éventail d’applications Microsoft et d’expériences utilisateur. Elle est basée sur une architecture ouverte qui permet aux développeurs tiers de créer leurs propres plug-ins pour étendre ou personnaliser l’expérience utilisateur avec Microsoft Copilot. En outre, les développeurs tiers peuvent créer leurs propres copilotes à l’aide de la même architecture ouverte.

Génération augmentée de récupération (RAG)

La récupération de génération augmentée (RAG) est un modèle d’architecture qui augmente les fonctionnalités d’un modèle de langage volumineux (LLM) comme ChatGPT, qui a été entraîné uniquement sur les données publiques. Ce modèle vous permet d’ajouter un système de récupération qui fournit des données de base pertinentes dans le contexte avec la demande de l’utilisateur. L’ajout d’un système de récupération d’informations vous permet de contrôler les données de base utilisées par un modèle de langage lorsqu’elle formule une réponse. L’architecture RAG vous permet d’étendre l’IA générative au contenu source de documents vectoriels, d’images et d’autres formats de données. RAG n’est pas limité au stockage de recherche vectorielle toutefois, le modèle s’applique conjointement avec toute technologie de magasin de données.

Machine Learning automatisé (AutoML)

Le Machine Learning automatisé, également appelé Machine Learning automatisé ou AutoML, est le processus d’automatisation des tâches itératives et fastidieuses du développement de modèles Machine Learning. Il permet aux chercheurs de données, analystes et développeurs de créer des modèles ML à grande échelle, efficaces et productifs, tout en maintenant la qualité du modèle.

Services d’intelligence artificielle

Avec les développeurs et organisations azure AI, les développeurs et les organisations peuvent créer des applications intelligentes, prêtes pour le marché et responsables avec des API et des modèles prêts à l’emploi, prédéfinis et personnalisables. Les utilisations incluent le traitement du langage naturel pour les conversations, la recherche, la surveillance, la traduction, la parole, la vision et la prise de décision.

Modèles de langage IA

  • Les modèles de langage volumineux (LLMs), tels que les modèles GPT d’OpenAI, sont des outils puissants qui peuvent générer du langage naturel dans différents domaines et tâches. Lorsque vous envisagez d’utiliser ces modèles, tenez compte de facteurs tels que la confidentialité des données, l’utilisation éthique, la précision et le biais.

  • Les modèles phi ouverts sont de petits modèles moins gourmands en calcul pour les solutions d’IA génératives. Un petit modèle de langage (SLM) peut être plus efficace, interprétable et expliqué qu’un modèle de langage volumineux.

Lors de la conception d’une charge de travail, vous pouvez utiliser des modèles linguistiques en tant que solution hébergée, derrière une API limitée ou pour de nombreux modèles de langage de petite taille, vous pouvez héberger ces modèles dans le processus ou au moins sur le même calcul que le consommateur. Lorsque vous utilisez des modèles de langage dans votre solution, tenez compte de votre choix de modèle de langage et de ses options d’hébergement disponibles pour garantir l’utilisation d’une solution optimisée pour votre cas d’usage.

Plateformes et outils de développement IA

Service Azure Machine Learning

Azure Machine Learning est un service Machine Learning pour créer et déployer des modèles. Azure Machine Learning offre des interfaces web et des kits SDK pour vous permettre d’entraîner et de déployer vos modèles et pipelines Machine Learning à grande échelle. Utilisez ces fonctionnalités avec des frameworks Python open source comme PyTorch, TensorFlow et scikit-learn.

Architectures de référence du Machine Learning pour Azure

Machine Learning automatisé (AutoML)

Créez des modèles ML à grande échelle à l’aide de la fonctionnalité AutoML dans Azure Machine Learning pour automatiser les tâches.

MLflow

Les espaces de travail Azure Machine Learning sont compatibles avec MLflow, ce qui signifie que vous pouvez utiliser un espace de travail Azure Machine Learning de la même façon que vous utilisez un serveur MLflow. Cette compatibilité présente les avantages suivants :

  • Azure Machine Learning n’héberge pas les instances de serveur MLflow, mais peut utiliser les API MLflow directement.
  • Vous pouvez utiliser un espace de travail Azure Machine Learning comme serveur de suivi pour du code MLflow, qu’il s’exécute ou non sur Azure Machine Learning. Vous devez uniquement configurer MLflow pour qu’il pointe vers l’espace de travail où le suivi doit se produire.
  • Vous pouvez exécuter n’importe quelle routine d’apprentissage qui utilise MLflow dans Azure Machine Learning sans apporter de modifications.

Pour plus d’informations, consultez MLflow et Azure Machine Learning

Outils d’IA générative

  • Le flux d’invite est une suite d’outils de développement conçus pour simplifier le cycle de développement de bout en bout des applications d’IA génératives, de l’idéetion, du prototypage, du test, de l’évaluation au déploiement et à la surveillance de production. Il prend en charge l’ingénierie rapide grâce à l’expression d’actions dans un moteur d’orchestration et de flux modulaire.

  • Azure AI Studio vous aide à expérimenter, développer et déployer des applications et DES API d’IA génératives de manière responsable avec une plateforme complète. Avec Azure AI Studio, vous avez accès aux services Azure AI, aux modèles de base, au terrain de jeu et aux ressources pour vous aider à créer, entraîner, ajuster et déployer des modèles IA. En outre, vous pouvez évaluer les réponses du modèle et orchestrer les composants d’application d’invite avec un flux d’invite pour de meilleures performances.

  • Azure Copilot Studio est utilisé pour étendre Microsoft Copilot dans Microsoft 365 et créer des copilotes personnalisés pour les scénarios internes et externes. Avec Copilot Studio, les utilisateurs peuvent concevoir, tester et publier des copilotes à l’aide du canevas de création complet. Les utilisateurs peuvent facilement créer des conversations génératives compatibles avec l’IA, fournir un meilleur contrôle aux réponses aux copilotes existants et accélérer la productivité avec des flux de travail automatisés spécifiques.

Plateformes de données pour l’IA

Microsoft Fabric

Microsoft Fabric est une plateforme d’analytique et de données de bout en bout conçue pour les entreprises ayant besoin d’une solution unifiée. Les équipes de charge de travail peuvent être autorisées à accéder aux données de ces systèmes. Elle englobe le déplacement, le traitement, l’ingestion, la transformation, le routage des événements en temps réel et la génération de rapports. Elle offre une suite complète de services, notamment l’ingénierie des données, les fabriques de données, la science des données, l’analytique en temps réel, les entrepôts de données et les bases de données.

Microsoft Fabric associe des composants distincts dans une pile cohérente. Au lieu de compter sur des bases de données ou entrepôts de données différents, vous pouvez centraliser le stockage des données avec OneLake. Les fonctionnalités d’IA sont incorporées dans Fabric, ce qui élimine la nécessité d’une intégration manuelle.

Copilotes dans Fabric

Copilot et d’autres fonctionnalités d’IA générative vous permettent de transformer et d’analyser des données, de générer des insights et de créer des visualisations et des rapports dans Microsoft Fabric et Power BI. Vous pouvez créer votre propre copilote ou choisir l’un des copilotes prédéfinis suivants :

Compétences ia dans Fabric

Avec une compétence d’IA Microsoft Fabric, vous pouvez configurer un système d’INTELLIGENCE artificielle générative pour générer des requêtes qui répondent à des questions sur vos données. Après avoir configuré la compétence IA, vous pouvez la partager avec vos collègues, qui peuvent ensuite poser leurs questions en anglais naturel. En fonction de leurs questions, l’IA génère des requêtes sur vos données pour y répondre.

Plateformes de données basées sur Apache Spark pour l’IA

Apache Spark est une infrastructure de traitement parallèle qui prend en charge le traitement en mémoire pour améliorer les performances des applications d’analytique du Big Data. Spark fournit des primitives pour le calcul de cluster en mémoire. Un travail Spark peut charger et mettre en cache des données en mémoire et les interroger à plusieurs reprises, ce qui est plus rapide que les applications basées sur disque, telles que Hadoop.

Apache Spark dans Azure Fabric

Microsoft Fabric Runtime est une plateforme intégrée à Azure basée sur Apache Spark qui permet l’exécution et la gestion d’expériences d’ingénierie et de science des données. Il combine des composants clés provenant de sources internes et open source, offrant ainsi aux clients une solution complète.

Principaux composants de Fabric Runtime :

  • Apache Spark – une puissante bibliothèque informatique distribuée open source qui permet des tâches de traitement et d’analyse de données à grande échelle. Apache Spark fournit une plateforme polyvalente et hautes performances pour les expériences d’ingénierie des données et de science des données.

  • Delta Lake : une couche de stockage open source qui apporte des transactions ACID et d’autres fonctionnalités de fiabilité des données à Apache Spark. Intégré à Fabric Runtime, Delta Lake améliore les capacités de traitement des données et garantit la cohérence des données sur plusieurs opérations simultanées.

  • Packages de niveau par défaut pour Java/Scala, Python et R – packages prenant en charge divers langages et environnements de programmation. Ces packages sont automatiquement installés et configurés, ce qui permet aux développeurs d’appliquer leurs langages de programmation préférés pour les tâches de traitement des données.

Microsoft Fabric Runtime repose sur un système d’exploitation open source robuste, ce qui garantit la compatibilité avec les exigences du système et de diverses configurations matérielles.

Azure Databricks Runtime pour le Machine Learning

Azure Databricks est une plateforme d’analytique basée sur Apache Spark installée en un seul clic qui offre des workflows rationalisés et un espace de travail interactif de collaboration entre scientifiques des données, ingénieurs et analystes métier.

Databricks Runtime pour le Machine Learning (Databricks Runtime ML) vous permet de démarrer un cluster Databricks avec toutes les bibliothèques requises pour la formation distribuée. Il fournit un environnement pour le Machine Learning et la science des données. En outre, il contient plusieurs bibliothèques connues, notamment TensorFlow, PyTorch, Keras et XGBoost. Il prend également en charge l’entraînement distribué avec Horovod.

Apache Spark dans Azure HDInsight

Apache Spark dans Azure HDInsight est l’implémentation Microsoft d’Apache Spark dans le cloud. Les clusters Spark dans HDInsight étant compatibles avec le stockage Azure et Azure Data Lake Storage, vous pouvez utiliser des clusters HDInsight Spark pour traiter vos données stockées dans Azure.

La Microsoft machine learning library pour Apache Spark est SynapseML (autrefois appelée MMLSpark). Cette bibliothèque open source ajoute de nombreux outils de Deep Learning et de science des données, des fonctionnalités de mise en réseau et des performances de niveau de production à l’écosystème Spark. En savoir plus sur les fonctionnalités et capacités SynapseML.

Stockage de données pour l’IA

Microsoft Fabric OneLake

OneLake dans Fabric est un lac de données logique et unifié conçu pour l’ensemble de l’organisation. Il sert de hub central pour toutes les données analytiques et est inclus avec chaque tenant de Microsoft Fabric. OneLake dans Fabric est basé sur la fondation de Data Lake Storage Gen2.

OneLake dans Fabric :

  • Prend en charge les types de fichiers structurés et non structurés.
  • Stocke toutes les données tabulaires au format Delta Parquet.
  • Fournit un lac de données unique dans les limites du tenant, gouverné par défaut.
  • Prend en charge la création d’espaces de travail au sein d’un tenant afin qu’une organisation puisse distribuer la propriété et les politiques d’accès.
  • Prend en charge la création de divers éléments de données, tels que des lakehouses et des entrepôts, à partir desquels vous pouvez accéder aux données.

Pour plus d'informations, consultez OneLake, le OneDrive des données.

Azure Data Lake Storage Gen2

Azure Data Lake Storage est un référentiel centralisé unique où vous pouvez stocker toutes vos données, structurées et non structurées. Un lac de données permet à votre organisation de stocker, d’accéder et d’analyser rapidement et facilement un large éventail de données dans un même emplacement. Avec un lac de données, vous n’avez pas besoin de vous conformer à vos données pour les adapter à une structure existante. Au lieu de cela, vous pouvez stocker vos données dans un format brut ou natif, généralement sous la forme de fichiers ou d’objets BLOB (Binary Large Object).

Data Lake Storage Gen2 fournit la sémantique du système de fichiers, la sécurité au niveau du fichier et la mise à l’échelle. Comme ces fonctionnalités sont basées sur le Stockage Blob, vous bénéficiez également d’un stockage hiérarchisé à faible coût avec des fonctionnalités de haute disponibilité et de récupération d’urgence.

Data Lake Storage Gen2 fait du stockage Azure la base pour créer des dépôts Data Lake d’entreprise sur Azure. Conçu dès le départ pour traiter plusieurs téraoctets d’informations tout en assurant des centaines de gigaoctets de débit, Data Lake Storage Gen2 vous permet de facilement gérer d'importants volumes de données.

Traitement des données pour l’IA

Microsoft Fabric Data Factory

Avec Data Factory, vous pouvez ingérer, préparer et transformer des données à partir de plusieurs sources de données (par exemple, bases de données, entrepôt de données, Lakehouse, données en temps réel, etc.). Lorsque vous concevez des charges de travail, il s’agit d’un outil qui peut être utile pour répondre à vos besoins DataOps.

Data Factory prend en charge à la fois le code et les solutions sans/faible code :

  • Les pipelines de données vous permettent de créer des fonctionnalités de flux de travail à l’échelle du cloud. Avec les pipelines de données, vous pouvez utiliser l’interface glisser-déplacer pour créer des flux de travail qui peuvent actualiser votre flux de données, déplacer des données de taille pétaoctet et définir des pipelines de flux de contrôle.

  • Les dataflows fournissent une interface à faible code pour l’ingestion de données à partir de centaines de sources de données, en transformant vos données à l’aide de transformations de données 300+.

Voir aussi :

Azure Databricks

Avec Databricks Data Intelligence Platform, vous pouvez écrire du code pour créer un flux de travail Machine Learning à l’aide de l’ingénierie des fonctionnalités :

  • Les pipelines de données ingèrent des données brutes, créent des tables de fonctionnalités, entraînent des modèles et effectuent une inférence par lots. Lorsque vous entraînez et journalisez un modèle à l’aide de l’ingénierie de caractéristiques dans le catalogue Unity, le modèle est empaqueté avec les métadonnées de fonctionnalités. Quand vous utilisez le modèle pour du scoring par lot ou de l’inférence en ligne, il récupère automatiquement les valeurs des fonctionnalités. L’appelant n’a pas besoin d’en savoir plus ou d’inclure une logique pour rechercher ou joindre des fonctionnalités pour noter de nouvelles données.
  • Les points de terminaison de modèle et de service de fonctionnalités sont disponibles en un seul clic et fournissent des millisecondes de latence.
  • Surveillance des données et des modèles.

Vous pouvez également utiliser la recherche vectorielle De mosaïque IA, qui est optimisée pour le stockage et la récupération d’incorporations. Les incorporations sont cruciales pour les applications qui nécessitent des recherches de similarité, comme la génération augmentée de récupération (RAG), les systèmes de recommandation et la reconnaissance d’images.

Connecteurs de données pour l’IA

Les pipelines Azure Data Factory et Azure Synapse Analytics prennent en charge de nombreux magasins de données et formats via copier, flux de données, rechercher, obtenir des métadonnées et supprimer des activités. Pour afficher les connecteurs de magasin de données disponibles, les fonctionnalités prises en charge et les configurations correspondantes et les options de connexion ODBC génériques, consultez la vue d’ensemble du connecteur Azure Data Factory et Azure Synapse Analytics.

IA personnalisée

Azure Machine Learning

Azure Machine Learning est un service cloud permettant d’accélérer et de gérer le cycle de vie du projet Machine Learning (ML). Les professionnels du ML, les scientifiques des données et les ingénieurs peuvent l’utiliser dans leurs flux de travail quotidiens pour effectuer l’apprentissage et déployer des modèles et gérer des opérations d’apprentissage automatique (MLOps).

Azure Machine Learning offre les fonctionnalités suivantes :

  • La sélection de l’algorithme Certains algorithmes effectuent des hypothèses particulières sur la structure des données ou les résultats souhaités. Si vous pouvez en trouver un qui répond à vos besoins, il peut vous donner des résultats plus pertinents, des prévisions plus précises ou des durées d'apprentissage plus courtes.

    Comment sélectionner des algorithmes pour Azure Machine Learning

  • L’optimisation ou l’optimisation des hyperparamètres est le processus de recherche de la configuration des hyperparamètres qui entraînent les meilleures performances. Le processus est coûteux et manuel. Les hyperparamètres sont des paramètres réglables qui vous permettent de contrôler le processus d’entraînement du modèle. Par exemple, avec des réseaux neuronaux, vous déterminez le nombre de couches masquées et le nombre de nœuds dans chaque couche. Les performances du modèle dépendent fortement des hyperparamètres.

    Azure Machine Learning vous permet d’automatiser le réglage des hyperparamètres et d’exécuter des expérimentations parallèles pour optimiser efficacement les hyperparamètres.

  • Entraînement du modèle. Avec Azure Machine Learning, vous pouvez utiliser de manière itérative un algorithme pour créer ou « enseigner » des modèles. Une fois formés, ces modèles peuvent ensuite être utilisés pour analyser les données à partir desquelles les prédictions peuvent être effectuées. Au cours de la phase de formation, un ensemble de qualité des données connues est balisé de sorte que les champs individuels soient identifiables. Les données étiquetées sont chargées dans un algorithme configuré pour effectuer une prédiction particulière. Lorsque vous avez terminé, l’algorithme génère un modèle qui décrit les modèles qu’il a trouvés sous la forme d’un ensemble de paramètres. Pendant la validation, les données actualisées sont étiquetées et utilisées pour tester le modèle. L’algorithme est ajusté en fonction des besoins et peut éventuellement introduire une formation supplémentaire. Enfin, la phase de tests utilise des données réelles sans balises ni cibles présélectionnées. En supposant que les résultats du modèle sont exacts, il est considéré comme prêt à être utilisé et peut être déployé.

  • Le Machine Learning automatisé (AutoML) est le processus d’automatisation des tâches itératives et fastidieuses du développement de modèles Machine Learning. Cela peut réduire considérablement le temps nécessaire à l’obtention de modèles ML prêts pour la production. Les ML automatisés peuvent faciliter la sélection du modèle, le réglage des hyperparamètres, la formation du modèle et d’autres tâches, sans nécessiter une connaissance approfondie de la programmation ni du domaine.

    Vous pouvez utiliser le ML automatisé lorsque vous souhaitez qu’Azure Machine Learning effectue l’apprentissage et l’optimisation d’un modèle pour vous à l’aide d’une métrique cible spécifiée. Le ML automatisé peut être utilisé indépendamment de l’expertise en science des données pour identifier un pipeline Machine Learning de bout en bout pour tout problème.

    Les professionnels et développeurs du Machine Learning de différents secteurs peuvent utiliser le Machine Learning automatisé pour ce qui suit :

    • Implémenter des solutions ML sans connaissances approfondies en programmation ou en machine learning

    • Économiser du temps et des ressources.

    • Appliquer les meilleures pratiques de la science des données

    • Fournir une résolution de problème agile.

    • Qu’est-ce que le machine learning automatisé ?

  • Le scoring est également appelé prédiction et représente le processus de génération de valeurs basé sur un modèle de Machine Learning formé, en fonction de nouvelles données d’entrée. Les valeurs, ou scores, créées peuvent représenter des prédictions de valeurs futures, mais elles peuvent également représenter une catégorie ou un résultat probable.

  • Ingénierie des caractéristiques et caractérisation. Les données pour l’apprentissage se composent de lignes et de colonnes. Chaque ligne est une observation ou un enregistrement et les colonnes de chaque ligne sont les caractéristiques qui décrivent chaque enregistrement. En général, les caractéristiques qui caractérisent le mieux les modèles dans les données sont sélectionnées pour créer des modèles prédictifs.

Bien que la plupart des champs de données brutes puissent être utilisés directement pour entraîner un modèle, il est souvent nécessaire de créer d’autres caractéristiques (construites) qui fournissent des informations permettant de mieux différencier les modèles dans les données. Ce processus est appelé ingénierie de caractéristiques et décrit l’utilisation de la connaissance du domaine des données pour créer des caractéristiques qui, à leur tour, aident les algorithmes de Machine Learning à améliorer l’apprentissage.

Dans Azure Machine Learning, des techniques de mise à l’échelle et de normalisation des données sont appliquées pour faciliter l’ingénierie de caractéristiques. Ces techniques et l’ingénierie de caractéristiques sont appelées collectivement caractérisation dans les expériences de Machine Learning (ML) automatisé.

Azure OpenAI

Azure OpenAI Service vous permet d’adapter des modèles OpenAI à vos jeux de données personnels à l’aide d’un processus appelé réglage précis. Cette étape de personnalisation vous permet de profiter au mieux du service en vous fournissant les éléments suivants :

  • Résultats de qualité supérieure à ce que vous pouvez obtenir simplement à partir de l’ingénierie rapide
  • La possibilité de s’entraîner sur un plus grand nombre d’exemples que ne le permet la limite maximale du contexte de requête d’un modèle.
  • Économies de jetons en raison d’invites plus courtes
  • Demandes à latence inférieure, en particulier lors de l’utilisation de modèles plus petits.

Pour plus d’informations, consultez l’article suivant :

Services d’IA Azure pour l’IA personnalisée

Les services Azure AI offrent des fonctionnalités qui vous permettent de créer des modèles et applications IA personnalisés. Cette section fournit une vue d’ensemble de certaines de ces fonctionnalités clés.

Discours personnalisé

La reconnaissance vocale personnalisée est une fonctionnalité du service Azure AI Speech. Avec vocal personnalisé, vous pouvez évaluer et améliorer l’exactitude de la reconnaissance vocale pour vos applications et produits. Un modèle vocal personnalisé peut être utilisé pour la reconnaissance vocale en temps réel, la traduction vocale et la transcription par lots.

Prête à l’emploi, la reconnaissance vocale utilise un modèle de langage universel comme modèle de base qui est entraîné avec des données appartenant à Microsoft et reflète la langue couramment parlée. Le modèle de base est préentraîné avec les dialectes et la phonétique représentant divers domaines communs. Quand vous effectuez une demande de reconnaissance vocale, le modèle de base le plus récent pour chaque langue prise en charge est utilisé par défaut. Le modèle de base fonctionne bien dans la plupart des scénarios de reconnaissance vocale.

Il est possible d’utiliser un modèle personnalisé pour augmenter le modèle de base dans le but d’améliorer la reconnaissance du vocabulaire propre à un domaine spécifique à l’application. Pour cela, vous entraînez le modèle en lui fournissant des données de texte. Vous pouvez aussi vous en servir pour améliorer la reconnaissance en fonction des conditions audio spécifiques de l’application en fournissant des données audio avec des transcriptions de référence.

Vous pouvez également entraîner un modèle avec du texte structuré lorsque les données suivent un pattern, spécifier des prononciations personnalisées, et personnaliser la mise en forme du texte d’affichage avec une normalisation du texte inversé personnalisée, une réécriture personnalisée et un filtrage des grossièretés personnalisé.

Custom Translator

Custom Translator est une fonctionnalité du service Azure AI Translator. Avec Custom Translator, les entreprises, les développeurs d’applications et les fournisseurs de services linguistiques peuvent créer des systèmes de traduction automatique neuronale (NMT) personnalisés. Les systèmes de traduction personnalisés s’intègrent de manière fluide aux applications, aux workflows et aux sites web existants.

La plateforme permet aux utilisateurs de créer et de publier des systèmes de traduction personnalisés de et vers l’anglais. Custom Translator prend en charge plus de trente-six langues et mappe directement vers les langues disponibles pour les systèmes NMT. Pour obtenir une liste complète, consultez la prise en charge de la langue Translator.

Custom Translator offre les fonctionnalités suivantes :

Fonctionnalité Description
Appliquer la technologie de traduction automatique neuronale Améliorez votre traduction en appliquant la traduction automatique neuronale (TAN) fournie par Custom Translator.
Créer des systèmes qui connaissent la terminologie de votre activité Personnalisez et créez des systèmes de traduction en utilisant des documents parallèles qui comprennent la terminologie utilisée dans votre entreprise et votre secteur d’activité.
Utiliser un dictionnaire pour générer vos modèles Si vous n’avez pas de jeu de données d’entraînement, vous pouvez entraîner un modèle avec uniquement des données de dictionnaire.
Collaborer avec d’autres personnes Collaborez avec votre équipe en partageant votre travail avec différentes personnes.
Accéder à votre modèle de traduction personnalisé Vous pouvez accéder à votre modèle de traduction personnalisé à tout moment en utilisant vos programmes et applications existants via l’API de traduction de texte Translator Text V3 de Microsoft.

Modèles personnalisés Intelligence documentaire

Azure AI Document Intelligence utilise une technologie de Machine Learning avancée pour identifier les documents, détecter et extraire des informations à partir de formulaires et de documents, et retourner les données extraites dans une sortie JSON structurée. Avec Document Intelligence, vous pouvez utiliser des modèles d’analyse de document, prédéfinis/préentraînés ou vos modèles personnalisés autonomes entraînés.

Les modèles personnalisés Document Intelligence incluent désormais des modèles de classification personnalisés pour les scénarios où vous devez identifier le type de document avant d’appeler le modèle d’extraction. Un modèle de classification peut être associé à un modèle d’extraction personnalisé pour analyser et extraire des champs de formulaires et de documents propres à votre entreprise. Ces modèles personnalisés autonomes peuvent être combinés pour créer des modèles composés.

Outils d’IA personnalisés

Bien que les modèles IA prédéfinis soient utiles et de plus en plus flexibles, la meilleure façon d’obtenir ce dont vous avez besoin à partir de l’IA consiste à créer un modèle adapté à vos besoins spécifiques. Il existe deux outils principaux pour créer des modèles IA personnalisés : l’IA générative et le machine learning traditionnel :

Azure Machine Learning Studio

Azure Machine Learning Studio est un service cloud permettant d’accélérer et de gérer le cycle de vie du projet Machine Learning (ML). Les professionnels du ML, les scientifiques des données et les ingénieurs peuvent l’utiliser dans leurs flux de travail quotidiens pour entraîner et déployer des modèles et gérer des opérations machine learning (MLOps).

  • Créez et entraînez un modèle Azure Machine Learning avec n’importe quel type de calcul, y compris Spark et les GPU pour les charges de travail IA de grande taille à l’échelle du cloud.
  • Exécutez Azure Machine Learning automatisé (AutoML) et une interface utilisateur glisser-déplacer pour Azure Machine Learning low-code.
  • Implémentez des Azure Machine LearningOps de bout en bout et des pipelines Azure Machine Learning reproductibles.
  • Utilisez le tableau de bord d’IA responsable pour la détection de biais et l’analyse des erreurs.
  • Orchestrez et gérez l’ingénierie des invites et les flux de modèles de langage (LLM).
  • Déployez des modèles avec des points de terminaison d’API REST, une inférence en temps réel et une inférence par lots.
  • Utilisez Hubs (préversion) pour partager le calcul, le quota, la sécurité et la connectivité aux ressources d’entreprise avec un groupe d’espaces de travail, tout en centralisant la gouvernance pour le service informatique. Configurez un hub une seule fois, puis créez des espaces de travail sécurisés directement à partir de Studio pour chaque projet. Utilisez des hubs pour gérer le travail de votre équipe dans ML Studio et AI Studio.

Azure AI Studio

Azure AI Studio est conçu pour vous aider à créer et déployer efficacement des applications d’INTELLIGENCE artificielle personnalisées avec la puissance des offres d’IA étendues Azure :

  • Créer ensemble en tant qu’équipe. Votre hub AI Studio fournit une sécurité de niveau entreprise et un environnement collaboratif allant des ressources et des connexions partagées aux modèles pré-entraînés, aux données et au calcul.
  • Organiser votre travail Votre projet AI Studio vous aide à enregistrer l’état, ce qui vous permet d’effectuer des itérations pour passer de la première idée au premier prototype, puis au premier déploiement de production. Invitez également facilement d’autres personnes à collaborer au long de ce parcours.
  • Utilisez votre plateforme de développement et vos frameworks préférés, notamment GitHub, Visual Studio Code, LangChain, Semantic Kernel, AutoGen, etc.
  • Découvrez et référencez à partir de plus de 1 600 modèles.
  • Provisionnez des modèles en tant que service (MaaS) via des API serverless et hébergez un réglage précis.
  • Incorporez plusieurs modèles, sources de données et modalités.
  • Créez la génération augmentée de récupération (RAG) à l’aide de vos données d’entreprise protégées sans avoir besoin de réglage précis.
  • Orchestrez et gérez l’ingénierie des invites et les flux de grand modèle de langage (LLM).
  • Concevez et protégez les applications et les API avec des filtres et des contrôles configurables.
  • Évaluez les réponses de modèle avec des flux d’évaluation intégrés et personnalisés.
  • Déployez des innovations IA sur l’infrastructure managée Azure avec une supervision et une gouvernance continues dans les environnements.
  • Surveillez en permanence les applications déployées pour la sécurité, la qualité et la consommation de jetons en production.|

Pour obtenir une comparaison détaillée entre Azure Machine Learning et Azure AI Studio, consultez Azure Machine Learning et Azure AI Studio.

Flux rapide dans Azure AI Studio

Flux rapide dans Azure AI Studio est un outil de développement conçu pour simplifier l’ensemble du cycle de développement des applications IA optimisées par des modèles LLM (Large Language Model). Le flux rapide fournit une solution complète qui simplifie le processus de prototypage, d’expérimentation, d’itération et de déploiement de vos applications IA.

  • Le flux rapide est une fonctionnalité qui peut être utilisée pour générer, personnaliser ou exécuter un flux.
  • Un flux est un jeu d’instructions exécutable qui peut implémenter la logique IA. Les flux peuvent être créés ou exécutés via plusieurs outils, comme un canevas prédéfini, LangChain, etc. Les itérations d’un flux peuvent être enregistrées en tant que ressources ; une fois déployé, un flux devient une API. Tous les flux ne sont pas des flux rapide; plutôt, le flux d’invite est un moyen de créer un flux.
  • Uneinvite est un package d’entrée envoyé à un modèle, composé de l’entrée utilisateur, du message système et de tous les exemples. L’entrée utilisateur est du texte envoyé dans la fenêtre de conversation. Le message système est un ensemble d’instructions pour le modèle qui étend ses comportements et ses fonctionnalités.
  • Un échantillon de flux est un flux d’orchestration prédéfini simple qui montre comment les flux fonctionnent et peuvent être personnalisés.
  • Un échantillon d’invite est une invite définie pour un scénario spécifique qui peut être copié à partir d’une bibliothèque et utilisé tel quel ou modifié dans la conception d’invite.

Langages de code IA personnalisés

Le concept fondamental de l’intelligence artificielle est l’utilisation d’algorithmes pour analyser des données et générer des modèles pour décrire (ou score) de façon utile. Les algorithmes sont écrits par les développeurs et les chercheurs de données (et parfois par d’autres algorithmes) à l’aide de codes de programmation. Deux des langages de programmation les plus populaires pour le développement de l’intelligence artificielle sont actuellement Python et R.

Python est un langage de programmation de haut niveau et à usage général. Elle a une syntaxe simple et facile à apprendre qui met l’accent sur la lisibilité. Il n’y a pas d’étape de compilation. Python dispose d’une grande bibliothèque standard, mais elle prend également en charge la possibilité d’ajouter des modules et des packages. Cela encourage la modularité et vous permet d’étendre les capacités si nécessaire. Il existe un écosystème étendu et en constante évolution des bibliothèques IA et ML pour Python, dont beaucoup sont déjà disponibles dans Azure.

R se compose d'un langage et d'un environnement destinés à l’informatique et aux graphiques statistiques. Il peut être utilisé pour tout, du mappage de grandes tendances sociales et marketing en ligne au développement de modèles financiers et climatiques.

Microsoft a entièrement adopté le langage de programmation R et propose de nombreuses options différentes permettant aux développeurs R d’exécuter leur code dans Azure.

Informations générales sur l’IA personnalisée sur Azure

Témoignages client

Les différents secteurs appliquent l’intelligence artificielle de manière novatrice et inspirée. Voici quelques études de cas client et exemples de réussite :

Parcourir d’autres récits de clients de l’IA

Informations générales sur l’intelligence artificielle de Microsoft

Apprenez-en davantage sur l’intelligence artificielle de Microsoft et restez informé des nouveautés associées :

Étapes suivantes