Partager via

Conception de l’architecture IA

  • Article

L’IA est une technologie qui permet aux machines d’imiter le comportement humain intelligent. Les machines peuvent utiliser l’IA pour :

  • Analysez les données pour créer des images et des vidéos.
  • Analyser et synthétiser la voix.
  • Interagir verbalement de manière naturelle.
  • Effectuez des prédictions et générez de nouvelles données.

Vous pouvez incorporer l’IA dans des applications pour effectuer des fonctions ou prendre des décisions que la logique ou le traitement traditionnel ne peut pas gérer efficacement. En tant qu'architecte qui conçoit des solutions, il est important de comprendre le paysage de l'IA et du machine learning, et comment intégrer les solutions Azure dans la conception de vos charges de travail.

Prise en main

Azure Architecture Center fournit des exemples d’architectures, de guides d’architecture, de bases de référence architecturales et d’idées que vous pouvez appliquer à votre scénario. Les charges de travail contenant des composants d'IA et d'apprentissage automatique doivent suivre les directives d'Azure Well-Architected Framework pour les charges de travail d'IA. Ces conseils incluent des principes et des guides de conception qui influencent la charge de travail IA et Machine Learning sur les cinq piliers de l’architecture. Vous devez implémenter ces recommandations dans les scénarios et le contenu dans le Centre d’architecture Azure.

Concepts de l’intelligence artificielle

Les concepts de l’IA englobent un large éventail de technologies et de méthodologies qui permettent aux machines d’effectuer des tâches nécessitant généralement l’intelligence humaine. Les sections suivantes fournissent une vue d’ensemble des concepts clés de l’IA.

Algorithmes

Algorithmes ou algorithmes de Machine Learning sont des éléments de code qui aident les utilisateurs à explorer, analyser et trouver une signification dans des jeux de données complexes. Chaque algorithme est un ensemble fini d’instructions pas à pas non ambiguës qu’un ordinateur peut suivre pour atteindre un objectif spécifique. L’objectif d’un modèle Machine Learning est d’établir ou de découvrir des modèles que les humains peuvent utiliser pour effectuer des prédictions ou classer des informations. Un algorithme pourrait décrire comment déterminer si un animal de compagnie est un chat, un chien, un poisson, un oiseau ou un lézard. Un autre algorithme beaucoup plus compliqué pourrait décrire comment identifier une langue écrite ou parlée, analyser ses mots, les traduire dans une autre langue, puis vérifier l'exactitude de la traduction.

Choisissez une famille d’algorithmes qui convient le mieux à votre tâche. Évaluez les différents algorithmes de la famille pour trouver l’ajustement approprié pour votre charge de travail. Pour plus d’informations, consultez Qu’est-ce que les algorithmes de Machine Learning ?.

Machine Learning

Le Machine Learning est une technique IA qui utilise des algorithmes pour créer des modèles prédictifs. Ces algorithmes analysent les champs de données et « apprennent » des modèles au sein des données pour générer des modèles. Les modèles peuvent ensuite prendre des prédictions ou des décisions éclairées en fonction de nouvelles données.

Les modèles prédictifs sont validés par rapport aux données connues, mesurés par des métriques de performances pour des scénarios métier spécifiques, puis ajustés selon les besoins. Ce processus d’apprentissage et de validation est appelé formation. Grâce au réentraînement périodique, les modèles Machine Learning s’améliorent au fil du temps.

Dans votre conception de charge de travail, vous pouvez utiliser le Machine Learning si votre scénario inclut des observations passées que vous pouvez utiliser de manière fiable pour prédire les situations futures. Ces observations peuvent être des vérités universelles, comme la vision par ordinateur qui détecte une forme d’animal d’une autre. Ou ces observations peuvent être spécifiques à votre situation, comme la vision par ordinateur qui détecte une erreur d’assemblage potentielle sur vos lignes d’assemblage en fonction des données de revendication de garantie passées.

Pour plus d’informations, consultez Qu’est-ce que le Machine Learning ?.

Apprentissage approfondi

deep learning est un type de Machine Learning qui peut apprendre par le biais de son propre traitement des données. Comme le Machine Learning, il utilise également des algorithmes pour analyser les données. Mais il analyse les données par le biais de réseaux neuronaux artificiels qui contiennent de nombreuses entrées, sorties et couches de traitement. Chaque couche peut traiter les données d’une manière différente. La sortie d’une couche devient l’entrée pour la suivante. Ce processus permet au Deep Learning de créer des modèles plus complexes que le Machine Learning traditionnel.

Le Deep Learning nécessite un investissement important pour générer des modèles hautement personnalisés ou exploratoires. Vous pouvez envisager d’autres solutions dans cet article avant d’ajouter un deep learning à votre charge de travail.

Pour plus d’informations, consultez Qu’est-ce que l’apprentissage profond ?.

IA générative

l’IA Générative entraîne des modèles pour générer du contenu d’origine basé sur de nombreuses formes de contenu, telles que le langage naturel, la vision par ordinateur, l’audio ou l’entrée d’image. Avec l’IA générative, vous pouvez décrire une sortie souhaitée dans la langue quotidienne, et le modèle peut répondre en créant un texte, une image et un code appropriés. Parmi les exemples d’applications IA génératives, citons Microsoft Copilot et Azure OpenAI Service.

  • Copilot est principalement une interface utilisateur qui vous permet d’écrire du code, des documents et d’autres contenus textuels. Elle est basée sur des modèles OpenAI populaires et est intégrée à un large éventail d’applications Microsoft et d’expériences utilisateur.

  • Azure OpenAI est une plateforme de développement en tant que service qui fournit l’accès aux modèles de langage puissants d’OpenAI, tels que o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo avec Vision, GPT-4, GPT-3.5-Turbo et la série de modèles Embeddings. Vous pouvez adapter ces modèles à vos tâches spécifiques, telles que :

    • Génération de contenu.
    • Résumé du contenu.
    • Compréhension de l’image.
    • Recherche sémantique.
    • Langage naturel pour la traduction de code.

Modèles de langage

modèles de langage sont un sous-ensemble d’IA générative qui se concentrent sur les tâches de traitement du langage naturel, telles que la génération de texte et l’analyse des sentiments. Ces modèles représentent le langage naturel en fonction de la probabilité de mots ou de séquences de mots qui apparaissent dans un contexte donné.

Les modèles de langage conventionnel sont utilisés dans les paramètres supervisés à des fins de recherche où les modèles sont formés sur des jeux de données de texte bien étiquetés pour des tâches spécifiques. Les modèles de langage préentraînés offrent un moyen accessible de bien démarrer avec l’IA. Ils sont plus largement utilisés ces dernières années. Ces modèles sont formés sur des collections de texte à grande échelle à partir d’Internet via des réseaux neuronaux d’apprentissage profond. Vous pouvez les ajuster sur des jeux de données plus petits pour des tâches spécifiques.

Le nombre de paramètres ou de pondérations détermine la taille d’un modèle de langage. Les paramètres influencent la façon dont le modèle traite les données d’entrée et génère la sortie. Pendant l’entraînement, le modèle ajuste les pondérations pour réduire la différence entre ses prédictions et les données réelles. Ce processus est la façon dont le modèle apprend les paramètres. Plus un modèle a de paramètres, plus il est complexe et expressif. Mais il est également plus coûteux en termes de calcul à entraîner et à utiliser.

En général, les petits modèles de langage ont généralement moins de 10 milliards de paramètres, et les grands modèles de langage ont plus de 10 milliards de paramètres. Par exemple, la famille de modèles Microsoft Phi-3 a trois versions :

  • Mini, 3,8 milliards de paramètres
  • Petits, 7 milliards de paramètres
  • Moyenne, 14 milliards de paramètres

Pour plus d’informations, consultez catalogue de modèles de langage.

Copilotes

La disponibilité des modèles linguistiques a conduit à l’émergence de nouvelles façons d’interagir avec les applications et les systèmes par le biais de copilotes numériques et d’agents spécifiques au domaine. Copilots sont des assistants IA génératifs qui s’intègrent aux applications, souvent en tant qu’interfaces de conversation. Ils fournissent une prise en charge contextuelle des tâches courantes dans ces applications.

Microsoft Copilot s’intègre à un large éventail d’applications Microsoft et d’expériences utilisateur. Il est basé sur une architecture ouverte où les développeurs non-Microsoft peuvent créer leurs propres plug-ins pour étendre ou personnaliser l’expérience utilisateur avec Copilot. Les développeurs partenaires peuvent également créer leurs propres copilotes à l’aide de la même architecture ouverte.

Pour plus d'informations, reportez-vous aux ressources suivantes :

Génération Augmentée de Récupération

Retrieval Augmented Generation (RAG) est un modèle d'architecture qui augmente les capacités d'un grand modèle linguistique (GML), comme ChatGPT, qui est formé uniquement sur des données publiques. Vous pouvez utiliser ce modèle pour ajouter un système de récupération qui fournit des données de base pertinentes dans le contexte avec la demande de l’utilisateur. Un système de récupération d’informations permet de contrôler les données de base qu’un modèle de langage utilise lorsqu’il formule une réponse. L’architecture RAG vous permet d’étendre l’IA générative au contenu source de documents vectoriels, d’images et d’autres formats de données. RAG n’est pas limité au stockage de recherche vectorielle. Vous pouvez utiliser n’importe quelle technologie de magasin de données.

Pour plus d’informations, consultez Conception et développement d’une solution RAG et Choisir un service Azure pour la recherche vectorielle.

Services Intelligence artificielle Azure

Avec services Azure AI, les développeurs et les organisations peuvent utiliser des API et des modèles prêts à l’emploi, prédéfinis et personnalisables pour créer des applications intelligentes, prêtes pour le marché et responsables. Les cas d’usage incluent le traitement en langage naturel pour les conversations, la recherche, la surveillance, la traduction, la parole, la vision et la prise de décision.

Pour plus d'informations, reportez-vous aux ressources suivantes :

Modèles de langage IA

LLMs, comme les modèles GPT d'OpenAI, sont des outils puissants qui peuvent générer du langage naturel dans différents domaines et pour diverses tâches. Pour choisir un modèle, tenez compte de facteurs tels que la confidentialité des données, l’utilisation éthique, la précision et le biais.

Les modèles phi ouverts sont de petits modèles moins gourmands en calcul pour les solutions d’IA génératives. Un petit modèle de langage peut être plus efficace, interprétable et expliqué qu’un LLM.

Lorsque vous concevez une charge de travail, vous pouvez utiliser des modèles de langage comme solution hébergée derrière une API limitée. Par ailleurs, pour de nombreux petits modèles de langage, vous pouvez héberger des modèles de langage en cours de traitement ou au moins sur le même ordinateur que le consommateur. Lorsque vous utilisez des modèles de langage dans votre solution, tenez compte de votre choix de modèle de langage et de ses options d’hébergement disponibles pour garantir une solution optimisée pour votre cas d’usage.

Plateformes et outils de développement IA

Les plateformes et outils de développement IA suivants peuvent vous aider à créer, déployer et gérer des modèles Machine Learning et IA.

Azure Machine Learning

Azure Machine Learning est un service Machine Learning que vous pouvez utiliser pour créer et déployer des modèles. Machine Learning offre des interfaces web et des kits SDK pour vous permettre d’entraîner et de déployer vos modèles et pipelines Machine Learning à grande échelle. Utilisez ces fonctionnalités avec des frameworks Python open source comme PyTorch, TensorFlow et scikit-learn.

Pour plus d'informations, reportez-vous aux ressources suivantes :

Architectures de référence du Machine Learning pour Azure

Machine learning automatisé

Le Machine Learning automatisé (AutoML) est le processus d’automatisation des tâches itératives et fastidieuses du développement de modèles Machine Learning. Les scientifiques des données, les analystes et les développeurs peuvent utiliser AutoML pour créer des modèles Machine Learning qui ont une grande échelle, une efficacité et une productivité tout en conservant la qualité du modèle.

Pour plus d'informations, reportez-vous aux ressources suivantes :

MLflow

Les espaces de travail Machine Learning sont compatibles avec MLflow, ce qui signifie que vous pouvez utiliser un espace de travail Machine Learning de la même façon que vous utilisez un serveur MLflow. Cette compatibilité offre les avantages suivants :

  • Machine Learning n’héberge pas d’instances de serveur MLflow, mais peut utiliser directement les API MLflow.
  • Vous pouvez utiliser un espace de travail Machine Learning comme serveur de suivi pour n’importe quel code MLflow, qu’il s’exécute ou non dans Machine Learning. Vous devez configurer MLflow pour qu’il pointe vers l’espace de travail où le suivi doit se produire.
  • Vous pouvez exécuter des routines d’entraînement qui utilisent MLflow dans Machine Learning sans apporter de modifications.

Pour plus d’informations, consultez MLflow et Machine Learning et MLflow.

Outils d’IA générative

  • Le flux d'invite est une suite d'outils de développement que vous pouvez utiliser pour rationaliser le cycle de développement de bout en bout des applications d'IA générative, depuis l'idéation, le prototypage, les tests et l'évaluation jusqu'au déploiement et à la surveillance de la production. Il prend en charge l’ingénierie rapide grâce à l’expression d’actions dans un moteur d’orchestration et de flux modulaire.

  • Azure AI Foundry vous aide à expérimenter, développer et déployer des applications et des API d'IA générative de manière responsable avec une plateforme complète. Le portail AI Foundry permet d’accéder aux services Azure AI, aux modèles de base, au terrain de jeu et aux ressources pour vous aider à créer, entraîner, ajuster et déployer des modèles IA. Vous pouvez également évaluer les réponses des modèles et orchestrer les composants des applications promptes avec le flux d'invite pour de meilleures performances.

  • Copilot Studio étend Copilot dans Microsoft 365. Vous pouvez utiliser Copilot Studio pour créer des copilotes personnalisés pour des scénarios internes et externes. Utilisez un canevas de création complet pour concevoir, tester et publier des copilotes. Vous pouvez facilement créer des conversations génératives compatibles avec l’IA, fournir un meilleur contrôle des réponses pour les copilotes existants et accélérer la productivité à l’aide de flux de travail automatisés.

Plateformes de données pour l’IA

Les plateformes suivantes offrent des solutions complètes pour le déplacement, le traitement, l’ingestion, la transformation, l’analytique en temps réel et la création de rapports.

Microsoft Fabric

Microsoft Fabric est une plateforme d’analytique et de données de bout en bout pour les entreprises qui nécessitent une solution unifiée. Vous pouvez accorder aux équipes de charge de travail l’accès aux données dans Fabric. La plateforme couvre le déplacement, le traitement, l’ingestion, la transformation, le routage des événements en temps réel et la génération de rapports. Il offre une suite complète de services, notamment Fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Real-Time Intelligence, Fabric Data Warehouse et Fabric Database.

Fabric intègre des composants distincts dans une pile cohérente. Au lieu de compter sur des bases de données ou entrepôts de données différents, vous pouvez centraliser le stockage des données avec OneLake. Les fonctionnalités d’IA sont incorporées dans Fabric, ce qui élimine la nécessité d’une intégration manuelle.

Pour plus d'informations, reportez-vous aux ressources suivantes :

Copilotes dans Fabric

Vous pouvez utiliser Copilot et d’autres fonctionnalités d’IA génératives pour transformer et analyser des données, générer des insights et créer des visualisations et des rapports dans Fabric et Power BI. Vous pouvez créer votre propre copilote ou choisir l’un des copilotes prédéfinis suivants :

Compétences ia dans Fabric

Vous pouvez utiliser la fonctionnalité de compétence Infrastructure IA pour configurer un système d’INTELLIGENCE artificielle générative pour générer des requêtes qui répondent à des questions sur vos données. Après avoir configuré une compétence IA, vous pouvez le partager avec vos collègues, qui peuvent ensuite poser leurs questions en langage simple. En fonction de leurs questions, l’IA génère des requêtes sur les données qui répondent à ces questions.

Pour plus d'informations, reportez-vous aux ressources suivantes :

Plateformes de données basées sur Apache Spark pour l’IA

Apache Spark est une infrastructure de traitement parallèle qui prend en charge le traitement en mémoire pour améliorer les performances des applications d’analytique du Big Data. Spark fournit des blocs de construction de base pour le calcul des clusters en mémoire. Un travail Spark peut charger et mettre en cache des données en mémoire et les interroger à plusieurs reprises, ce qui est plus rapide que les applications basées sur disque, telles que Hadoop.

Apache Spark dans Microsoft Fabric

Fabric Runtime est une plateforme intégrée à Azure basée sur Apache Spark qui permet l’implémentation et la gestion des expériences d’ingénierie des données et de science des données. Fabric Runtime combine les composants clés provenant de sources internes et open source, qui fournissent une solution complète.

Fabric Runtime a les composants clés suivants :

  • Apache Spark est une bibliothèque de calcul distribuée open source puissante qui permet de traiter et d’analyser des données à grande échelle. Apache Spark fournit une plateforme polyvalente et hautes performances pour les expériences d’ingénierie des données et de science des données.

  • Delta Lake est une couche de stockage open source qui intègre les transactions atomicité, cohérence, isolation et durabilité (ACID) et d’autres fonctionnalités de fiabilité des données avec Apache Spark. Intégré dans Fabric Runtime, Delta Lake améliore les fonctionnalités de traitement des données et permet de garantir la cohérence des données entre plusieurs opérations simultanées.

  • packages de niveau par défaut pour Java, Scala, Python et R sont des packages qui prennent en charge différents langages de programmation et environnements. Ces packages sont automatiquement installés et configurés afin que les développeurs puissent appliquer leurs langages de programmation préférés pour les tâches de traitement des données.

Fabric Runtime repose sur un système d’exploitation open source robuste pour garantir la compatibilité avec diverses configurations matérielles et configuration système requise.

Pour plus d'informations, consultez Apache Spark runtimes in Fabric.

Azure Databricks Runtime pour le Machine Learning

Azure Databricks est une plateforme d’analytique basée sur Apache Spark qui dispose d’une configuration en un clic, de flux de travail rationalisés et d’un espace de travail interactif pour la collaboration entre les scientifiques des données, les ingénieurs et les analystes métier.

Vous pouvez utiliser Databricks Runtime pour Machine Learning pour démarrer un cluster Databricks avec toutes les bibliothèques requises pour l’apprentissage distribué. Cette fonctionnalité fournit un environnement pour le Machine Learning et la science des données. Il contient plusieurs bibliothèques populaires, notamment TensorFlow, PyTorch, Keras et XGBoost. Il prend également en charge la formation distribuée via Horovod.

Pour plus d'informations, reportez-vous aux ressources suivantes :

Apache Spark dans Azure HDInsight

Apache Spark dans Azure HDInsight est l’implémentation Microsoft d’Apache Spark dans le cloud. Les clusters Spark dans HDInsight sont compatibles avec stockage Azure et Azure Data Lake Storage. Vous pouvez donc utiliser des clusters HDInsight Spark pour traiter les données que vous stockez dans Azure.

SynapseML, anciennement MMLSpark, est la bibliothèque De Machine Learning Microsoft pour Apache Spark. Cette bibliothèque open source ajoute de nombreux outils de Deep Learning et de science des données, des fonctionnalités de mise en réseau et des performances de niveau de production à l’écosystème Spark.

Pour plus d'informations, reportez-vous aux ressources suivantes :

Stockage de données pour l’IA

Vous pouvez utiliser les plateformes suivantes pour stocker, accéder et analyser efficacement de grands volumes de données.

Fabric OneLake

OneLake dans Fabric est un lac de données unifié et logique que vous pouvez adapter à l’ensemble de votre organisation. Il sert de hub central pour toutes les données d’analyse et est inclus avec chaque locataire Fabric. OneLake dans Fabric est construit sur la base de Data Lake Storage.

OneLake dans Fabric :

  • Prend en charge les types de fichiers structurés et non structurés.
  • Stocke toutes les données tabulaires au format Delta-Parquet.
  • Fournit un lac de données unique dans les limites du tenant, gouverné par défaut.
  • Prend en charge la création d’espaces de travail au sein d’un locataire afin que votre organisation puisse distribuer les stratégies de propriété et d’accès.
  • Prend en charge la création de divers éléments de données, tels que des lakehouses et des entrepôts, à partir desquels vous pouvez accéder aux données.

Pour plus d'informations, consultez OneLake, le OneDrive des données.

Data Lake Storage

Data Lake Storage est un référentiel centralisé unique où vous pouvez stocker vos données structurées et non structurées. Utilisez un lac de données pour stocker, accéder et analyser rapidement et facilement une grande variété de données dans un emplacement unique. Vous n’avez pas besoin de conformer vos données pour qu’elles correspondent à une structure existante. Au lieu de cela, vous pouvez stocker vos données dans son format brut ou natif, généralement sous forme de fichiers ou d’objets blob volumineux binaires.

Data Lake Storage fournit la sémantique du système de fichiers, la sécurité au niveau des fichiers et la mise à l’échelle. Étant donné que ces fonctionnalités sont basées sur stockage Blob Azure, vous bénéficiez également d’un stockage hiérarchisé à faible coût qui dispose de fonctionnalités de haute disponibilité et de récupération d’urgence.

Data Lake Storage utilise l’infrastructure du stockage Azure pour créer une base pour créer des lacs de données d’entreprise sur Azure. Data Lake Storage peut traiter plusieurs pétaoctets d’informations tout en conservant des centaines de gigaoctets de débit afin de pouvoir gérer de grandes quantités de données.

Pour plus d'informations, reportez-vous aux ressources suivantes :

Traitement des données pour l’IA

Vous pouvez utiliser les outils suivants pour préparer des données pour les applications Machine Learning et IA. Assurez-vous que vos données sont propres et structurées afin de pouvoir les utiliser pour des analyses avancées.

Fabric Data Factory

Vous pouvez utiliser Fabric Data Factory pour ingérer, préparer et transformer des données à partir de plusieurs sources de données, telles que des bases de données, des entrepôts de données, des lakehouses et des flux de données en temps réel. Ce service peut vous aider à répondre aux besoins de vos opérations de données lorsque vous concevez des charges de travail.

Fabric Data Factory prend en charge les solutions de code et les solutions sans code ou à faible code :

  • Utilisez pipelines de données pour créer des fonctionnalités de flux de travail à l’échelle du cloud. Utilisez l’interface glisser-déplacer pour générer des flux de travail qui peuvent actualiser votre flux de données, déplacer des données de taille pétaoctet et définir des pipelines de flux de contrôle.

  • Utilisez dataflows en tant qu’interface à faible code pour ingérer des données à partir de centaines de sources de données et les transformer à l’aide de plus de 300 transformations de données.

Pour plus d'informations, consultez le scénario de bout en bout de Data Factory : Introduction et architecture.

Azure Databricks

Vous pouvez utiliser databricks Data Intelligence Platform pour écrire du code pour créer un flux de travail Machine Learning à l’aide de l’ingénierie des fonctionnalités. l’ingénierie des fonctionnalités est le processus de transformation des données brutes en fonctionnalités que vous pouvez utiliser pour entraîner des modèles Machine Learning. Databricks Data Intelligence Platform inclut des fonctionnalités clés qui prennent en charge l’ingénierie des fonctionnalités :

  • Les pipelines de données ingèrent des données brutes, créent des tables de caractéristiques, entraînent des modèles et effectuent une inférence par lots. Lorsque vous utilisez l’ingénierie des fonctionnalités dans le catalogue Unity pour entraîner et journaliser un modèle, le modèle est empaqueté avec des métadonnées de fonctionnalité. Quand vous utilisez le modèle pour du scoring par lot ou de l’inférence en ligne, il récupère automatiquement les valeurs des fonctionnalités. L’appelant n’a pas besoin de connaître les valeurs ni de mettre en œuvre la logique pour rechercher ou combiner des caractéristiques afin d’évaluer de nouvelles données.

  • Les points de terminaison servant de modèle et de fonctionnalité sont instantanément accessibles et offrent une latence de quelques millisecondes.

  • La surveillance permet de garantir la performance et la précision des données et des modèles.

Vous pouvez également utiliser Mosaic AI Vector Search pour stocker et récupérer les embeddings. Les incorporations sont essentielles pour les applications qui nécessitent des recherches de similarité, telles que RAG, les systèmes de recommandation et la reconnaissance d’images.

Pour plus d’informations, consultez Azure Databricks : Servir des données pour le Machine Learning et l’IA.

Connecteurs de données pour l’IA

Les pipelines Azure Data Factory et Azure Synapse Analytics prennent en charge de nombreux magasins de données et formats à travers des activités de copie, flux de données, recherche, métadonnées et suppression. Pour afficher les connecteurs de magasin de données disponibles, les fonctionnalités prises en charge, ainsi que les configurations correspondantes et les options génériques de connectivité de base de données ouvertes (Open Database Connectivity), consultez la vue d’ensemble du connecteur Azure Data Factory et Azure Synapse Analytics.

IA personnalisée

Les solutions d’IA personnalisées vous aident à répondre aux besoins et aux défis spécifiques de l’entreprise. Les sections suivantes fournissent une vue d’ensemble des différents outils et services que vous pouvez utiliser pour créer et gérer des modèles IA personnalisés.

Azure Machine Learning

Azure Machine Learning est un service cloud permettant d’accélérer et de gérer le cycle de vie des projets de Machine Learning. Les professionnels du Machine Learning, les scientifiques des données et les ingénieurs peuvent utiliser ce service dans leurs flux de travail quotidiens pour entraîner et déployer des modèles et gérer des opérations de Machine Learning.

Machine Learning offre les fonctionnalités suivantes :

  • Sélection de l’algorithme : Certains algorithmes effectuent des hypothèses spécifiques sur la structure de données ou les résultats souhaités. Choisissez un algorithme qui répond à vos besoins afin que vous puissiez obtenir des résultats plus utiles, des prédictions plus précises et des temps d’entraînement plus rapides. Pour plus d’informations, consultez Comment sélectionner des algorithmes pour Machine Learning.

  • paramétrage ou optimisation des hyperparamètres : Vous pouvez utiliser ce processus manuel pour rechercher des configurations d’hyperparamètres qui entraînent des performances optimales. Cette optimisation entraîne des coûts de calcul significatifs. les hyperparamètres sont des paramètres ajustables qui fournissent un contrôle dans le processus d’entraînement du modèle. Par exemple, vous pouvez choisir le nombre de couches masquées et le nombre de nœuds dans chaque couche de réseaux neuronaux. Les performances du modèle dépendent fortement des hyperparamètres.

    Vous pouvez utiliser Machine Learning pour automatiser le réglage des hyperparamètres et exécuter des expériences en parallèle pour optimiser efficacement les hyperparamètres.

    Pour plus d'informations, reportez-vous aux ressources suivantes :

  • Formation du modèle : Vous pouvez utiliser de manière itérative un algorithme pour créer ou former des modèles. Une fois les modèles entraînés, vous pouvez les utiliser pour analyser les données et effectuer des prédictions.

    Pendant la phase d’entraînement :

    1. Un ensemble de données connues est marqué de façon à ce que les champs individuels soient identifiables.

    2. Un algorithme configuré pour effectuer une prédiction particulière reçoit les données étiquetées.

    3. L’algorithme génère un modèle qui capture les modèles qu’il a identifiés dans les données. Le modèle utilise un ensemble de paramètres pour représenter ces modèles.

    Pendant la validation :

    1. Les données fraîches sont étiquetées et utilisées pour tester le modèle.

    2. L’algorithme est ajusté selon les besoins et peut-être effectue davantage d’entraînement.

    3. La phase de test utilise des données réelles sans balises ni cibles préélectionnées. Si les résultats du modèle sont précis, il est prêt à être utilisé et peut être déployé.

    Pour plus d'informations, reportez-vous aux ressources suivantes :

  • AutoML : Ce processus automatise les tâches itératives et fastidieuses du développement de modèles Machine Learning. Il peut réduire considérablement le temps nécessaire pour produire des modèles Machine Learning prêts pour la production. AutoML peut faciliter la sélection du modèle, le réglage des hyperparamètres, l’entraînement du modèle et d’autres tâches, sans nécessiter de connaissances approfondies en programmation ou domaine.

    Vous pouvez utiliser AutoML lorsque vous souhaitez que Machine Learning utilise une métrique cible spécifiée pour entraîner et régler un modèle. Vous n’avez pas besoin d’une expertise en science des données pour identifier un pipeline d'apprentissage automatique de bout en bout pour résoudre des problèmes.

    Les professionnels du Machine Learning et les développeurs dans les secteurs peuvent utiliser AutoML pour :

    • Implémentez des solutions Machine Learning sans connaissances approfondies en programmation ou en machine learning.
    • Gagnez du temps et des ressources.
    • Appliquez les meilleures pratiques en matière de science des données.
    • Fournir une résolution de problèmes agile.

    Pour plus d’informations, consultez Qu’est-ce que AutoML ?.

  • Scoring : Ce processus, également appelé prédiction, utilise un modèle de machine learning formé pour générer des valeurs en fonction de nouvelles données d'entrée. Les valeurs, ou scores, peuvent représenter des prédictions de valeurs futures, mais elles peuvent également représenter une catégorie ou un résultat probable.

    Pour plus d'informations, reportez-vous aux ressources suivantes :

  • Ingénierie des fonctionnalités et featurisation : Les données d'apprentissage sont constituées de lignes et de colonnes. Chaque ligne est une observation ou un enregistrement et les colonnes de chaque ligne sont les caractéristiques qui décrivent chaque enregistrement. En général, les caractéristiques qui caractérisent le mieux les modèles dans les données sont sélectionnées pour créer des modèles prédictifs.

Bien que vous puissiez utiliser un grand nombre des champs de données brutes pour entraîner un modèle, vous devrez peut-être créer d’autres fonctionnalités conçues qui fournissent des informations pour mieux différencier les modèles dans les données. Ce processus est appelé ingénierie des fonctionnalités, où vous utilisez la connaissance du domaine des données pour créer des fonctionnalités qui aident les algorithmes de Machine Learning à mieux apprendre.

Dans Machine Learning, les techniques de mise à l’échelle et de normalisation des données sont appliquées pour faciliter l’ingénierie des fonctionnalités. Collectivement, ces techniques et l'ingénierie des fonctionnalités sont appelées featurisation dans les expériences AutoML. Pour plus d'informations, consultez la section Featurisation des données dans l'apprentissage automatique des machines.

Azure OpenAI

Dans Azure OpenAI, vous pouvez utiliser un processus connu sous le nom de fine-tuning pour adapter les modèles OpenAI à vos ensembles de données personnels. Cette étape de personnalisation optimise le service en fournissant :

  • Des résultats de meilleure qualité par rapport à l'ingénierie des requêtes uniquement.
  • La capacité de s'entraîner sur plus d'exemples que la limite maximale de contexte de requête autorisée par un modèle ne le permet généralement.
  • Économies de jetons grâce à des instructions plus courtes.
  • Demandes à latence inférieure, en particulier lorsque vous utilisez des modèles plus petits.

Pour plus d'informations, reportez-vous aux ressources suivantes :

Services d’IA Azure pour l’IA personnalisée

services Azure AI fournit des fonctionnalités permettant de créer des modèles et applications IA personnalisés. Les sections suivantes fournissent une vue d’ensemble de ces fonctionnalités clés.

Parole personnalisée

La reconnaissance vocale personnalisée est une fonctionnalité du service Azure AI Speech. Vous pouvez utiliser la reconnaissance vocale personnalisée pour évaluer et améliorer la précision de la reconnaissance vocale pour vos applications et produits. Utilisez un modèle de reconnaissance vocale personnalisé pour la reconnaissance vocale en temps réel, la traduction vocale et la transcription par lots.

Par défaut, la reconnaissance vocale utilise un modèle de langage universel comme modèle de base. Ce modèle est entraîné avec des données appartenant à Microsoft et reflète la langue parlée couramment utilisée. Le modèle de base est préentraîné avec des dialectes et des phonétiques qui représentent différents domaines communs. Lorsque vous effectuez une demande de reconnaissance vocale, le modèle de base le plus récent pour votre langue prise en charge est utilisé par défaut. Le modèle de base fonctionne bien dans la plupart des scénarios de reconnaissance vocale.

Vous pouvez utiliser un modèle personnalisé pour augmenter le modèle de base. Par exemple, vous pouvez améliorer la reconnaissance du vocabulaire spécifique au domaine spécifique à une application en fournissant des données de texte pour entraîner le modèle. Vous pouvez également améliorer la reconnaissance pour des conditions audio spécifiques d’une application en fournissant des données audio, notamment des transcriptions de référence.

Si les données suivent un modèle, vous pouvez utiliser du texte structuré pour entraîner un modèle. Vous pouvez spécifier des prononciations personnalisées et personnaliser la mise en forme du texte d’affichage avec une normalisation de texte inverse personnalisée, une réécriture personnalisée et un filtrage de profanité personnalisé.

Traducteur personnalisé

Le traducteur personnalisé est une fonctionnalité du service Azure AI Translator. Les entreprises, les développeurs d’applications et les fournisseurs de services linguistiques peuvent utiliser le traducteur personnalisé pour créer des systèmes de traduction automatique neuronale (NMT) personnalisés. Les systèmes de traduction personnalisés s’intègrent de manière fluide aux applications, aux workflows et aux sites web existants.

Vous pouvez utiliser cette fonctionnalité pour créer et publier des systèmes de traduction personnalisés vers et depuis l’anglais. Le traducteur personnalisé prend en charge plus de trois douzaines de langues qui correspondent directement aux langues de LMT. Pour une liste complète des langues, consultez la page Support linguistique du traducteur.

Custom Translator propose les fonctionnalités suivantes.

Fonctionnalité Description
Appliquer la technologie NMT Appliquez NMT à partir du traducteur personnalisé pour améliorer votre traduction.
Créer des systèmes qui connaissent votre terminologie métier Personnalisez et créez des systèmes de traduction à l’aide de documents parallèles qui comprennent la terminologie de votre entreprise et de votre secteur d’activité.
Utiliser un dictionnaire pour générer vos modèles Entraîner un modèle avec uniquement des données de dictionnaire si vous n’avez pas de jeu de données d’entraînement.
Collaborer avec d’autres personnes Collaborez avec votre équipe en partageant votre travail avec différentes personnes.
Accéder à votre modèle de traduction personnalisé Accédez à votre modèle de traduction personnalisé à tout moment à l’aide de vos applications ou programmes existants via l’API de traduction de texte Microsoft Translator Text V3.

Modèles personnalisés Azure AI Document Intelligence

Azure AI Document Intelligence utilise une technologie de Machine Learning avancée pour identifier les documents, détecter et extraire des informations à partir de formulaires et de documents, et retourner les données extraites dans une sortie JSON structurée. Utilisez Document Intelligence pour tirer parti des modèles d’analyse de documents prédéfinis ou préentraînés ou des modèles personnalisés autonomes formés.

Les modèles personnalisés de Document Intelligence comprennent des modèles de classification personnalisés pour les scénarios dans lesquels vous devez identifier le type de document avant d'invoquer le modèle d'extraction. Vous pouvez associer un modèle de classification à un modèle d’extraction personnalisé pour analyser et extraire des champs à partir de formulaires et de documents spécifiques à votre entreprise. Combinez des modèles d'extraction personnalisés autonomes pour créer des modèles composés

Outils d’IA personnalisés

Les modèles IA prédéfinis sont utiles et de plus en plus flexibles, mais la meilleure façon d’optimiser l’IA consiste à adapter un modèle à vos besoins spécifiques. Deux outils principaux pour créer des modèles IA personnalisés sont l’IA générative et le Machine Learning traditionnel.

Azure Machine Learning Studio

azure Machine Learning Studio est un service cloud permettant d’accélérer et de gérer le cycle de vie du projet Machine Learning. Les professionnels du Machine Learning, les scientifiques des données et les ingénieurs peuvent l’utiliser dans leurs flux de travail quotidiens pour former et déployer des modèles et gérer les opérations de Machine Learning.

  • Créez et entraînez des modèles Machine Learning à l’aide de n’importe quel type de calcul, y compris Spark et les GPU pour les charges de travail IA de grande taille à l’échelle du cloud.

  • Exécutez AutoML et utilisez l’interface utilisateur glisser-déplacer pour le Machine Learning à faible code.

  • Implémentez des opérations Machine Learning de bout en bout et des pipelines reproductibles.

  • Utilisez le tableau de bord IA responsable pour la détection de biais et l’analyse des erreurs.

  • Orchestrez et gérez l’ingénierie des invites et les flux de modèles de langage (LLM).

  • Déployez des modèles via des points de terminaison d’API REST, une inférence en temps réel et une inférence par lots.

  • Utilisez des espaces de travail hub pour partager le calcul, le quota, la sécurité et la connectivité aux ressources de l’entreprise, tout en centralisant la gouvernance pour le service informatique. Configurez un hub une seule fois, puis créez des espaces de travail sécurisés directement à partir du studio pour chaque projet. Utilisez des hubs pour gérer le travail de votre équipe dans le studio et le portail AI Foundry.

AI Foundry

AI Foundry vous aide à créer et déployer efficacement des applications d’INTELLIGENCE artificielle personnalisées avec la puissance des offres Azure AI étendues.

  • Créer ensemble en tant qu’équipe. Votre hub AI Foundry fournit une sécurité de niveau entreprise et un environnement collaboratif qui inclut des ressources partagées et des connexions aux modèles préentraînés, aux données et au calcul.

  • Organiser votre travail Votre projet AI Foundry vous aide à enregistrer l’état afin de pouvoir itérer à partir de la première idée vers le premier prototype et le premier déploiement de production. Invitez facilement d’autres personnes à collaborer avec vous.

  • Utilisez votre plateforme de développement et vos frameworks préférés, notamment GitHub, Visual Studio Code, LangChain, Semantic Kernel et AutoGen.

  • Découvrez et référencez à partir de plus de 1 600 modèles.

  • Fournissez des modèles en tant que service (MaaS) par le biais d'API sans serveur et d'une mise au point hébergée.

  • Incorporez plusieurs modèles, sources de données et modalités.

  • Créez RAG à l’aide de vos données d’entreprise protégées, sans avoir besoin de réglage précis.

  • Orchestrez et gérez l’ingénierie des invites et les flux de modèles de langage (LLM).

  • Concevoir et protéger des applications et DES API via des filtres et des contrôles configurables.

  • Évaluez les réponses de modèle à l’aide de flux d’évaluation intégrés et personnalisés.

  • Déployez des innovations IA sur l’infrastructure managée par Azure pour fournir une supervision et une gouvernance continues dans les environnements.

  • Surveillez en continu les applications déployées afin d'assurer la sécurité, la qualité, et la consommation de jetons en production.

Pour plus d’informations, consultez portail AI Foundry et Machine Learning Studio.

Flux d'invite dans le portail AI Foundry

Le flux d'invite dans le portail AI Foundry est un outil de développement que vous pouvez utiliser pour rationaliser l'ensemble du cycle de développement des applications d'IA qui sont alimentées par des LLM. Le flux rapide fournit une solution complète qui simplifie le processus de prototypage, d’expérimentation, d’itération et de déploiement de vos applications IA.

  • Le flux d'invite est une fonctionnalité que vous pouvez utiliser pour générer, personnaliser ou exécuter un flux.

  • Un flux est un jeu d’instructions qui peut implémenter la logique IA. Créez ou exécutez des flux via des outils, comme un canevas prédéfini ou LangChain. Vous pouvez enregistrer des itérations d’un flux en tant que ressources. Une fois que vous avez déployé un flux, il devient une API. Tous les flux ne sont pas des flux immédiats. Le flux d'invite est une façon de créer un flux.

  • Une requête est un package d'entrée envoyé à un modèle. Il se compose de l’entrée utilisateur, du message système et de tous les exemples. L’entrée utilisateur est du texte envoyé dans la fenêtre de conversation. Le message système est un ensemble d’instructions pour le modèle qui étend ses comportements et ses fonctionnalités.

  • Un exemple de flux est un flux d'orchestration simple et prédéfini qui illustre comment les flux fonctionnent. Vous pouvez personnaliser un exemple de flux.

  • Un exemple de requête est une requête définie pour un scénario spécifique que vous pouvez copier à partir d'une bibliothèque et utiliser telle quelle ou modifier dans la conception de la requête.

Langages de code IA personnalisés

Le concept fondamental de l'IA repose sur l'utilisation d'algorithmes pour analyser les données et générer des modèles qui les décrivent ou les évaluent de façons pratiques et utiles. Les développeurs et les scientifiques des données, et parfois d’autres algorithmes, utilisent du code de programmation pour écrire des algorithmes. Deux des langages de programmation les plus populaires pour le développement d’IA sont Python et R.

Python est un langage de programmation de haut niveau et à usage général. Elle a une syntaxe simple et facile à apprendre qui met l’accent sur la lisibilité. Il n’y a pas d’étape de compilation. Python dispose d’une grande bibliothèque standard et prend en charge la possibilité d’ajouter des modules et des packages. Cette fonctionnalité encourage la modularité et vous permet d’étendre les fonctionnalités si nécessaire. Il existe un écosystème important et croissant de bibliothèques d’IA et de Machine Learning pour Python, y compris beaucoup dans Azure.

Pour plus d'informations, reportez-vous aux ressources suivantes :

R est un langage et un environnement pour l’informatique statistique et les graphiques. Vous pouvez l’utiliser pour tout, de la cartographie des tendances sociales et marketing générales en ligne au développement de modèles financiers et climatiques.

Microsoft adopte entièrement le langage de programmation R et fournit de nombreuses options aux développeurs R pour exécuter leur code dans Azure.

Pour plus d’informations, consultez Utiliser R de manière interactive sur Machine Learning.

Pour obtenir des informations générales sur l’IA personnalisée sur Azure, consultez les ressources suivantes :

Témoignages client

De nombreuses industries appliquent l’IA de manière innovante et inspirante. Tenez compte des études de cas client suivantes et des histoires de réussite :

Parcourir d’autres récits de clients de l’IA

Informations générales sur Microsoft AI

En savoir plus sur l’IA Microsoft et rester à jour avec les actualités connexes :

Étape suivante