Partager via

Processus TDSP (Team Data Science Process) pour les scientifiques de données

  • Article

Cet article fournit des conseils et une formation sur les objectifs à définir lorsque vous mettez en œuvre des solutions complètes de science des données avec les technologies Azure.

Objectifs pour les scientifiques des données

Cette liste décrit les principaux objectifs des scientifiques des données qui utilisent le processus de science des données en équipe (TDSP) :

Ces objectifs sont essentiels pour se préparer à utiliser la TDSP. La TDSP présente une approche complète pour gérer et lancer efficacement des projets de science des données. Cet article décrit l’importance de chaque objectif et fournit des liens vers les ressources Azure correspondantes.

Comprendre une charge de travail analytique.

  • Identifier les besoins : Cette étape inclut la compréhension des besoins et objectifs spécifiques de la charge de travail analytique. Elle permet d’identifier les questions commerciales auxquelles il faut répondre et les problèmes à résoudre.

  • Définir le champ d’application : Cette étape consiste à définir clairement la portée du projet afin d’aider l’équipe à se concentrer sur les données pertinentes et les tâches d’analyse.

  • Allouer les ressources : Cette étape comprend l’analyse de la charge de travail afin d’identifier les ressources nécessaires, telles que la puissance de calcul, le stockage et l’expertise humaine.

Intégration dans la TDSP

Azure dispose de nombreuses ressources que vous pouvez utiliser pour les charges de travail analytiques. La liste suivante fournit des ressources recommandées dans les architectures Azure.

  • Planification et exécution : Utilisez le cadre d’adoption du cloud pour Azure pour la planification stratégique et la gouvernance. Ce cadre garantit que votre charge de travail analytique s’aligne sur les objectifs de l’entreprise et les exigences de conformité. Il s’appuie également sur le cadre relativement simple que vous utilisez dans la TDSP. Les fonctionnalités du cadre d’adoption du cloud sont les suivantes :

    • Planification stratégique : Fournit des orientations stratégiques pour aligner l’adoption du cloud sur les objectifs de l’entreprise. La planification stratégique signifie que vous concevez des charges de travail analytiques pour atteindre les objectifs de l’organisation.

    • Gouvernance et conformité : Fournit des cadres pour la gouvernance et la conformité. Les cadres de gouvernance et de conformité font que les charges de travail de traitement des données et d’analyse adhèrent aux exigences réglementaires et aux stratégies de l’organisation.

    • Migration et modernisation : Guide la migration des charges de travail analytiques existantes vers Azure pour aider à assurer une interruption minimale et des performances optimales dans le nouvel environnement.

    • Gestion et exploitation : Présente les meilleures pratiques de gestion et d’exploitation des ressources cloud, ce qui permet de garantir l’efficacité et la fiabilité des opérations des charges de travail analytiques.

    • Optimisation : Fournit des outils et des méthodologies pour optimiser en permanence les charges de travail. L’optimisation signifie que vous utilisez efficacement les ressources et que vous gérez efficacement les coûts.

  • Développement et collaboration : Utilisez Azure Synapse Analytics pour développer, tester et déployer des solutions analytiques et fournir un environnement de collaboration pour les scientifiques et les ingénieurs des données. Nous vous recommandons d’utiliser la plateforme Azure Synapse Analytics pour traiter les Big Data (d’un téraoctet et plus), ainsi que pour l’apprentissage automatique et la modélisation de l’intelligence artificielle (IA). Les fonctionnalités d’Azure Synapse Analytics comprennent :

    • Expérience unifiée : Offre une expérience unifiée pour ingérer, préparer, gérer et servir les données pour les besoins immédiats de veille stratégique et de machine learning.

    • Intégration des données : S’intègre de manière transparente à diverses sources de données, ce qui permet des capacités complètes d’ingestion et de traitement des données.

    • Big data et entreposage de données : Combine les capacités de big data et d’entreposage de données, ce qui vous permet d’exécuter efficacement des requêtes complexes sur des ensembles de données volumineux.

    • Évolutivité : Fait évoluer les ressources de calcul en fonction des charges de travail, ce qui vous garantit de pouvoir gérer efficacement des charges de traitement de données variables.

    • Collaboration : Facilite la collaboration au sein des équipes de science des données en fournissant des espaces de travail partagés et des environnements de développement intégrés (IDE).

    • Analyse : Prend en charge les analyses avancées et l’apprentissage machine avec une intégration intégrée pour des services tels que Machine Learning et Power BI.

  • Surveillance et optimisation : Utilisez Azure Monitor pour suivre les performances, identifier les problèmes et optimiser la charge de travail analytique. Azure Monitor contribue à la haute disponibilité et à la fiabilité. Les fonctionnalités d’Azure Monitor comprennent :

    • Collecte de données : Rassemble des mesures et des journaux à partir de diverses sources, notamment les ressources Azure, les applications et le système d’exploitation.

    • Surveillance : Fournit des aperçus sur les performances et l’intégrité de vos charges de travail analytiques en surveillant des mesures telles que l’utilisation du processeur, l’utilisation de la mémoire et le débit.

    • Diagnostic : Aide à identifier les problèmes et les anomalies dans vos pipelines de traitement de données et vos charges de travail grâce aux journaux de diagnostic et aux journaux d’activité.

    • Alertes : Configure des alertes basées sur des mesures spécifiques ou des données de journal, et vous informe rapidement des problèmes potentiels susceptibles d’affecter les performances ou la fiabilité de vos charges de travail analytiques.

    • Visualisation : Fournit des tableaux de bord et des classeurs personnalisables pour visualiser les données, ce qui vous aide à comprendre les tendances et les modèles de performance de votre charge de travail.

Utiliser le cycle de vie de la TDSP

Utilisez le cycle de vie TDSP pour structurer le développement de vos projets de science des données.

  • Approche structurée : Fournit un cadre structuré pour l’exécution des projets de science des données et favorise une approche systématique et disciplinée.

  • Collaboration : Favorise la collaboration entre les membres de l’équipe en définissant clairement les rôles et les responsabilités.

  • Meilleures pratiques : Intègre les meilleures pratiques du secteur et vous aide à mener vos projets de manière efficace et efficiente.

Intégration pour les scientifiques des données

Le TDSP est un cadre architectural évalué par les pairs qui fournit aux data scientists un cadre spécifique pour produire des modèles d’IA et de science des données.

Utiliser Azure Machine Learning

Utilisez Machine Learning pour construire et déployer des modèles de machine learning. Machine learning est la principale ressource Azure recommandée pour chacune des cinq étapes du cycle de vie de la TDSP : Compréhension de l’entreprise, acquisition et compréhension des données, modélisation, déploiement et acceptation par le client. Les fonctionnalités du Machine Learning comprennent :

  • Analyse avancée : Fournit des outils et des services puissants pour construire, former et déployer des modèles de machine learning.

  • Évolutivité : Fournit des ressources informatiques évolutives qui permettent aux équipes de traiter de grands ensembles de données et des modèles complexes.

  • Intégration : S’intègre bien avec d’autres services Azure et facilite un workflow transparent de l’ingestion des données au déploiement.

Voici comment le Machine Learning prend en charge chaque étape du TDSP :

Présentation de l’entreprise

Au cours de cette étape initiale, le Machine Learning vous aide à comprendre les exigences de votre entreprise et à définir les objectifs de votre projet de science des données.

  • Espaces de travail pour les projets : Fournit des espaces de travail de projet où les équipes peuvent collaborer et partager des documents. La collaboration permet à chacun de s’aligner sur les objectifs de l’entreprise.

  • Suivi des expériences : Prend en charge la documentation et la capacité à suivre les hypothèses initiales et les mesures métier qui guident votre projet de science des données.

  • Intégration avec Azure DevOps : gère les flux de travail du projet, les récits d’utilisateurs et les tâches. Azure DevOps aide à mapper la compréhension de l’entreprise en éléments exploitables.

Acquisition et compréhension des données

À ce stade, le Machine Learning vous aide à rassembler et à explorer les données pour comprendre leur structure et leur pertinence par rapport au problème de l’entreprise.

  • Intégration des données : Machine Learning s’intègre de manière transparente avec Azure Data Lake, Azure SQL Database et d’autres services de données, ce qui facilite l’ingestion de données à partir de diverses sources.

  • Étiquetage des données : Outils d’étiquetage des données intégrés qui vous aident à annoter les ensembles de données, ce qui est utile pour les modèles d’apprentissage supervisé.

  • Analyse exploratoire des données (EDA) : Les carnets Jupyter et les environnements Python/R intégrés dans Machine Learning permettent une AED approfondie pour comprendre les distributions de données, identifier les modèles et détecter les anomalies.

Modélisation

À ce stade, les data scientists construisent et entraînent des modèles de machine learning pour répondre aux problèmes de l’entreprise.

  • Machine learning automatisé : Sélectionne automatiquement les meilleurs algorithmes et règle les hyperparamètres qui accélèrent le processus de développement du modèle.

  • Modélisation personnalisée : prend en charge le développement de modèles personnalisés en utilisant des cadres populaires tels que TensorFlow, PyTorch et scikit-learn.

  • Expérimentation et gestion des versions : Prise en charge de l’exécution de plusieurs expériences en parallèle, du suivi des résultats et du versionnage des modèles, ce qui facilite la comparaison et la sélection du meilleur modèle.

  • Réglage des hyperparamètres : Optimise les performances du modèle grâce à la prise en charge intégrée de l’ajustement automatisé des hyperparamètres.

Déploiement

À cette étape, après avoir développé et validé votre modèle, Machine Learning le déploie pour qu’il soit utilisé dans des environnements de production.

  • Déploiement du modèle : Fournit diverses options de déploiement, notamment Azure Kubernetes Service (AKS) et les appareils de périphérie, qui permettent des stratégies de déploiement flexibles.

  • Gestion des points de terminaison : Fournit des outils de gestion des points de terminaison pour les prédictions en temps réel et par lots, et aide à la mise à disposition de modèles évolutifs et fiables.

  • Intégration et déploiement continus (CI/CD) : S’intègre à Azure DevOps, qui permet le CI/CD pour les modèles de machine learning, afin de construire des transitions répétables du développement à la production.

Acceptation du client

Dans cette dernière étape, vous vous concentrez sur l’utilisation de l’apprentissage automatique pour que le modèle déployé réponde aux exigences de l’entreprise et apporte de la valeur.

  • Surveillance du modèle : Fournit des capacités de surveillance complètes pour suivre les performances des modèles, détecter les dérives et maintenir la précision et la pertinence des modèles au fil du temps.

  • Boucles de commentaires : Prend en charge la mise en œuvre de boucles de commentaires dans lesquelles vous utilisez et examinez les prédictions pour réentraîner les modèles et améliorer en permanence la précision et la pertinence des modèles.

  • Rapports et visualisation : S’intègre aux notebooks, à Power BI et à d’autres outils de visualisation pour créer des tableaux de bord et des rapports et présenter les résultats et les aperçus des modèles aux parties prenantes.

  • Sécurité et conformité : Aide à maintenir les modèles et les données en conformité avec les exigences réglementaires et fournit des outils pour gérer la confidentialité et la sécurité de vos données.

Comprendre les fondements du transfert et du stockage des données

Un transfert et un stockage efficaces des données sont des éléments essentiels pour gérer en toute sécurité d’importants volumes de données.

  • Gestion des données : Elle vous aide à gérer de grands volumes de données de la manière la plus efficace, la plus conforme et la plus efficiente possible.

  • Accessibilité : permet de rendre les données facilement accessibles aux membres de l’équipe et aux outils d’analyse, ce qui est essentiel pour la collaboration et le traitement en temps réel.

  • Conformité et sécurité : le traitement des données est conforme aux exigences légales et réglementaires et les données sensibles sont protégées.

Intégrer le transfert et le stockage des données dans la TDSP

Azure dispose de nombreuses ressources que vous pouvez utiliser pour le transfert et le stockage des données. La liste suivante fournit des ressources recommandées pour les architectures Azure.

Options de transfert de données Azure : Comprend diverses méthodes et outils pour transférer efficacement des données vers et depuis Azure, ce qui permet de répondre à différents besoins en matière de données et de tailles de données.

  • Azure Data Box : Transfère des données volumineuses à grande échelle vers Azure en utilisant un appareil physique sans dépendre d’internet. Il permet de transférer en toute sécurité des téraoctets de données lorsque la bande passante du réseau est limitée.

  • Service d’importation/exportation Azure : prend en charge le transfert de grandes quantités de données vers Azure en expédiant des lecteurs de disque dur directement vers les centres de données Azure. Ce service est utile pour les migrations de données initiales lorsque le chargement par le biais d’un réseau n’est pas pratique.

  • Azure Data Factory : Automatise et gère le transfert de données. Data Factory est un service d’intégration de données basé sur le cloud qui orchestre et automatise le déplacement et la transformation des données. Il permet de mettre en œuvre des processus ETL (extraction, transformation, chargement) complexes et d’intégrer des données provenant de diverses sources dans Azure pour les tâches d’analyse et de machine learning.

  • Transfert en réseau : Inclut les transferts à haut débit basés sur internet en utilisant Azure ExpressRoute. Le transfert réseau fournit une connexion privée entre l’infrastructure locale et Azure qui aide à transférer les données en toute sécurité et rapidement.

Service de migration des bases de données Azure : Ce service gère la migration des bases de données vers Azure afin de minimiser les temps d’arrêt et de garantir l’intégrité des données. Le service de migration des bases de données est un service entièrement géré conçu pour permettre des migrations transparentes à partir de plusieurs sources de bases de données vers les plateformes de données Azure avec un temps d’arrêt minimal (ou des migrations en ligne). Cela fournit les avantages suivants :

  • Migration automatisée : Simplifie le processus de migration en fournissant des workflows automatisés pour le déplacement des bases de données locales vers SQL Database, Azure Database for MySQL et Azure Database for PostgreSQL.

  • Réplication continue : Prend en charge la réplication continue des données, ce qui permet de minimiser les temps d’arrêt et de maintenir les données à jour pendant le processus de migration.

  • Compatibilité : Prend en charge les contrôles de compatibilité et recommande des optimisations pour l’environnement Azure cible afin de rendre la transition transparente et efficace.

  • Outils d’évaluation : Ces outils permettent d’évaluer l’état de préparation des bases de données à la migration, d’identifier les problèmes potentiels et de proposer des recommandations pour les résoudre.

Stockage Azure : Fournit des solutions de stockage évolutives, sécurisées et durables, adaptées à différents types de données et de cas d’utilisation. Les types de stockage suivants sont pris en charge :

  • Stockage Blob : Stocke des données non structurées telles que des documents, des images, des vidéos et des sauvegardes. Il est idéal pour les data scientists qui ont besoin de stocker de grands ensembles de données pour les modèles de machine learning.

  • Azure Data Lake Storage : Gère l’analyse des données volumineuses. Data Lake Storage offre un espace de noms hiérarchique et une compatibilité avec Hadoop, ce qui le rend adapté aux projets d’analyse de données à grande échelle.

  • Azure Table Storage : Stocke les valeurs clés NoSQL pour les données semi-structurées et convient aux applications qui nécessitent une conception sans schéma.

  • Stockage de fichiers Azure : Gère les partages de fichiers dans le cloud auxquels vous accédez par le biais du protocole SMB standard, ce qui est utile pour les besoins de stockage partagé.

  • Azure Queue Storage : Fournit une messagerie entre les composants de l’application, ce qui est utile pour le découplage et la mise à l’échelle des services.

Fournir une documentation sur la source des données

  • Transparence des données : La documentation sur les sources de données permet de connaître l’origine des données, leur qualité et leurs limites.

  • Reproductibilité : Une documentation appropriée aide les autres membres de l’équipe ou les parties prenantes à comprendre et à reproduire le processus de science des données.

  • Intégration des données : L’intégration des données consiste à intégrer efficacement diverses sources de données en fournissant une compréhension claire de l’origine et de la structure des données.

Intégrer la documentation sur les sources de données dans le TDSP

Azure dispose de nombreuses ressources que vous pouvez utiliser pour la documentation des sources de données, notamment les notebooks. La liste suivante fournit des ressources recommandées pour les architectures Azure.

Azure Data Catalog est un catalogue de métadonnées à l’échelle de l’entreprise qui simplifie la découverte des ressources de données. Il aide à documenter les sources de données et leurs caractéristiques et offre les avantages suivants :

  • Gestion des métadonnées : Permet aux utilisateurs d’enregistrer des sources de données et d’ajouter des métadonnées qui comprennent des descriptions, des balises et des annotations.

  • Découverte des sources de données : Fournit un catalogue consultable permettant aux utilisateurs de trouver et de comprendre les sources de données disponibles au sein de l’organisation.

  • Collaboration : Permet aux utilisateurs de partager des aperçus et de la documentation sur les sources de données, ce qui améliore la collaboration entre les membres de l’équipe.

  • Informations sur les sources de données : Extrait et documente automatiquement les informations sur les sources de données. Les informations extraites comprennent les schémas, les tables, les colonnes et les relations.

Azure Purview Fournit un service unifié de gouvernance des données qui aide à gérer et à gouverner les données au sein de votre organisation. Il présente les caractéristiques suivantes :

  • Mappage et lignage des données : aide à documenter le flux et le lignage des données dans différents systèmes, ce qui permet d’avoir une vision claire de l’origine des données et de leur transformation.

  • Catalogue de données : Fournit un catalogue de données consultable, enrichi de métadonnées et de classifications de données, similaire au catalogue de données d’Azure.

  • Glossaire métier : Aide à créer et à maintenir un glossaire d’entreprise pour conserver une terminologie cohérente et favoriser la compréhension au sein de l’organisation.

  • Aperçus et analyses : Fournit des aperçus sur l’utilisation des données et aide à identifier les problèmes de qualité des données, ce qui améliore le processus de documentation.

Utilisez des outils pour le traitement analytique

  • Efficacité : Les bons outils de traitement analytique améliorent l’efficacité et la rapidité de l’analyse des données.

  • Capacités : Différents outils offrent diverses capacités, telles que la visualisation des données, l’analyse statistique et le machine learning, qui sont essentielles pour une science des données complète.

  • Productivité : Les outils spécialisés peuvent améliorer considérablement la productivité des scientifiques des données en automatisant les tâches répétitives et en fournissant des fonctions analytiques avancées.

Intégrer le traitement analytique dans le TDSP

Azure dispose de nombreux services que vous pouvez utiliser pour le traitement analytique, l’apprentissage automatique étant le principal service recommandé. La liste suivante fournit des services recommandés pour les architectures Azure qui nécessitent des fonctionnalités allant au-delà du Machine Learning.

Azure Synapse Analytics Vous permet de traiter des volumes massifs de données relationnelles et non relationnelles. C’est un service d’analyse intégré qui accélère le délai d’obtention d’un aperçu dans les entrepôts de données et les systèmes big data. Azure Synapse Analytics propose les fonctionnalités suivantes :

  • Intégration des données : L’intégration de données provenant de diverses sources permet l’ingestion et le traitement de données en toute transparence.

  • Entrepôt de données SQL : Fournit des capacités d’entreposage de données d’entreprise avec des requêtes très performantes.

  • Apache Spark : Fournit des pools Spark pour le traitement des big data qui prend en charge l’analyse des données à grande échelle et l’apprentissage automatique.

  • Synapse Studio : Permet aux scientifiques des données de collaborer à l’élaboration de solutions analytiques de bout en bout. Synapse Studio est un environnement de développement intégré (IDE).

Azure Databricks est une plateforme analytique basée sur Apache Spark et optimisée pour Azure qui offre les fonctionnalités suivantes :

  • Carnets de notes collaboratifs : Prise en charge d’espaces de travail collaboratifs où les scientifiques des données peuvent écrire du code, exécuter des expériences et partager des résultats.

  • Calcul évolutif : Met à l’échelle les ressources de calcul automatiquement en fonction des charges de travail et optimise les coûts et les performances.

  • Machine learning : Fournit des bibliothèques intégrées pour l’apprentissage machine, notamment MLlib, TensorFlow et Keras, afin de rationaliser le développement et l’entraînement des modèles.

Data Factory : Orchestre le mouvement et la transformation des données au moyen de son service d’intégration de données basé sur le cloud. Data Factory prend en charge les fonctionnalités suivantes :

  • Pipelines ETL : Vous permet de créer des pipelines ETL (extraction, transformation, chargement) pour traiter et préparer les données pour l’analyse.

  • Flux de données : Permet de créer des flux de données visuels pour concevoir et exécuter des processus de transformation de données sans écrire de code.

  • Intégration : Se connecte à un large éventail de sources de données, y compris les magasins de données locaux et basés sur le cloud. Cette fonction permet une intégration complète des données.

Azure Stream Analytics Traite les flux de données en mouvement rapide. Stream Analytics est un service d’analyse en temps réel qui offre les fonctionnalités suivantes :

  • Traitement des flux : Traite les données provenant de diverses sources telles que les appareils IoT, les capteurs et les applications en temps réel.

  • Requête basée sur SQL : Utilise un langage familier basé sur SQL pour définir la logique de traitement des flux afin de la rendre accessible aux data scientists.

  • Intégration : S’intègre à d’autres services Azure comme Event Hubs et IoT Hub pour une ingestion et un traitement transparents des données.

Résumé

Cette liste séquentielle vous aide à vous préparer de manière exhaustive à l’utilisation du TDSP :

  1. Établissez une compréhension claire des exigences et de la portée du projet.

  2. Adoptez une approche structurée et collaborative de l’exécution du projet.

  3. Utilisez des outils et des services avancés pour l’apprentissage automatique et l’analyse.

  4. Assurez une gestion efficace et sécurisée des données.

  5. Maintenez la transparence et la reproductibilité grâce à la documentation.

  6. Utilisez des outils appropriés pour améliorer l’efficacité et l’efficience du traitement des données.

La préparation est essentielle pour mener à bien des projets de science des données qui répondent aux objectifs de l’entreprise et respectent les meilleures pratiques.

Parcours de formation sur Microsoft Learn

Que vous débutiez votre carrière ou que vous soyez un professionnel expérimenté, notre approche autodirigée vous aide à atteindre vos objectifs plus rapidement, avec plus de confiance et à votre propre rythme. Développez des compétences par le biais de modules et de parcours interactifs ou apprenez d’un instructeur. Apprenez et développez-vous à votre rythme.

Microsoft Learn organise son contenu de formation en trois niveaux de compétence : débutant, intermédiaire et avancé. Il est essentiel de comprendre ces distinctions pour sélectionner les parcours d’apprentissage appropriés en fonction de votre niveau de compétence et de vos objectifs de carrière.

Débutant

  • Public cible : Les personnes qui ne connaissent pas la technologie ou les concepts abordés.
  • Contenu : Introduction de base aux concepts, aux compétences fondamentales et aux premières étapes nécessaires pour démarrer. Il couvre généralement les principes de base et les connaissances fondamentales.

Objectif :

  • Construire une base solide dans un nouveau domaine
  • Aider les apprenants à comprendre les concepts et terminologies de base
  • Préparer les apprenants à des articles plus complexes

Parcours d’apprentissage pour débutants

Intermédiaire

  • Public cible : Les personnes qui ont une compréhension de base de la technologie et qui cherchent à approfondir leurs connaissances.
  • Contenu : Compétences plus détaillées et plus pratiques, y compris des exercices pratiques et des scénarios du monde réel. Cette formation nécessite un approfondissement du sujet.

Objectif :

  • Combler le fossé entre la compréhension de base et la compétence avancée
  • Permettre aux apprenants de gérer des tâches et des scénarios plus complexes
  • Préparer les apprenants à des examens de certification ou à des rôles spécialisés.

Parcours d’apprentissage intermédiaires

Avancé

  • Public cible : Professionnels expérimentés qui cherchent à perfectionner leurs compétences et à s’attaquer à des tâches complexes et de haut niveau.
  • Contenu : Formation technique approfondie, techniques avancées et couverture complète de sujets spécialisés. Il comprend souvent des stratégies de résolution de problèmes et d’optimisation de niveau expert.

Objectif :

  • Fournir une expertise dans un domaine spécifique
  • Préparer les apprenants à des certifications de niveau expert et à des rôles professionnels avancés.
  • Permettre aux apprenants de diriger des projets et d’innover dans leur domaine.

Parcours d’apprentissage pour les experts

Contributeurs

Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes

Poursuivez votre parcours IA dans le centre d’apprentissage dédié à l’IA.