Archive des nouveautés pour Azure Data Factory
Azure Data Factory fait l’objet d’améliorations continues. Pour vous tenir au courant des développements les plus récents, reportez-vous à la page Nouveautés actuelle qui fournit des informations sur les points suivants :
- Les versions les plus récentes.
- Problèmes connus.
- Résolution des bogues.
- Fonctionnalités dépréciées.
- Modifications planifiées.
Cette page d’archive conserve les mises à jour des mois antérieurs.
Consultez notre Archive des vidéos sur les nouveautés pour accéder à toutes nos mises à jour mensuelles.
Septembre 2023
Pipelines
Ajout de la prise en charge des pipelines pilotés par les métadonnées pour le traitement intégral et incrémentiel dynamique dans En savoir plus Azure SQL
Août 2023
Capture de données modifiées
- Disponibilité cible Azure Synapse Analytics dans une ressource de capture des changements de données (CDC) de niveau supérieur En savoir plus
- Connecteur Snowflake dans la prise en charge des flux de données de mappage pour la capture des changements de données en préversion publique En savoir plus
Flux de données
- Type entier disponible pour des variables de pipeline En savoir plus
- Connecteur source CDC Snowflake disponible dans une ressource de capture des changements de données (CDC) de niveau supérieur En savoir plus
- Prise en charge native de l’interface utilisateur du paramétrage pour d’autres services liés En savoir plus
Déplacement des données
- Prise en charge des points de terminaison privés managés pour Application Gateway et le serveur flexible MySQL En savoir plus
- Disponibilité générale du réseau virtuel managé (TTL) En savoir plus
Runtime d’intégration
Le runtime d’intégration auto-hébergé prend désormais en charge la création interactive autonome (préversion) En savoir plus
Juillet 2023
Capture de données modifiées
La ressource CDC de niveau supérieur prend désormais en charge l’évolution du schéma. En savoir plus
Data flow (Flux de données)
L’option de schéma de fusion dans le récepteur delta prend désormais en charge l’évolution du schéma dans les flux de données de mappage. En savoir plus
Déplacement des données
- Commenter une partie du pipeline avec la désactivation. En savoir plus
- La valeur renvoyée du pipeline est désormais en disponibilité générale. En savoir plus
Productivité des développeurs
La recherche de documentation est désormais incluse dans la barre d’outils de recherche Azure Data Factory. En savoir plus
Juin 2023
Intégration continue et déploiement continu
Le package npm prend désormais en charge des offres groupées pré-téléchargées pour la création de modèles ARM. Si votre paramètre de pare-feu bloque le téléchargement direct pour votre package npm, vous pouvez désormais précharger le package à l’avance et laisser le package npm consommer la version locale à la place. Cela permet de renforcer votre pipeline CI/CD dans un environnement pare-feu.
Expansion des régions
Azure Data Factory est maintenant disponible en Suède Centre. Vous pouvez colocaliser votre flux de travail ETL dans cette nouvelle région si vous utilisez cette région pour le stockage et la gestion de votre entrepôt de données moderne. En savoir plus
Déplacement des données
La sécurisation du trafic sortant avec les règles réseau sortantes de Azure Data Factory est désormais prise en charge. En savoir plus
Connecteurs
Le connecteur Amazon S3 est désormais pris en charge en tant que destination récepteur à l’aide des flux de données de mappage. En savoir plus
Data flow (Flux de données)
Nous introduisons des paramètres source facultatifs pour les sources DelimitedText et JSON dans la ressource CDC de niveau supérieur. La ressource CDC de niveau supérieur dans la fabrique de données prend désormais en charge les configurations sources facultatives pour les sources Delimited et JSON. Vous pouvez maintenant sélectionner les délimiteurs de colonne/ligne pour les sources délimitées et définir le type de document pour les sources JSON. En savoir plus
Mai 2023
Data Factory dans Microsoft Fabric
Data Factory dans Microsoft Fabric fournit des services de déplacement et de transformation des données à l’échelle du cloud qui vous permettent de résoudre les scénarios de fabrique de données et d’ETL les plus complexes. Il est destiné à rendre votre expérience de fabrique de données facile à utiliser, puissante et véritablement professionnelle.
Avril 2023
Flux de données
Déroulez facilement plusieurs tableaux dans des flux de données ADF. ADF a mis à jour la transformation Aplatissement qui facilite désormais le déroulement de plusieurs tableaux à partir d’une unique étape de la transformation Aplatissement. En savoir plus
Intégration et déploiement continus
Vous pouvez maintenant personnaliser le message de validation en mode Git. Renseignez une description détaillée des modifications que vous apportez et nous allons les enregistrer dans le référentiel Git.
Connecteurs
Le connecteur du Stockage Blob Azure prend désormais en charge l’authentification anonyme. En savoir plus
Mars 2023
Connecteurs
Le connecteur Azure Data Lake Storage Gen2 prend désormais en charge l’authentification par signature d’accès partagé. En savoir plus
Février 2023
Déplacement des données
- En savoir plus sur le type d’authentification anonyme pris en charge pour le Stockage Blob Azure
- En savoir plus sur le modèle SAP mis à jour pour déplacer facilement des données SAP vers ADLSGen2 au format Delta
Orchestration
- En savoir plus sur la définition de la valeur de sortie du pipeline (préversion publique)
- Gestionnaire d’orchestration de flux de travail (préversion publique) En savoir plus
Productivité des développeurs
En savoir plus sur l’ajout de la prise en charge du thème sombre (préversion publique)
Janvier 2023
Flux de données
- Les flowlets prennent désormais en charge la dérive de schéma En savoir plus
- L’extrait incrémentiel CDC SQL prend désormais en charge les colonnes numériques En savoir plus
Déplacement des données
Nouvelle ressource CDC de niveau supérieur - Configuration CDC native en 3 étapes simples En savoir plus
Orchestration
Orchestrer les notebooks Synapse et les définitions de tâche Synapse Spark en mode natif En savoir plus
Expansion des régions
- Poursuite de l’expansion de la région - Chine Nord 3 désormais pris en charge En savoir plus
- Poursuite de l’expansion de la région - Suisse Ouest désormais pris en charge En savoir plus
SQL Server Integration Services (SSIS)
L’injection de réseau virtuel express pour SSIS est désormais en disponibilité générale En savoir plus
Productivité des développeurs
- Ajout de la prise en charge de la mise en favoris des ressources dans la page d’accueil
- Enregistrer la largeur des colonnes pour la supervision des pipelines
- Superviser les mises à jour des filtres pour accélérer les recherches
- Lancer directement la galerie de modèles de pipeline par le biais du portail Azure
Décembre 2022
Flux de données
Extraction incrémentielle de capture de données modifiées (CDC) SQL : prend en charge les colonnes numériques dans le flux de données de mappage En savoir plus
Déplacement des données
L’injection de réseau virtuel express pour SSIS dans Azure Data Factory est en disponibilité générale En savoir plus
Expansion des régions
Poursuite de l’expansion de la région - Azure Data Factory est désormais disponible en Chine Nord 3 En savoir plus
Novembre 2022
Flux de données
- Incrémentiel uniquement disponible dans la capture des changements de données SAP : récupérez uniquement les modifications dans le système SAP sans chargement complet initial (en savoir plus)
- Partitions sources dans la charge de données complète initiale de la capture des changements de données SAP pour améliorer les performances (en savoir plus)
- Nouveau modèle de pipeline : chargez plusieurs objets en grandes quantités à partir de SAP au moyen de la capture des changements de données SAP (en savoir plus)
Déplacement de données +
- Prise en charge d’Azure Databricks par le biais d’une liaison privée à partir d’un réseau virtuel managé Data Factory (en savoir plus)
Interface utilisateur
Ajout de deux améliorations du concepteur de pipeline à l’expérience de préversion d’ADF Studio
- Menu volant de contenu dynamique : définissez plus facilement du contenu dynamique dans vos activités de pipeline sans utiliser le générateur d’expressions (en savoir plus)
- Déplacement des messages d’erreur dans la colonne État : consultez plus facilement les erreurs lorsque vous voyez une exécution de pipeline en échec (en savoir plus)
Intégration et déploiement continus
Bouton Désactiver la publication : dans la configuration de la publication automatique, le bouton Désactiver la publication est disponible pour annuler le remplacement du dernier déploiement de publication automatisé (en savoir plus)
Octobre 2022
Résumé de la vidéo
Flux de données
- Exporter jusqu’à 1 000 lignes à partir de l’aperçu du flux de données En savoir plus
- CDC SQL dans les flux de données de mappage désormais disponibles (préversion publique) En savoir plus
- Déverrouiller l’analytique avancée avec le connecteur du flux de données de mappage Microsoft 365 En savoir plus
- Capture de données modifiées SAP (CDC) désormais en disponibilité générale En savoir plus
Productivité des développeurs
- Accepter maintenant les contributions de la communauté à la galerie de modèles En savoir plus
- Nouvelle conception dans le Portail Azure : découvrez facilement comment lancer ADF Studio En savoir plus
- Le Centre d’apprentissage est désormais disponible dans le studio Azure Data Factory En savoir plus
- Un clic pour essayer Azure Data Factory En savoir plus
Orchestration
- Affichage de facturation granulaire disponible pour ADF : consultez les informations détaillées sur la facturation par pipeline (préversion publique) En savoir plus
- Le délai d’exécution de l’activité de script est désormais configurable En savoir plus
Expansion des régions
Poursuite de l’expansion de la région – Qatar Central désormais pris en charge En savoir plus
Intégration et déploiement continus
Exclure les déclencheurs de pipeline qui n’ont pas changé dans le déploiement maintenant en disponibilité générale En savoir plus
Septembre 2022
Résumé de la vidéo
Flux de données
- Connecteur source Amazon S3 ajouté En savoir plus
- Connecteur REST Google Sheets ajouté en tant que source (préversion) En savoir plus
- Optimisation des colonnes maximum dans le flux de données En savoir plus
- Fonctionnalités de capture des changements de données SAP dans le flux de données de mappage (préversion) - Extraire et transformer les changements de données à partir de systèmes SAP pour une actualisation des données plus efficace En savoir plus
- Écriture de données dans un champ de recherche avec d’autres clés prises en charge dans les connecteurs Dynamics 365/CRM pour les flux de données de mappage En savoir plus
Déplacement des données
Prise en charge de la conversion du type Oracle NUMBER en nombre entier correspondant dans la source En savoir plus
Surveillance
- Améliorations supplémentaires de la supervision dans Azure Data Factory En savoir plus
- Améliorations du monitoring du chargement : données de regroupements après réexécution du pipeline récupérées (fetch) uniquement en cas de développement
- Pagination ajoutée à la vue des exécutions d’activité de pipeline pour voir tous les enregistrements d’activité dans l’exécution de pipeline
- Amélioration du monitoring de la consommation : icône de chargement ajoutée pour savoir quand le calcul du rapport de consommation est terminé
- Colonnes de tri supplémentaires dans le monitoring : tri ajouté pour le nom du pipeline, la fin de l’exécution et l’état
- Paramètres de fuseau horaire maintenant enregistrés dans le monitoring
- Vue Diagramme de Gantt désormais prise en charge dans le monitoring d’IR En savoir plus
Orchestration
La méthode DELETE dans l’activité web prend désormais en charge l’envoi d’un corps avec une requête HTTP En savoir plus
Interface utilisateur
- Ajout de la prise en charge native dans l’IU du paramétrage pour 6 services liés supplémentaires : SAP ODP, ODBC, Microsoft Access, Informix, Snowflake et DB2 En savoir plus
- Améliorations apportées au concepteur de pipelines ajoutées dans l’expérience Studio Preview : les utilisateurs peuvent voir le workflow à l’intérieur d’objets de pipeline tels que For Each, If Then, etc. En savoir plus
Août 2022
Résumé de la vidéo
Flux de données
- Connecteur Appfigures ajouté en tant que source (préversion) En savoir plus
- Transformation de cast ajoutée - conversion visuelle de types de données En savoir plus
- Nouvelle interface utilisateur pour les jeux de données inline - catégories ajoutées pour trouver facilement des sources de données En savoir plus
Déplacement des données
Type d’authentification de principal de service ajouté pour le Stockage Blob Azure En savoir plus
Productivité des développeurs
- Délai d’expiration d’activité par défaut modifié de 7 jours à 12 heures En savoir plus
- Nouvelle expérience de création de fabrique de données - un seul clic pour préparer la fabrique en quelques secondes En savoir plus
- Mise à jour de l’IU du générateur d’expressions - onglets par catégorie ajoutés pour faciliter l’utilisation En savoir plus
Intégration continue et livraison continue (CI/CD)
Lors de l’intégration CI/CD d’un modèle ARM, au lieu de désactiver tous les déclencheurs, il est possible d’exclure les déclencheurs qui n’ont pas changé dans le déploiement En savoir plus
Juillet 2022
Résumé de la vidéo
Flux de données
- Connecteur Asana ajouté en tant que source En savoir plus
- Trois nouvelles fonctions de transformation de données sont désormais prises en charge En savoir plus
- collectUnique() - Créer une collection de valeurs uniques dans un tableau.
- substringIndex() - Extraire la sous-chaîne située avant n occurrences d’un délimiteur.
- topN() - Retourner les n premiers résultats après le tri des données.
- Option Rerécupérer de la source disponible dans Actualiser pour les scénarios de changement de la source de données En savoir plus
- Fonctions définies par l’utilisateur (GA) – Créer des expressions réutilisables et personnalisées pour ne pas avoir à créer sans cesse une logique complexe En savoir plus Vidéo
- Configuration plus simple sur le runtime de flux de données : choix de la taille de calcul entre Petite, Moyenne et Grande pour préconfigurer tous les paramètres du runtime d’intégration En savoir plus
Intégration continue et livraison continue (CI/CD)
Inclure les paramètres globaux pris en charge dans le modèle ARM. En savoir plus
Productivité des développeurs
Prenez part à l’évaluation des fonctionnalités d’Azure Data Factory Studio Preview. Essayez les toutes dernières fonctionnalités d’Azure Data Factory et soyez les premiers à partager vos commentaires En savoir plus
Juin 2022
Résumé de la vidéo
| Catégorie de service | Améliorations du service | Détails |
| Data flow (Flux de données) | Jointure approximative prise en charge pour les flux de données | La jointure approximative est désormais prise en charge dans une transformation de jointure de flux de données avec un score de similarité configurable sur les conditions de jointure. En savoir plus |
| Fonctionnalités d’édition dans la projection de source | Des fonctionnalités d’édition dans la projection de source sont disponibles dans le flux de données pour faciliter l’apport de modifications aux schémas En savoir plus | |
| Gestion des erreurs d’assertion | La gestion des erreurs d’assertion est désormais prise en charge dans les flux de données pour la qualité et la validation des données En savoir plus | |
| Déplacement des données | Paramétrage pris en charge en mode natif dans 4 connecteurs supplémentaires | Nous avons ajouté la prise en charge en mode natif via l’interface utilisateur du paramétrage des services liés suivants : Azure Data Lake Gen1, Azure PostgreSQL, Google AdWords et PostgreSQL. En savoir plus |
| Fonctionnalités de capture des changements de données (CDC) SAP dans le nouveau connecteur SAP ODP (préversion publique) | Les fonctionnalités de capture des changements de données (CDC) SAP sont désormais prises en charge dans le nouveau connecteur SAP ODP. En savoir plus | |
| Runtime d’intégration | Durée de vie dans un VNET managé (préversion publique) | La durée de vie peut être définie sur les calculs approvisionnés dans un VNET managé. En savoir plus |
| Surveillance | Réexécuter un pipeline avec de nouveaux paramètres | Vous pouvez maintenant réexécuter des pipelines avec de nouvelles valeurs de paramètre dans Azure Data Factory. En savoir plus |
| Orchestration | La propriété « turnOffAsync » est disponible dans l’activité web | L’activité web prend en charge un modèle de requête-réponse asynchrone qui appelle une requête HTTP GET sur le champ Emplacement dans l’en-tête de réponse d’une réponse HTTP 202. Il permet à l’activité web d’interroger automatiquement le point de terminaison de surveillance jusqu’à ce que le travail s’exécute. La propriété « turnOffAsync » est prise en charge pour désactiver ce comportement dans les cas où aucune interrogation n’est nécessaire En savoir plus |
Mai 2022
| Catégorie de service | Améliorations du service | Détails |
| Data flow (Flux de données) | Fonctions définies par l’utilisateur pour les flux de données de mappage | Azure Data Factory introduit en préversion publique les fonctions et les bibliothèques de flux de données définies par l’utilisateur. Une fonction définie par l’utilisateur est une expression personnalisée que vous pouvez définir pour pouvoir réutiliser la logique sur plusieurs flux de données de mappage. Les fonctions définies par l’utilisateur résident dans une collection appelée bibliothèque de flux de données pour pouvoir regrouper facilement des ensembles courants de fonctions personnalisées. En savoir plus |
Avril 2022
| Catégorie de service | Améliorations du service | Détails |
| Data flow (Flux de données) | Améliorations de l’aperçu et du débogage des données dans les flux de données de mappage | Les sessions de débogage utilisant le runtime d’intégration Azure AutoResolve démarrent désormais en moins de 10 secondes. Il existe de nouvelles mises à jour du panneau d’aperçu des données dans les flux de données de mappage. Vous pouvez maintenant trier les lignes dans la vue d’aperçu des données en sélectionnant les en-têtes de colonne. Vous pouvez déplacer des colonnes de manière interactive. Vous pouvez également enregistrer les résultats de l’aperçu des données sous forme de fichier CSV à l’aide de l’option Exporter un fichier CSV. En savoir plus |
| Dataverse Connector est maintenant disponible pour les flux de données de mappage | Dataverse Connector est disponible en tant que source et récepteur pour les flux de données de mappage. En savoir plus | |
| Prise en charge des schémas de base de données utilisateur pour la mise en lots avec les connecteurs Azure Synapse Analytics et PostgreSQL dans le récepteur de flux de données | Le récepteur de flux de données prend désormais en charge l’utilisation d’un schéma de base de données utilisateur pour la mise en lots dans les connecteurs Azure Synapse Analytics et PostgreSQL. En savoir plus | |
| Surveillance | Plusieurs mises à jour aux expériences de surveillance de Data Factory | Les nouvelles mises à jour de l’expérience de surveillance dans Azure Data Factory notamment la possibilité d’exporter des résultats vers un fichier CSV, d’effacer tous les filtres, d’ouvrir une exécution dans un nouvel onglet et d’améliorer la mise en cache des colonnes et des résultats. En savoir plus |
| Interface utilisateur | Prise en charge du nouveau format régional | Le choix de votre langue et du format régional dans les paramètres influencera le format dans lequel les données telles que les dates et heures apparaîtront dans la surveillance Azure Data Factory Studio. Par exemple, le format d’heure dans la surveillance s’affiche comme « 2 avril 2022, 3:40:29 PM » lors du choix de l’anglais comme format régional et « 2 avr 2022, 15:40:29 » lors du choix du français comme format régional. Ces paramètres affectent uniquement l’interface utilisateur d’Azure Data Factory Studio et ne modifient pas vos données et fuseau horaire réels. |
Mars 2022
Résumé de la vidéo
| Catégorie de service | Améliorations du service | Détails |
| Data flow (Flux de données) | ScriptLines et le service lié paramétrisé prennent en charge les flux de données de mappage ajoutés | Il est maintenant facile de détecter les changements de votre script de flux de données dans Git avec ScriptLines dans votre définition JSON de flux de données. Les services liés paramétrisés peuvent aussi être utilisés dans vos flux de données pour des modèles de connexion génériques flexibles. En savoir plus |
| Disponibilité générale (GA) des flowlets | Les flowlets sont maintenant en disponibilité générale pour créer des portions réutilisables de logique de flux de données que vous pouvez partager dans d’autres pipelines en tant que transformations inline. Les flowlets permettent aux tâches d’extraction, transformation et chargement (ETL) d’être composées de composants logiques personnalisés ou communs. En savoir plus | |
| Les connecteurs de flux de modification sont disponibles dans cinq transformations sources de flux de données | Les connecteurs de flux de modification sont disponibles dans les transformations de source de flux de données pour Azure Cosmos DB, Stockage Blob Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 et le modèle de données commun (CDM). En savoir plus | |
| Améliorations de l’aperçu et du débogage des données dans les flux de données de mappage | De nouvelles fonctionnalités ont été ajoutées à l’expérience d’aperçu et de débogage des données dans les flux de données de mappage. En savoir plus | |
| Connecteur SFTP pour flux de données de mappage | Le connecteur SFTP est disponible pour le flux de données de mappage en tant que source et récepteur. En savoir plus | |
| Déplacement des données | Prise en charge des connecteurs relatifs à Always Encrypted pour SQL dans l’activité Recherche sous les VNET managés | Always Encrypted est pris en charge pour SQL Server, Azure SQL Database, Azure SQL Managed Instance et Synapse Analytics dans l’activité de recherche sous le réseau virtuel managé. En savoir plus |
| Runtime d’intégration | Nouvelle présentation de l’interface utilisateur dans la page de création et de modification d’Azure IR | La disposition de l’interface utilisateur de la page de création et de modification du runtime d’intégration utilise désormais le style d’onglet pour les paramètres, le réseau virtuel et le runtime de flux de données. En savoir plus |
| Orchestration | Transformer des données à l’aide de l’activité Script | Vous pouvez utiliser une activité Script pour invoquer un script SQL dans SQL Database, Azure Synapse Analytics, SQL Server, Oracle ou Snowflake. En savoir plus |
| Amélioration du délai d’expiration de l’activité Web | Vous pouvez configurer le délai d’expiration de la réponse dans l’activité web pour éviter son dépassement si le délai de réponse est supérieur à une minute, notamment dans le cas des API synchrones. En savoir plus |
Février 2022
Résumé de la vidéo
| Catégorie de service | Améliorations du service | Détails |
| Data flow (Flux de données) | Services liés paramétrés pris en charge dans les flux de données de mappage | Vous pouvez désormais utiliser vos services liés paramétrés dans les flux de données de mappage pour rendre vos pipelines de flux de données génériques et flexibles. En savoir plus |
| Extraction incrémentielle de la source de SQL Database disponible dans le flux de données (préversion publique) | Une nouvelle option a été ajoutée sur les sources SQL Database de flux de données de mappage : Activer l’extraction incrémentielle (préversion). Vous pouvez désormais extraire automatiquement les lignes qui ont été modifiées sur vos sources SQL Database grâce aux flux de données. En savoir plus | |
| Quatre nouveaux connecteurs disponibles pour les flux de données de mappage (Préversion publique) | Data Factory prend désormais en charge quatre nouveaux connecteurs (préversion publique) pour les flux de données de mappage : le connecteur Quickbase, le connecteur Smartsheet, le connecteur TeamDesk et le connecteur Zendesk. En savoir plus | |
| Azure Cosmos DB (API SQL) pour le flux de données de mappage prend désormais en charge le mode inlined | Azure Cosmos DB (SQL API) pour le flux de données de mappage peut désormais utiliser des jeux de données inlined. En savoir plus | |
| Déplacement des données | Obtenir les pipelines d’ingestion de données axés sur les métadonnées sur l’outil Data Factory Copier des données dans un délai de dix minutes (GA) | Vous pouvez créer des pipelines de copie de données à grande échelle avec une approche axée sur les métadonnées sur l’outil de copie de données en dix minutes. En savoir plus |
| Mise à niveau de l’API du connecteur Google AdWords Data Factory disponible | Le connecteur Google AdWords Data Factory prend désormais en charge la nouvelle version de l’API AdWords. Aucune action n’est requise pour le nouvel utilisateur du connecteur, car il est activé par défaut. En savoir plus | |
| Intégration continue et livraison continue (CI/CD) | Prise en charge d’Azure DevOps interlocataire | Configurez un référentiel à l’aide d’un dépôt Git Azure DevOps qui n’est pas dans le même locataire que l’Azure Data Factory。 En savoir plus |
| Expansion des régions | Data Factory est désormais disponible dans les régions USA Ouest 3 et JIO Inde Ouest | Data Factory est désormais disponible dans deux nouvelles régions : USA Ouest 3 et JIO Inde Ouest. Vous pouvez colocaliser votre workflow ETL dans ces nouvelles régions si vous utilisez ces régions pour stocker et gérer votre entrepôt de données moderne. Vous pouvez également utiliser ces régions à des fins de continuité d’activité et de récupération d’urgence si vous devez basculer à partir d’une autre région au sein de la zone géographique. En savoir plus |
| Sécurité | Se connecter à un compte Azure DevOps dans un autre locataire Entra ID | Vous pouvez connecter votre instance Data Factory à un compte Azure DevOps dans un autre locataire Azure AD à des fins de contrôle de code source. En savoir plus |
Janvier 2022
| Catégorie de service | Améliorations du service | Détails |
| Data flow (Flux de données) | La réutilisation rapide est désormais automatique dans tous Azure IR qui utilisent Time to Live (TTL) | Vous n’aurez plus besoin de spécifier manuellement la « réutilisation rapide ». Les flux de données de mappage Data Factory peuvent désormais démarrer les activités de flux de données suivantes en moins de cinq secondes une fois que vous avez défini une TTL. En savoir plus |
| Récupérer votre description Assert personnalisée | Dans la transformation d’assertion, vous pouvez définir votre propre message de description dynamique. Vous pouvez utiliser la nouvelle fonction assertErrorMessage() pour récupérer le message ligne par ligne et le stocker dans vos données de destination. En savoir plus | |
| Détection de schéma automatique dans la transformation d’analyse | Une nouvelle fonctionnalité ajoutée à la transformation d’analyse facilite la détection automatique du schéma d’un champ complexe incorporé dans une colonne de chaîne. Sélectionnez le bouton Détecter le schéma pour définir automatiquement votre schéma cible. En savoir plus | |
| Prendre en charge le connecteur Dynamics 365 en tant que récepteur et source | Vous pouvez à présent vous connecter directement à Dynamics 365 pour transformer vos données Dynamics à grande échelle à l’aide du nouveau connecteur de flux de données de mappage pour Dynamics 365. En savoir plus | |
| Connexions SQL Always Encrypted à présent disponibles dans les flux de données | Always Encrypted peut désormais sourcer des transformations dans SQL Server, SQL Database, SQL Managed Instance et Azure Synapse lorsque vous utilisez des flux de données. En savoir plus | |
| Déplacement des données | Le connecteur Data Factory Azure Databricks Delta Lake prend en charge les nouveaux types d’authentification | Le connecteur Data Factory Databricks Delta Lake prend désormais en charge deux types d’authentification supplémentaires : l’authentification par identité managée affectée par le système et l’authentification par identité managée affectée par l’utilisateur. En savoir plus |
| L’activité de copie de Data Factory prend en charge l’upsert dans plusieurs connecteurs supplémentaires | L’activité de copie de Data Factory prend désormais en charge l’upsert pendant le transfert des données vers SQL Server, SQL Database, SQL Managed Instance et Azure Synapse. En savoir plus |
Décembre 2021
| Catégorie de service | Améliorations du service | Détails |
| Data flow (Flux de données) | Connecteur Dynamics en tant que source native et récepteur pour les flux de données de mappage | Le connecteur Dynamics est maintenant pris en charge en tant que source native et récepteur pour les flux de données de mappage. En savoir plus |
| Capture des changements de données (CDC) prise en charge en mode natif | La capture de données modifiées est désormais prise en charge en mode natif dans Data Factory pour Azure Cosmos DB, Stockage Blob, Data Lake Storage Gen1, Data Lake Storage Gen2 et CDM. En savoir plus | |
| Préversion publique de flowlets | La préversion publique de flowlets permet aux développeurs de flux de données de créer des composants réutilisables pour créer facilement une logique de transformation de données composables. En savoir plus | |
| Préversion publique de l’outil de mappage des données | La préversion de l’outil de mappage des données permet aux utilisateurs professionnels de définir le mappage et les transformations de colonnes pour charger des bases de données de lac Azure Synapse. En savoir plus | |
| Destinations de sortie multiples depuis Power Query | Vous pouvez maintenant mapper plusieurs destinations de sortie à partir de Power Query dans Data Factory afin d’obtenir des modèles ETL flexibles pour les intégrateurs de données citoyennes. En savoir plus | |
| Prise en charge de la transformation d’appel externe | Étendez les fonctionnalités de flux de données de mappage à l’aide de la transformation d’appel externe. Vous pouvez maintenant ajouter votre propre code personnalisé en tant que point de terminaison REST ou appeler un service tiers sous curation ligne après ligne. En savoir plus | |
| Activer la réutilisation rapide par les flux de données de mappage Azure Synapse avec la prise en charge de TTL | Les flux de données de mappage Azure Synapse prennent maintenant en charge la réutilisation rapide en définissant une TTL dans Azure Integration Runtime. L’utilisation d’un paramètre permet à vos activités de flux de données suivantes d’être exécutées en moins de cinq secondes. En savoir plus | |
| Transformation d’assertion | Ajoutez facilement des contrôles de la qualité des données, de la validation du domaine de données et des métadonnées à vos pipelines Data Factory en utilisant la transformation d’assertion dans le flux de données de mappage. En savoir plus | |
| Prise en charge d’IntelliSense dans le générateur d’expressions pour des expériences de création de pipeline plus productives | La prise en charge d’IntelliSense dans le générateur d’expressions/la création de contenu dynamique rend les développeurs de pipelines Azure Data Factory/Synapse plus productifs lors de la rédaction d’expressions complexes dans leurs pipelines de données. En savoir plus |
Novembre 2021
| Catégorie de service | Améliorations du service | Détails |
| Intégration continue et livraison continue (CI/CD) | Améliorations de l’intégration GitHub | Les améliorations apportées à l’intégration de Data Factory et de GitHub suppriment les limites de 1 000 ressources Data Factory par type de ressource, comme les jeux de données et les pipelines. Pour les fabriques de données volumineuses, ce changement permet d’atténuer l’impact de la limite de débit de l’API GitHub. En savoir plus |
| Data flow (Flux de données) | Définir un code d’erreur personnalisé et un message d’erreur avec l’activité Échec | L’activité Échec permet aux développeurs ETL de définir le message d’erreur et le code d’erreur personnalisé pour un pipeline Data Factory. En savoir plus |
| Transformation d’appel externe | La transformation d’appel externe des flux de données de mappage permet aux développeurs ETL de tirer parti des transformations et des enrichissements de données fournis par les points de terminaison REST ou les services d’API tiers. En savoir plus | |
| Réutilisation rapide de Synapse | Quand vous exécutez un flux de données dans Synapse Analytics, utilisez la fonctionnalité TTL. La fonctionnalité TTL utilise la fonctionnalité de réutilisation rapide afin que les flux de données séquentielles s’exécutent en quelques secondes. Vous pouvez définir la durée de vie lorsque vous configurez un Azure IR. En savoir plus | |
| Déplacement des données | L’activité Copy prend en charge la lecture des données à partir de FTP ou SFTP sans segmentation | Détermination automatique de la longueur du fichier ou du décalage approprié à lire lors de la copie de données à partir d’un serveur FTP ou SFTP. Avec cette fonctionnalité, Data Factory se connecte automatiquement au serveur FTP ou SFTP pour déterminer la longueur du fichier. Une fois la longueur déterminée, Data Factory divise le fichier en plusieurs blocs et les lit en parallèle. En savoir plus |
| Prise en charge UTF-8 sans BOM dans l’activité Copy | L’activité Copy prend en charge l’écriture de données avec le type d’encodage UTF-8 sans BOM pour les jeux de données JSON et de texte délimité. | |
| Prise en charge des délimiteurs de colonne à plusieurs caractères | L’activité Copy prend en charge l’utilisation de délimiteurs de colonnes à plusieurs caractères pour les jeux de données de texte délimité. | |
| Runtime d’intégration | Exécuter n’importe quel processus en trois étapes avec SQL Server Integration Services (SSIS) dans Data Factory | Apprenez à utiliser le meilleur des capacités de Data Factory et de SSIS dans un pipeline. Un exemple de package SSIS avec des propriétés paramétrables vous aide à partir du bon pied. Avec Data Factory Studio, vous pouvez facilement faire glisser le package SSIS, le déposer dans un pipeline et l’utiliser dans le cadre d’une activité Exécuter le package SSIS. Cette fonctionnalité vous permet d’exécuter le pipeline Data Factory avec un package SSIS sur des runtimes d’intégration auto-hébergés ou SSIS. En fournissant des valeurs de paramètre au moment de l’exécution, vous pouvez tirer parti des puissantes fonctionnalités de Data Factory et des fonctionnalités SSIS. Cet article présente trois étapes faciles pour exécuter n’importe quel processus, qui peut être n’importe quel exécutable : application, programme, utilitaire ou fichier de commandes, n’importe où. En savoir plus |
Octobre 2021
| Catégorie de service | Améliorations du service | Détails |
| Data flow (Flux de données) | Connecteurs Amazon Web Services (AWS) S3 et Azure Data Explorer | L’équipe d’intégration de données de Microsoft a publié deux nouveaux connecteurs pour les flux de données de mappage. Si vous utilisez Azure Synapse, vous pouvez maintenant vous connecter directement à vos compartiments d’AWS S3 pour les transformations de données. Dans Data Factory et Azure Synapse, vous pouvez désormais vous connecter en mode natif à vos clusters Azure Data Explorer dans les flux de données de mappage. En savoir plus |
| L’activité Power Query passe de préversion en disponibilité générale | L’activité de pipeline Power Query de Data Factory est désormais en disponibilité générale. Cette nouvelle fonctionnalité fournit la préparation de données et le data wrangling avec scale-out pour les intégrateurs citoyens (citizen integrators) à l’intérieur de l’interface utilisateur du navigateur Data Factory en vue de procurer une expérience intégrée aux ingénieurs Données. La fonctionnalité de data wrangling de Power Query dans Data Factory fournit une puissante fonctionnalité de pipeline facile à utiliser pour résoudre vos modèles d’intégration de données et ETL les plus complexes dans un seul service. En savoir plus | |
| Nouveau : Stringifier la transformation des données dans le flux de données de mappage | Le flux de données de mappage ajoute une nouvelle transformation de données appelée « Stringifier » pour faciliter la conversion de types de données complexes tels que des structs et des tableaux sous forme de chaînes. Ces types de données peuvent ensuite être envoyés à des destinations de sortie structurées. En savoir plus | |
| Runtime d’intégration | Injection de réseau virtuel express pour SSIS IR (préversion publique) | Le runtime d’intégration SSIS prend désormais en charge l’injection de réseau virtuel express. En savoir plus : Vue d’ensemble de l’injection de réseau virtuel pour le runtime d’intégration SSIS Injection de réseau virtuel standard et express pour le runtime d’intégration SSIS Injection de réseau virtuel express pour SSIS IR |
| Sécurité | Amélioration de l’intégration Azure Key Vault | L’intégration Key Vault comporte désormais des listes déroulantes afin que les utilisateurs puissent sélectionner les valeurs secrètes dans le service lié. Cette fonctionnalité augmente la productivité, car les utilisateurs ne sont pas tenus de saisir les secrets, ce qui peut entraîner une erreur humaine. |
| Prise en charge de l’identité managée affectée par l’utilisateur dans Data Factory | La sécurité des informations d’identification est essentielle pour toute entreprise. Dans cette optique, l’équipe Data Factory s’engage à rendre le processus d’engineering données sécurisé, mais simple pour les ingénieurs Données. L’identité managée affectée par l’utilisateur (préversion) est désormais prise en charge dans tous les connecteurs et services liés qui prennent en charge l’authentification basée sur Azure AD. En savoir plus |
Septembre 2021
| Catégorie de service | Améliorations du service | Détails |
| Intégration continue et livraison continue | Fonctionnalités de CI/CD étendues | Vous pouvez maintenant créer une branche Git basée sur n’importe quelle autre branche dans Data Factory. En savoir plus |
| Déplacement des données | Sources Amazon Relational Database Service (RDS) pour Oracle | Le connecteur de sources Amazon RDS pour Oracle est maintenant disponible dans Data Factory et Azure Synapse. En savoir plus |
| Sources Amazon RDS pour SQL Server | Le connecteur de sources Amazon RDS pour SQL Server est maintenant disponible dans Data Factory et Azure Synapse. En savoir plus | |
| Prise en charge de la copie parallèle à partir d’Azure Database pour PostgreSQL | Le connecteur Azure Database pour PostgreSQL prend maintenant en charge les opérations de copie parallèle. En savoir plus | |
| Data flow (Flux de données) | Utilisation de Data Lake Storage Gen2 pour exécuter des commandes de prétraitement et de post-traitement | Les commandes de prétraitement et de post-traitement HDFS (Hadoop Distributed File System) peuvent maintenant être exécutées en utilisant des récepteurs Data Lake Storage Gen2 dans les flux de données. En savoir plus |
| Modification des propriétés de flux de données pour les instances existantes d’Azure Integration Runtime | Azure Integration Runtime a été mis à jour afin de permettre la modification des propriétés de flux de données pour les instances d’IR existantes. Vous pouvez maintenant modifier les propriétés de calcul de flux de données sans avoir à créer une nouvelle instance d’Azure IR. En savoir plus | |
| Paramètre TTL pour Azure Synapse qui accélère le temps de démarrage de l’exécution des activités de pipeline | Azure Synapse a ajouté le paramètre TTL à Azure Integration Runtime pour que les activités de pipeline de flux de données commencent à s’exécuter en quelques secondes, ce qui réduit de manière considérable le runtime de vos pipelines de flux de données. En savoir plus | |
| Runtime d’intégration | Réseau virtuel managé Data Factory GA | Vous pouvez provisionner Azure Integration Runtime dans un réseau virtuel (VNET) managé et utiliser des points de terminaison privés pour établir des connexions sécurisées aux magasins de données pris en charge. Le trafic de données passe alors par des liaisons privées Azure Private Link qui fournissent une connectivité sécurisée à la source de données. En outre, cela empêche l’exfiltration de données vers l’Internet public. En savoir plus |
| Orchestration | Rendre les pipelines de données opérationnels et fournir un Contrat de niveau de service (SLA) pour ces pipelines | La nouvelle métrique Exécution de pipeline - Temps écoulé, combinée aux alertes de Data Factory, permet aux développeurs de pipelines de données de mieux respecter les accords de niveau de service pour leurs clients. Vous pouvez désormais nous indiquer la durée d’un pipeline et nous vous informerons de manière proactive lorsque le pipeline sera plus long que prévu. En savoir plus |
| Activité Échec (préversion publique) | La nouvelle activité Échec vous permet de lever intentionnellement une erreur dans un pipeline pour une raison quelconque. Par exemple, vous pouvez utiliser l’activité Échec si une activité de recherche ne retourne aucune donnée correspondante ou si une activité personnalisée se termine par une erreur interne. En savoir plus |
Août 2021
| Catégorie de service | Améliorations du service | Détails |
| Intégration continue et livraison continue | Améliorations apportées à CI/CD avec une prise en charge GitHub dans Azure Government et Microsoft Azure géré par 21Vianet | Nous avons ajouté la prise en charge de GitHub dans Azure pour le gouvernement américain et Azure géré par 21Vianet. En savoir plus |
| Déplacement des données | Le connecteur de l’API Azure Cosmos DB pour MongoDB prend en charge les versions 3.6 et 4.0 dans Data Factory | Le connecteur de l’API de Data Factory Azure Cosmos DB pour MongoDB pour MongoDB prend désormais en charge les versions 3.6 et 4.0 du serveur. En savoir plus |
| Apporter des améliorations à l’aide de l’instruction COPY pour charger des données dans Azure Synapse | Le connecteur Data Factory Azure Synapse prend désormais en charge la copie intermédiaire et la source de copie avec *.* comme nom de fichier générique pour l’instruction COPY. En savoir plus | |
| Data flow (Flux de données) | Les points de terminaison REST sont disponibles comme source et récepteur dans Data Flow | Dans Data Factory et Azure Synapse, les flux de données prennent désormais en charge les points de terminaison REST à la fois comme source et comme récepteur avec une prise en charge complète des charges utiles JSON et XML. En savoir plus |
| Runtime d’intégration | L’Outil de diagnostic est disponible pour le runtime d’intégration auto-hébergé | Un outil de diagnostic pour le runtime d’intégration auto-hébergé est conçu pour fournir une meilleure expérience utilisateur et permettre aux utilisateurs de détecter des problèmes potentiels. L’outil exécute une série de scénarios de test sur l’ordinateur du runtime d’intégration auto-hébergé. Chaque scénario a des cas de contrôle d’intégrité typiques pour les problèmes courants. En savoir plus |
| Orchestration | Le déclencheur d’événement personnalisé avec l’option de filtrage avancé est en disponibilité générale | Vous pouvez maintenant créer un déclencheur qui répond à une rubrique personnalisée publiée dans Azure Event Grid. Vous pouvez également tirer parti du filtrage avancé pour bénéficier d’un contrôle précis sur les événements auxquels répondre. En savoir plus |
Juillet 2021
| Catégorie de service | Améliorations du service | Détails |
| Déplacement des données | Obtenir les pipelines d’ingestion de données axés sur les métadonnées sur l’outil Data Factory Copier des données dans un délai de dix minutes (préversion publique) | Vous pouvez maintenant créer des pipelines de copie de données à grande échelle avec une approche pilotée par les métadonnées sur l’outil de copie de données (préversion publique) dans un délai de 10 minutes. En savoir plus |
| Data flow (Flux de données) | Nouvelles fonctions de mappage ajoutées dans les fonctions de transformation de flux de données | Un nouvel ensemble de fonctions de transformation de flux de données permet aux ingénieurs de données de générer, de lire et de mettre à jour facilement des types de données de mappage et des structures de mappage complexes. En savoir plus |
| Runtime d’intégration | Cinq nouvelles régions sont disponibles dans le réseau virtuel managé Data Factory (préversion publique) | Cinq nouvelles régions, Chine Est2, Chine Nord2, Us Government Arizona, US Government Texas et US Government Virginia, sont disponibles dans le réseau virtuel géré par Data Factory (préversion publique). |
| Productivité des développeurs | Améliorations apportées à la page d’accueil de Data Factory | La page d’accueil Data Factory a été repensée avec de meilleures capacités de contraste et de redisposition. Quelques sections ont été introduites dans la page d’accueil pour vous permettre d’améliorer la productivité de votre parcours d’intégration des données. En savoir plus |
| Nouvelle page de destination pour Data Factory Studio | Page de destination du volet Data Factory dans le portail Azure. En savoir plus |
Juin 2021
| Catégorie de service | Améliorations du service | Détails |
| Déplacement des données | Nouvelle expérience utilisateur avec l’outil Copier des données de Data Factory | L’outil remanié Copier des données est désormais disponible avec une expérience d’ingestion des données améliorée. En savoir plus |
| MongoDB et MongoDB Atlas sont pris en charge à la fois comme source et récepteur | Cette amélioration prend en charge la copie de données entre tous les magasins de données pris en charge et les bases de données MongoDB ou MongoDB Atlas. En savoir plus | |
| Always Encrypted est pris en charge pour les connecteurs SQL Database, SQL Managed Instance et SQL Server en tant que source et récepteur | Always Encrypted est disponible dans Data Factory pour les connecteurs SQL Database, SQL Managed Instance et SQL Server pour l’activité de copie. En savoir plus | |
| La définition de métadonnées personnalisées est prise en charge dans l’activité de copie lors du transfert vers Data Lake Storage Gen2 ou Stockage Blob | Lorsque vous écrivez dans Data Lake Storage Gen2 ou le Stockage Blob, l’activité Copy prend en charge la définition de métadonnées personnalisées ou le stockage des dernières informations modifiées du fichier source en tant que métadonnées. En savoir plus | |
| Data flow (Flux de données) | SQL Server est désormais pris en charge en tant que source et récepteur dans les flux de données | SQL Server est désormais pris en charge en tant que source et récepteur dans les flux de données. Suivez le lien pour obtenir des instructions sur la configuration de votre mise en réseau à l’aide de la fonctionnalité de VNET managé Azure Integration Runtime en vue de communiquer avec vos instances SQL Server locales et cloud basées sur une machine virtuelle. En savoir plus |
| La réutilisation rapide du cluster de flux de données est désormais activée par défaut pour tous les nouveaux Azure Integration Runtime | La populaire fonctionnalité de réutilisation rapide de flux de données est désormais disponible pour Data Factory. Tous les nouveaux Azure IR ont maintenant la réutilisation rapide activée par défaut. En savoir plus | |
| Activité Power Query (préversion publique) | Vous pouvez désormais générer des mappages de champs complexes sur votre récepteur Power Query à l’aide du data wrangling dans Data Factory. Le récepteur est maintenant configuré dans le pipeline dans l’activité Power Query (préversion publique) pour s’adapter à cette mise à jour. En savoir plus | |
| Interface de supervision des flux de données mise à jour dans Data Factory | Data Factory dispose d’une nouvelle mise à jour de l’interface utilisateur de supervision pour faciliter l’affichage de vos exécutions de travaux ETL de flux de données et identifier rapidement les zones pour le réglage des performances. En savoir plus | |
| SQL Server Integration Services | Exécuter l’ensemble de vos instructions ou scripts SQL n’importe où en trois étapes avec SSIS dans Data Factory | Ce billet indique trois étapes simples pour exécuter des instructions/scripts SQL n’importe où avec le service SSIS dans Data Factory.
|