Nouveautés et planifications de l’entrepôt de données dans Microsoft Fabric
Important
Les plans de mise en production décrivent les fonctionnalités susceptibles ou non d’avoir été publiées. Les délais de livraison et les fonctionnalités projetées peuvent changer ou ne pas être expédiés. Pour plus d’informations, consultez la stratégie Microsoft.
Data Warehouse dans Microsoft Fabric est le premier entrepôt de données qui prend en charge les transactions multi-tables et adopte en mode natif un format de données ouvert. L’entrepôt est basé sur l’optimiseur de requête SQL Server robuste et un moteur de traitement de requêtes distribué de qualité entreprise qui élimine la nécessité de la configuration et de la gestion. Data Warehouse dans Microsoft Fabric s’intègre en toute transparence à Data Factory pour l’ingestion de données, Power BI pour l’analyse et la création de rapports, et Synapse Spark pour la science des données et le Machine Learning. Il simplifie les investissements d’analytique d’une organisation en convergant les lacs de données et les entrepôts.
Les charges de travail d’entreposage de données bénéficient des fonctionnalités enrichies du moteur SQL sur un format de données ouvert, ce qui permet aux clients de se concentrer sur l’analyse et la création de rapports. Ils bénéficient également de l’accès aux données à partir de OneLake, un service de virtualisation data lake Storage.
Pour plus d’informations, consultez la documentation.
Domaines d’investissement
Mises à jour d’Insights sur les requêtes
Chronologie estimée de la publication : Q4 2024
Type de publication : Disponibilité générale
Query Insights présente désormais la quantité de données analysées lors de l’exécution de la requête, en fonction de la mémoire, du disque et de la distance.
Copilot for Data Warehouse : Sidecar Chat
Chronologie estimée de la publication : Q4 2024
Type de version : préversion publique
Copilot pour Data Warehouse est le programmeur associé ultime et le booster de productivité pour n’importe quel développeur de niveau de compétence , des professionnels des données aux analystes. Il est conçu pour accélérer le développement de l’entrepôt en tirant parti de l’IA générative pour simplifier et automatiser la création, l’analyse et la gestion de l’entrepôt de données.
Cette fonctionnalité présente le volet de conversation side-car Copilot. Utilisez le volet de conversation pour poser des questions sur votre entrepôt à Copilot via le langage naturel. Les cas d’usage sont les suivants :
- Langage naturel vers SQL : Posez une question à Copilot sur vos données d’entrepôt et recevez une requête SQL générée adaptée à votre schéma d’entrepôt.
- Q&A : Posez une question à Copilot sur votre entrepôt et recevez une réponse et des pointeurs docs vers la documentation officielle.
- Brainstorm : Utiliser Copilot pour vous aider à réfléchir aux tendances ou modèles pertinents à analyser dans vos données
BULK INSERT
Chronologie estimée de la publication : Q1 2025
Type de version : préversion publique
L’instruction BULK INSERT est utilisée pour ingérer des fichiers dans Fabric DW (similaire à COPY INTO). avec la fonction BULK INERT, nous allons activer la migration de SQL Server vers Fabric DW avec des modifications de code minimales. Les clients doivent réécrire leur code et leurs outils externes qui utilisent BULK INSERT pour migrer vers COPY INTO comme condition préalable à la migration vers Fabric DW. En outre, BULK INSERT prend en charge certaines options locales traditionnelles qui ne sont pas disponibles dans COPY INTO.
OPENROWSET
Chronologie estimée de la publication : Q1 2025
Type de version : préversion publique
Fabric DW permet aux utilisateurs d’utiliser la fonction OPENROWSET pour lire les données des fichiers du lac. Voici un exemple simple de fonction OPENROWSET :
SELECT *
FROM OPENROWSET ( BULK ‘<file path>’ )
WITH ( <column definition> )
La fonction OPENROWSET lit le contenu du ou des fichiers au niveau donné <file path> et retourne le contenu des fichiers.
La fonction Thi permet une navigation et un aperçu faciles des fichiers avant l’ingestion.
Mise en cache du jeu de résultats
Chronologie estimée de la publication : Q1 2025
Type de version : préversion publique
La mise en cache du jeu de résultats enregistre les résultats des requêtes applicables et les retourne immédiatement lors des exécutions suivantes, ce qui réduit considérablement le temps d’exécution en contournant la recompilation et la recomputation. Le cache est géré automatiquement et ne nécessite aucune intervention manuelle.
Améliorations apportées aux statistiques automatiques
Chronologie estimée de la publication : Q1 2025
Type de publication : Disponibilité générale
Diverses améliorations sont planifiées : temps d’exécution plus court des mises à jour statistiques automatiques, prise en charge opportuniste des types de colonnes VARCHAR(MAX), stockage amélioré des étapes statistiques intermédiaires, maintenance automatique des statistiques en dehors de la requête utilisateur.
SHOWPLAN_XML
Chronologie estimée de la publication : Q1 2025
Type de publication : Disponibilité générale
SHOWPLAN_XML retourne des informations détaillées sur la façon dont les instructions vont être exécutées sous la forme d’un document XML bien défini sans exécuter l’instruction T-SQL.
Point de terminaison Copilot pour l’analytique SQL
Chronologie estimée de la publication : Q1 2025
Type de version : préversion publique
Copilot pour Data Warehouse est le programmeur associé ultime et le booster de productivité pour n’importe quel développeur de niveau de compétence , des professionnels des données aux analystes. Il est conçu pour accélérer le développement de l’entrepôt en tirant parti de l’IA générative pour simplifier et automatiser la création, l’analyse et la gestion de l’entrepôt de données. Cette fonctionnalité permet l’utilisation de Copilot dans le point de terminaison d’analytique SQL.
Actualiser l’API REST du point de terminaison SQL Analytics
Chronologie estimée de la publication : Q1 2025
Type de publication : Disponibilité générale
Déclenchez par programme une actualisation de votre point de terminaison d’analytique SQL pour que les tables restent synchronisées avec les modifications apportées à l’élément parent.
Code Assistant Migration
Chronologie estimée de la publication : Q1 2025
Type de version : préversion publique
Conçu pour accélérer la migration de pools SQL Server, Synapse dédiés à SQL et à d’autres entrepôts vers Fabric Data Warehouse, les utilisateurs pourront migrer le code et les données de la base de données source, convertir automatiquement le schéma source et le code vers Fabric Data Warehouse, aider à la migration des données et fournir une assistance basée sur l’IA.
Clustering de données
Chronologie estimée de la publication : Q1 2025
Type de version : préversion publique
Le clustering de données permet des performances de lecture plus rapides en permettant aux clients de spécifier des colonnes pour colocalisation des données lors de l’ingestion afin d’activer le saut de fichier en lecture.
Modifier la table - Supprimer/renommer une colonne
Chronologie estimée de la publication : Q1 2025
Type de publication : Disponibilité générale
Alter Table - Drop/Rename permet aux clients de modifier leur définition de table en supprimant et en renommant des colonnes. Cela s’ajoute à la fonctionnalité Alter Table existante qui prend en charge l’ajout de nouvelles colonnes et est en production aujourd’hui.
Tables temporaires (étendues à la session)
Chronologie estimée de la publication : Q1 2025
Type de publication : Disponibilité générale
Les tables temporaires avec étendue de session parquet permettent aux clients de stocker des jeux de résultats intermédiaires pour un accès répété, mais ne sont pas nécessaires pour conserver définitivement. Ils fonctionnent comme une table de permament standard, mais disparaissent lorsque la connexion est fermée.
MERGE (T-SQL)
Chronologie estimée de la publication : Q1 2025
Type de publication : Disponibilité générale
La commande MERGE T-SQL pour Fabric Data Warehouse apporte la puissance du DML basé sur la sélection dans une seule instruction, pour tous vos besoins en logique de transformation.
Journaux d’audit SQL
Chronologie estimée de la publication : Q1 2025
Type de publication : Disponibilité générale
Cette fonctionnalité suit les événements de base de données et les écrit dans un journal d’audit, ce qui permet aux clients d’interroger le fichier d’audit à l’aide de sys.fn_get_audit_file_v2 pour l’audit et la conformité.
EXECUTE AS
Chronologie estimée de la publication : Q1 2025
Type de publication : Disponibilité générale
EXECUTE AS définit le contexte d’exécution d’une session et permet ainsi à l’utilisateur d’emprunter l’identité d’un autre utilisateur pour valider les autorisations nécessaires fournies.
BCP
Chronologie estimée de la publication : Q1 2025
Type de version : préversion publique
Fabric DW prend en charge l’utilitaire bcp et l’API de chargement en masse TDS. L’API Lod en bloc permet à divers outils clients tels que bcp, SSIS, ADF, de charger des données dans Fabric DW. Et l’exemple de commande bcp qui charge un contenu d’un fichier dans la table DW est :
bcp gold.artists in "C:\temp\gold_artist.txt" -d TextDW -c -S "<server name>.msit-datawarehouse.fabric.microsoft.com" -G -U theusert@microsoft.com
Fonctionnalités livrées
Types VARCHAR(MAX)/VARBINARY(MAX)
Expédié (Q4 2024)
Type de version : préversion publique
Les utilisateurs peuvent définir des colonnes avec des types VARCHAR(MAX)/VARBINARY(MAX) dans l’entrepôt de données pour stocker des données de type chaîne ou binaire jusqu’à 1 Mo. Dans le point de terminaison SQL de Lakehouse, les types de chaînes dans les tables Delta sont représentés en tant que VARCHAR(MAX) sans troncation à 8 Ko. Les différences de performances entre les requêtes qui utilisent les types VARCHAR(MAX) et VARCHAR(8000) sont réduites, ce qui permet aux utilisateurs d’utiliser des types volumineux sans pénalité significative des performances.
Améliorations apportées aux points de terminaison SQL Analytics
Expédié (Q4 2024)
Type de publication : Disponibilité générale
Cette fonctionnalité englobe les mises à jour apportées à l’expérience de point de terminaison SQL Analytics, notamment :
- Actualisation automatique déclenchée lors de l’ouverture de l’élément ou de la connexion au point de terminaison
- Amélioration de l’interface utilisateur pour actualiser le point de terminaison d’analytique SQL directement dans le ruban
- Nouvelle propriété pour la dernière mise à jour réussie dans OneLake via le menu volant des propriétés de la table
- Amélioration des messages d’erreur
Prise en charge de JSON
Expédié (Q4 2024)
Type de publication : Disponibilité générale
La prise en charge JSON dans Fabric Datawarehouse permet le traitement des données textuelles mises en forme en tant que texte JSON. Les nouvelles fonctionnalités JSON dans Fabric DW sont les suivantes :
- Option de requête FOR JSON qui met en forme les résultats de la requête en tant que texte JSON. Il s’agissait de l’une des fonctionnalités demandées sur le site Microsoft Fabric Idea.
- Fonctions scalaires JSON qui peuvent également être utilisées dans azure SQL Database. Outre les fonctions scalaires JSON existantes (ISJSON, JSON_VALUE, JSON_QUERY et JSON_MODIFY), Fabric DW effectue la transmission des dernières fonctions JSON qui existent dans Azure SQL Database : JSON_PATH_EXISTS, JSON_OBJECT et JSON_ARRAY.
Améliorations des performances des chaînes
Expédié (Q4 2024)
Type de publication : Disponibilité générale
Les opérations sur des chaînes (VARCHAR(N)) sont courantes dans les requêtes T-SQL. Les améliorations des performances sur les fonctions de chaîne et les opérateurs qui utilisent des chaînes renforcent les performances des requêtes qui utilisent des prédicats LIKE, des fonctions de chaîne et des opérateurs de comparaison dans les prédicats WHERE, et des opérateurs tels que GROUP BY, ORDER BY, JOIN qui fonctionnent avec des types de chaînes.
Prise en charge du classement non sensible à la casse (Entrepôt uniquement)
Expédié (Q4 2024)
Type de publication : Disponibilité générale
L’utilisation des API REST publiques pour créer un entrepôt de données inclut une nouvelle option pour définir le classement par défaut. Cela peut être utilisé pour définir une nouvelle valeur par défaut de classement non sensible à la casse. Les deux classements pris en charge sont Latin1_General_100_CI_AS_KS_WS_SC_UTF8 (qui ne respectent pas la casse) et Latin1_General_100_BIN2_UTF8 (qui respecte la casse) et continuent d’être notre valeur par défaut.
La prise en charge de la clause COLLATE T-SQL sera bientôt disponible. Cela vous permet d’utiliser la commande COLLATE avec CREATE ou ALTER TABLE pour spécifier directement le classement de vos champs VARCHAR.
CTE imbriquée
Expédié (Q4 2024)
Les expressions de table courantes (CTE) augmentent la lisibilité et la simplification des requêtes complexes en déconstructant des requêtes généralement complexes en blocs simples à utiliser et réutiliser si nécessaire, au lieu de réécrire la requête. Un CTE imbriqué est défini avec la définition d’un autre CTE.
Intégration de T-SQL Notebook
Expédié (Q3 2024)
Type de version : préversion publique
Vous pouvez commencer à utiliser la prise en charge du langage T-SQL dans les notebooks, qui combine la puissance des notebooks et sql dans la même expérience : activation d’IntelliSense, autocomplétion, requêtes inter-bases de données, visualisations plus riches et possibilité de collaborer et de partager facilement à l’aide de Notebooks.
TRUNCATE
Expédié (Q3 2024)
La commande TRUNCATE supprime rapidement toutes les lignes de données d’une table.
ALTER TABLE - Ajouter une colonne nullable
Expédié (Q3 2024)
Prise en charge de ALTER TABLE ADD COLUMN pour pouvoir étendre des tables déjà existantes avec de nouvelles colonnes qui autorisent les valeurs NULL.
Mises à jour d’Insights sur les requêtes
Expédié (Q3 2024)
Une vue historique de vos sessions fermées sera rendue disponible via Query Insights. Cet ajout vous aide à analyser le trafic, la charge et l’utilisation de votre DW.
Restauration sur place dans l’éditeur d’entrepôt
Expédié (Q2 2024)
Vous pouvez désormais facilement créer des points de restauration et restaurer l’entrepôt dans un état correct connu en cas de corruption accidentelle, à l’aide de l’expérience de l’éditeur d’entrepôt.
Prise en charge de COPY INTO pour le stockage sécurisé
Expédié (Q2 2024)
Type de version : préversion publique
Vous pouvez désormais ingérer des données dans votre entrepôt à l’aide de COPY INTO à partir d’un compte de stockage Azure externe protégé derrière un pare-feu.
Copilot
Expédié (Q2 2024)
Type de version : préversion publique
Copilot permet aux développeurs de n’importe quel niveau de compétence de générer et d’interroger rapidement un entrepôt dans Fabric. Copilot offre des conseils et des bonnes pratiques, du code de saisie semi-automatique, de l’aide pour corriger et documenter le code, et offre de l’aide à la préparation des données, à la modélisation et à l’analyse.
Voyage dans le temps
Expédié (Q2 2024)
La possibilité de voyager au niveau de l’instruction T-SQL permet aux utilisateurs d’interroger des données historiques à partir de différentes périodes passées en spécifiant l’horodatage une seule fois pour la requête entière. Les déplacements temporels permettent d’économiser considérablement sur les coûts de stockage en utilisant une seule copie des données présentes dans One Lake pour effectuer une analyse des tendances historiques, la résolution des problèmes et la rapprochement des données. En outre, il facilite également l’obtention de rapports stables en respectant l’intégrité des données entre différentes tables au sein de l’entrepôt de données.
Expérience de supervision de l’entrepôt
Expédié (Q2 2024)
À l’aide de l’expérience de supervision intégrée de l’entrepôt, vous pouvez afficher les requêtes actives et les requêtes historiques, surveiller et résoudre les problèmes de performances de leur solution de bout en bout.