Disponibilité d’Eventhouse OneLake

Vous pouvez créer une copie logique des données de la base KQL dans une maison d'événements en activant la disponibilité de OneLake. Activer la disponibilité de OneLake signifie que vous pouvez interroger les données de votre base de données KQL au format Delta Lake via d'autres moteurs Fabric comme le mode Direct Lake dans Power BI, Warehouse, Lakehouse, Notebooks, etc.

Delta Lake est un format de table de lac de données unifié qui permet d’obtenir un accès fluide aux données entre tous les moteurs de calcul dans Microsoft Fabric. Pour plus d’informations sur Delta Lake, consultez Qu’est-ce que Delta Lake ?.

Dans cet article, vous allez apprendre à activer la disponibilité des données de la base de données KQL dans OneLake.

Fonctionnement

Le tableau suivant décrit le comportement de votre base de données KQL et de vos tables lorsque vous activez ou désactivez la disponibilité de OneLake.

	Activé	Désactivé
Base de données KQL	- Les tables existantes ne sont pas affectées. De nouvelles tables sont disponibles dans OneLake. - La stratégie de conservation des données de votre base de données KQL est également appliquée aux données dans OneLake. Les données supprimées de votre base de données KQL à la fin de la période de conservation sont également supprimées de OneLake.	- Les tables existantes ne sont pas affectées. Les nouvelles tables ne seront pas disponibles dans OneLake.
Table A dans la base de données KQL	- De nouvelles données sont disponibles dans OneLake. - Les données existantes ne sont pas remblayées. - Les données ne peuvent pas être supprimées, tronquées ou vidées. - Le schéma de table ne peut pas être modifié et la table ne peut pas être renommée. – La sécurité au niveau des lignes ne peut pas être appliquée à la table.	- Les nouvelles données ne sont pas disponibles dans OneLake. - Les données peuvent être supprimées, tronquées ou vidées. - Le schéma de table peut être modifié et la table peut être renommée. - Les données sont supprimées de OneLake de manière réversible.

Important

Il peut s'écouler quelques heures avant que les données n'apparaissent dans OneLake. Pour en savoir plus, voir Comportements adaptatifs.

Il n’existe aucun coût de stockage supplémentaire pour activer la disponibilité OneLake. Pour plus d’informations, consultez Consommation de ressources.

Prérequis

• Un espace de travail avec une capacité compatible Microsoft Fabric
• Une base de données KQL avec des autorisations de modification et des données

Activer la disponibilité de OneLake

Vous pouvez activer la disponibilité de OneLake au niveau d'une base de données KQL ou d'une table.

1. Pour activer la Disponibilité de OneLake, accédez à la section OneLake du volet d’informations de votre base de données ou table KQL.

2. Définissez la Disponibilité sur Activée.

   

3. La base de données s’actualise automatiquement.

   

Vous avez activé la disponibilité de OneLake dans votre base de données KQL. Vous pouvez désormais accéder à toutes les nouvelles données ajoutées à votre base de données au chemin OneLake donné au format Delta Lake. Vous pouvez également choisir de créer un raccourci OneLake à partir d’un Lakehouse ou d’un Data Warehouse, ou d’interroger les données directement via le mode Direct Lake de Power BI.

Comportement adaptatif

Eventhouse offre un mécanisme robuste qui regroupe intelligemment les flux de données entrants dans un ou plusieurs fichiers Parquet, structurés pour l'analyse. La mise en lots des flux de données est importante lorsqu'il s'agit de traiter des données au compte-gouttes. L'écriture d'un grand nombre de petits fichiers Parquet dans le lac peut être inefficace et entraîner des coûts plus élevés et des performances médiocres.

Le mécanisme adaptatif d'Eventhouse peut retarder les opérations d'écriture jusqu'à quelques heures s'il n'y a pas assez de données pour créer des fichiers Parquet optimaux. Cela garantit que les fichiers Parquet ont une taille optimale et qu'ils respectent les meilleures pratiques de Delta Lake. Le mécanisme adaptatif d'Eventhouse garantit que les fichiers Parquet sont prêts pour l'analyse et concilie la nécessité d'une disponibilité rapide des données avec les considérations de coût et de performance.

Vous pouvez contrôler le temps écoulé depuis l'ajout de nouvelles données dans le lac en vérifiant la latence de vos données à l'aide de la commande .show table mirroring operations.

Les résultats sont mesurés à partir de la dernière fois que des données ont été ajoutées. Lorsque le résultat de la latence est 00:00:00, toutes les données de la base de données KQL sont disponibles dans OneLake.

Afficher des fichiers

Lorsque vous activez la disponibilité de OneLake sur une table, un dossier de journal delta est créé avec tous les fichiers JSON et Parquet correspondants. Vous pouvez afficher les fichiers mis à disposition dans OneLake et leurs propriétés tout en restant dans Real-Time Intelligence.

• Pour afficher les fichiers, passez sur une des tables dans le volet Explorateur, puis sélectionnez le Plus de menus [...]>Afficher les fichiers.

  

• Pour afficher les propriétés du dossier du journal delta ou des fichiers individuels, passez sur le dossier ou fichier, puis sélectionnez Plus de menus [...]>Propriétés.

• Pour afficher les fichiers dans le dossier delta log :

  1. Sélectionnez le dossier _delta_log.
  2. Sélectionnez un fichier pour afficher les métadonnées et le schéma de la table. L'éditeur qui s'ouvre est au format en lecture seule.

Politique de mise en miroir des accès

Par défaut, lorsque la disponibilité de OneLake est activée, une politique de mise en miroir est activée. Vous pouvez utiliser la stratégie pour surveiller la latence des données ou la modifier pour partitionner les tables delta.

Remarque

Si vous désactivez la disponibilité de OneLake, la propriété de la politique de mise en miroir IsEnabled est fixée à false (IsEnabled=false).

Partition des tables delta

Vous pouvez partitionner vos tables delta pour améliorer la vitesse des requêtes. Pour savoir quand partitionner vos fichiers OneLake, voir Quand partitionner les tables. Chaque partition est représentée par une colonne distincte utilisant le nom de partition figurant dans la liste des partitions. Cela signifie que votre copie OneLake a plus de colonnes que votre table source.

Pour partitionner vos tables delta, utilisez la commande .alter-merge table policy mirroring.

Contenu connexe

• Pour exposer les données dans OneLake, consultez Créer un raccourci dans OneLake.
• Pour créer un raccourci OneLake dans Lakehouse, consultez À quoi correspondent les raccourcis dans un lakehouse ?.
• Pour interroger des données référencées à partir de OneLake dans votre base de données ou table KQL, consultez Créer un raccourci OneLake dans la base de données KQL