Partage via

Disponibilité d’Eventhouse OneLake

  • Article

Vous pouvez créer une copie logique des données de la base de données KQL dans un entrepôt d'événements en activant l'option Disponibilité de OneLake. Activer la disponibilité de OneLake signifie que vous pouvez interroger les données de votre base de données KQL au format Delta Lake via d'autres moteurs Fabric comme le mode Direct Lake dans Power BI, Warehouse, Lakehouse, Notebooks, etc.

Delta Lake est un format de table de lac de données unifié qui permet d’obtenir un accès fluide aux données entre tous les moteurs de calcul dans Microsoft Fabric. Pour plus d’informations sur Delta Lake, consultez Qu’est-ce que Delta Lake ?.

Dans cet article, vous allez apprendre à activer la disponibilité des données de base de données KQL dans OneLake.

Fonctionnement

Vous pouvez activer Disponibilité de OneLake au niveau de la base de données ou de la table. Lorsqu’elles sont activées au niveau de la base de données, toutes les nouvelles tables et leurs données sont disponibles dans OneLake. Lorsque vous activez la fonctionnalité, vous pouvez également choisir d’appliquer cette option à des tables existantes en sélectionnant l’option Appliquer aux tables existantes. L’activation au niveau de la table rend uniquement cette table et ses données disponibles dans OneLake. La stratégie de rétention des données de votre base de données KQL est également appliquée aux données dans OneLake. Les données supprimées de votre base de données KQL à la fin de la période de conservation sont également supprimées de OneLake. Si vous désactivez disponibilité OneLake, les données sont supprimées de OneLake de manière réversible.

Tant que la disponibilité de OneLake est activée, vous ne pouvez pas effectuer les tâches suivantes :

  • Renommer des tables
  • Modifier les schémas de table
  • Appliquer la sécurité au niveau des lignes aux tables
  • Les données ne peuvent pas être supprimées, tronquées ou vidées

Si vous devez effectuer l’une de ces tâches, procédez comme suit :

Important

Désactiver disponibilité oneLake supprime vos données de OneLake. Lorsque vous réactivez la disponibilité, seules les nouvelles données sont mises à disposition dans OneLake sans retour des données supprimées.

  1. Désactivez la disponibilité OneLake.

  2. Effectuez la tâche souhaitée.

  3. Allumer Disponibilité de OneLake.

Important

Pour plus d’informations sur le temps nécessaire à l’affichage des données dans OneLake, consultez comportement adaptatif.

Il n’existe aucun coût de stockage supplémentaire pour activer la disponibilité OneLake. Pour plus d’informations, consultez Consommation de ressources.

Prérequis

Activer la disponibilité de OneLake

Vous pouvez activer la disponibilité de OneLake au niveau d'une base de données KQL ou d'une table.

  1. Pour activer la Disponibilité de OneLake, accédez à la section OneLake du volet d’informations de votre base de données ou table KQL.

  2. Définissez la Disponibilité sur Activée.

    Capture d’écran de la section OneLake du volet Détails de la base de données montrant l’option Disponibilité mise en surbrillance.

  3. La base de données s’actualise automatiquement.

    Capture d’écran des détails de la section OneLake dans Real-Time Intelligence une fois la disponibilité définie sur Activé. L’option permettant d’exposer des données à OneLake est activée.

Vous avez activé la disponibilité de OneLake dans votre base de données KQL. Vous pouvez désormais accéder à toutes les nouvelles données ajoutées à votre base de données au chemin OneLake donné au format Delta Lake. Vous pouvez également choisir de créer un raccourci OneLake à partir d’un Lakehouse ou d’un Data Warehouse, ou d’interroger les données directement via le mode Direct Lake de Power BI.

Comportement adaptatif

Eventhouse offre un mécanisme robuste qui regroupe intelligemment les flux de données entrants dans un ou plusieurs fichiers Parquet, structurés pour l'analyse. La mise en lots des flux de données est importante lorsqu'il s'agit de traiter des données au compte-gouttes. L'écriture d'un grand nombre de petits fichiers Parquet dans le lac peut être inefficace et entraîner des coûts plus élevés et des performances médiocres.

Le mécanisme adaptatif d’Eventhouse peut retarder les opérations d’écriture s’il n’y a pas suffisamment de données pour créer des fichiers Parquet optimaux. Cela garantit que les fichiers Parquet ont une taille optimale et qu'ils respectent les meilleures pratiques de Delta Lake. Le mécanisme adaptatif d'Eventhouse garantit que les fichiers Parquet sont prêts pour l'analyse et concilie la nécessité d'une disponibilité rapide des données avec les considérations de coût et de performance.

Remarque

  • Par défaut, l’opération d’écriture peut prendre jusqu’à 3 heures ou jusqu’à ce que les fichiers de taille suffisante (généralement de 200 à 256 Mo) soient créés.
  • Vous pouvez ajuster le délai à une valeur comprise entre 5 minutes et 3 heures.

Par exemple, utilisez la commande suivante pour définir le délai sur 5 minutes :

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

Avertissement

L’ajustement du délai à une période plus courte peut entraîner une table delta non optimale avec un grand nombre de petits fichiers, ce qui peut entraîner des performances de requête inefficaces. La table résultante dans OneLake est en lecture seule et ne peut pas être optimisée après la création.

Vous pouvez surveiller le moment où de nouvelles données ont été ajoutées au lac en vérifiant la latence de vos données à l’aide de la commande .show des opérations de mise en miroir de tables.

Les résultats sont mesurés à partir de la dernière fois que des données ont été ajoutées. Lorsque le résultat de la latence est 00:00:00, toutes les données de la base de données KQL sont disponibles dans OneLake.

Afficher des fichiers

Lorsque vous activez la disponibilité de OneLake sur une table, un dossier de journal delta est créé avec tous les fichiers JSON et Parquet correspondants. Vous pouvez afficher les fichiers mis à disposition dans OneLake et leurs propriétés tout en restant dans Real-Time Intelligence.

  • Pour afficher les fichiers, passez sur une des tables dans le volet Explorateur, puis sélectionnez le Plus de menus [...]>Afficher les fichiers.

    Capture d’écran du volet Explorer montrant le menu déroulant Plus d’une table.

  • Pour afficher les propriétés du dossier du journal delta ou des fichiers individuels, passez sur le dossier ou fichier, puis sélectionnez Plus de menus [...]>Propriétés.

  • Pour afficher les fichiers dans le dossier delta log :

    1. Sélectionnez le dossier _delta_log.
    2. Sélectionnez un fichier pour afficher les métadonnées et le schéma de la table. L'éditeur qui s'ouvre est au format en lecture seule.

Politique de mise en miroir des accès

Par défaut, lorsque la disponibilité de OneLake est activée, une politique de mise en miroir est activée. Vous pouvez utiliser la stratégie pour surveiller la latence des données ou la modifier pour partitionner les tables delta.

Remarque

Si vous désactivez la disponibilité de OneLake, la propriété de la politique de mise en miroir IsEnabled est fixée à false (IsEnabled=false).

Partition des tables delta

Vous pouvez partitionner vos tables delta pour améliorer la vitesse des requêtes. Pour savoir quand partitionner vos fichiers OneLake, voir Quand partitionner les tables. Chaque partition est représentée par une colonne distincte utilisant le nom de partition figurant dans la liste des partitions. Cela signifie que votre copie OneLake a plus de colonnes que votre table source.

Pour partitionner vos tables delta, utilisez la commande .alter-merge table policy mirroring.

Contenu connexe