Använda funktionen för tabellunderhåll för att hantera deltatabeller i Infrastrukturresurser
Lakehouse i Microsoft Fabric tillhandahåller underhållsfunktionen Table för att effektivt hantera deltatabeller och för att hålla dem alltid redo för analys. Den här guiden beskriver funktionen för tabellunderhåll i Lakehouse och dess funktioner.
Viktiga funktioner i underhållsfunktionen för lakehouse-tabellen:
- Utför ad hoc-tabellunderhåll med hjälp av kontextuella högerklicksåtgärder i en deltatabell i Lakehouse-utforskaren.
- Använd bin-compaction, V-Order och orefererad rensning av gamla filer.
Kommentar
För avancerade underhållsaktiviteter, till exempel gruppering av flera underhållskommandon för tabeller, orkestrering baserat på ett schema, är en kodcentrerad metod det rekommenderade valet. Mer information finns i artikeln om optimering av Delta Lake-tabeller och V-Order . Du kan också använda Lakehouse-API:et för att automatisera tabellunderhållsåtgärder för att lära dig mer i Hantera Lakehouse med Microsoft Fabric REST API.
Filtyper som stöds
Underhåll av Lakehouse-tabeller gäller endast för delta Lake-tabeller. Äldre Hive-tabeller som använder PARQUET, ORC, AVRO, CSV och andra format stöds inte.
Underhållsåtgärder för tabeller
Funktionen för tabellunderhåll erbjuder tre åtgärder.
- Optimera: Konsoliderar flera små Parquet-filer till en stor fil. Stordatabearbetningsmotorer och alla Fabric-motorer drar nytta av större filstorlekar. Att ha filer med en storlek över 128 MB, och optimalt nära 1 GB, förbättrar komprimering och datadistribution över klusternoderna. Det minskar behovet av att söka igenom många små filer för effektiva läsåtgärder. Det är en allmän metod att köra optimeringsstrategier när du har läst in stora tabeller.
- V-Order: Tillämpar optimerad sortering, kodning och komprimering på Delta-parquet-filer för att aktivera snabba läsåtgärder i alla Fabric-motorer. V-Order sker under optimeringskommandot och visas som ett alternativ för kommandogruppen i användarupplevelsen. Mer information om V-Order finns i Delta Lake-tabelloptimering och V-Order.
- Vakuum: Tar bort gamla filer som inte längre refereras av en Delta-tabelllogg. Filer måste vara äldre än tröskelvärdet för kvarhållning och standardvärdet för filkvarhållning är sju dagar. Alla deltatabeller i OneLake har samma kvarhållningsperiod. Filkvarhållningsperioden är densamma oavsett vilken infrastrukturberäkningsmotor du använder. Det här underhållet är viktigt för att optimera lagringskostnaden. Om du anger en kortare kvarhållningsperiod påverkas Deltas tidsresefunktioner. Det är en allmän metod att ange ett kvarhållningsintervall till minst sju dagar, eftersom gamla ögonblicksbilder och ogenomförda filer fortfarande kan användas av samtidiga tabellläsare och skribenter. Om du rensar aktiva filer med vacuum-kommandot kan det leda till läsfel eller t.o.m. tabellskada om de ogenomförda filerna tas bort.
Köra ad hoc-tabellunderhåll på en Delta-tabell med Lakehouse
Så här använder du funktionen:
Från ditt Microsoft Fabric-konto går du till önskad Lakehouse.
I avsnittet Tabeller i Lakehouse Explorer högerklickar du antingen på tabellen eller använder ellipsen för att komma åt snabbmenyn.
Välj menyposten Underhåll.
Kontrollera underhållsalternativen i dialogrutan enligt dina behov. Mer information finns i avsnittet Tabellunderhållsåtgärder i den här artikeln.
Välj Kör nu för att köra tabellunderhållsjobbet.
Spåra körningen av underhållsjobbet i meddelandefönstret eller övervakningshubben.
Hur fungerar tabellunderhåll?
När Kör nu har valts skickas ett Spark-underhållsjobb för körning.
- Spark-jobbet skickas med användaridentiteten och tabellbehörigheterna.
- Spark-jobbet förbrukar infrastrukturresurser för arbetsytan/användaren som skickade jobbet.
- Om ett annat underhållsjobb körs i en tabell avvisas ett nytt.
- Jobb i olika tabeller kan köras parallellt.
- Tabellunderhållsjobb kan enkelt spåras i övervakningshubben. Leta efter texten "TableMaintenance" i kolumnen aktivitetsnamn på huvudsidan för övervakningshubben.