Brug funktionen til tabelvedligeholdelse til at administrere deltatabeller i Fabric
Lakehouse i Microsoft Fabric leverer vedligeholdelsesfunktionen Tabel til effektivt at administrere deltatabeller og holde dem altid klar til analyse. I denne vejledning beskrives funktionen til tabelvedligeholdelse i Lakehouse og dens funktioner.
Vigtige funktioner i vedligeholdelsesfunktionen for lakehouse-tabellen:
- Udfør ad hoc-tabelvedligeholdelse ved hjælp af kontekstafhængige højreklikshandlinger i en deltatabel i Lakehouse-stifinderen.
- Anvend bin-compaction, V-Order og ikke-refererede gamle filer oprydning.
Bemærk
I forbindelse med avancerede vedligeholdelsesopgaver, f.eks. gruppering af flere kommandoer til vedligeholdelse af tabeller, orkestrering af dem baseret på en tidsplan, er en kodecentreret tilgang det anbefalede valg. Du kan få mere at vide under Delta Lake-tabeloptimering og V-Order-artikel . Det er også muligt at bruge Lakehouse-API'en til at automatisere tabelvedligeholdelse for at få mere at vide under Administrer Lakehouse med Microsoft Fabric REST API.
Understøttede filtyper
Lakehouse-tabelvedligeholdelse gælder kun for delta Lake-tabeller. De ældre Hive-tabeller, der bruger PARQUET, ORC, AVRO, CSV og andre formater, understøttes ikke.
Tabelvedligeholdelseshandlinger
Funktionen til tabelvedligeholdelse tilbyder tre handlinger.
- Optimer: Konsoliderer flere små parquetfiler i store filer. Big Data-behandlingsmotorer og alle Fabric-motorer drager fordel af at have større filstørrelser. Hvis du har filer med en størrelse på over 128 MB og optimalt tæt på 1 GB, forbedres komprimering og datadistribution på tværs af klyngenoderne. Det reducerer behovet for at scanne mange små filer for at opnå effektive læsehandlinger. Det er en generel bedste praksis at køre optimeringsstrategier efter indlæsning af store tabeller.
- V-Order: Anvender optimeret sortering, kodning og komprimering på Delta-parquet-filer for at muliggøre hurtige læsehandlinger på tværs af alle Fabric-programmer. V-Order sker under optimeringskommandoen og præsenteres som en indstilling for kommandogruppen i brugeroplevelsen. Du kan få mere at vide om V-Order under Tabeloptimering af Delta Lake og V-Order.
- Vakuum: Fjerner gamle filer, der ikke længere refereres til af en Delta-tabellog. Filer skal være ældre end opbevaringstærsklen, og standardgrænsen for filopbevaring er syv dage. Alle deltatabellerne i OneLake har den samme opbevaringsperiode. Filopbevaringsperioden er den samme, uanset hvilket Fabric-beregningsprogram du bruger. Denne vedligeholdelse er vigtig for at optimere lageromkostninger. Angivelse af en kortere opbevaringsperiode påvirker Deltas tidsrejsefunktioner. Det er en generel bedste praksis at angive et opbevaringsinterval til mindst syv dage, fordi gamle snapshots og filer, der ikke er blevet sendt, stadig kan bruges af de samtidige tabellæsere og -forfattere. Oprydning af aktive filer med kommandoen VACUUM kan medføre læserfejl eller endda beskadigelse af tabeller, hvis de ikke-bekræftede filer fjernes.
Udfør ad hoc-tabelvedligeholdelse på en Delta-tabel ved hjælp af Lakehouse
Sådan bruger du funktionen:
Gå til den ønskede Lakehouse-konto fra din Microsoft Fabric-konto.
I afsnittet Tabeller i Lakehouse-stifinder skal du enten højreklikke på tabellen eller bruge ellipsen til at få adgang til genvejsmenuen.
Vælg menuelementet Vedligeholdelse .
Kontrollér indstillingerne for vedligeholdelse i dialogboksen i henhold til dit krav. Du kan få flere oplysninger i afsnittet Tabelvedligeholdelseshandlinger i denne artikel.
Vælg Kør nu for at udføre vedligeholdelsesjobbet for tabellen.
Spor udførelse af vedligeholdelsesjob ved hjælp af meddelelsesruden eller Overvågningshubben.
Hvordan fungerer tabelvedligeholdelse?
Når Kør nu er valgt, sendes der et Spark-vedligeholdelsesjob til udførelse.
- Spark-jobbet sendes ved hjælp af bruger-id'et og tabelrettigheder.
- Spark-jobbet bruger Fabric-kapaciteten for det arbejdsområde/den bruger, der har sendt jobbet.
- Hvis der kører et andet vedligeholdelsesjob på en tabel, afvises et nyt.
- Job i forskellige tabeller kan udføres parallelt.
- Job til vedligeholdelse af tabeller kan nemt spores i Overvågningshubben. Søg efter teksten "TableMaintenance" i kolonnen aktivitetsnavn på hovedsiden for overvågningshubben.