Vad är på gång?

Lär dig mer om funktioner och beteendeändringar i kommande Azure Databricks-versioner.

Publicera till flera kataloger och scheman i Unity Catalog från dina Delta Live Tables-pipelines

En kommande version av Delta Live Tables innehåller förbättrade funktioner för att publicera och läsa datamängder från dina pipelines:

• När du publicerar tabeller till Unity Catalog från en enda pipeline begränsas du inte längre till att ange en enda katalog och ett schema. I stället kan du publicera till flera kataloger och scheman från en enda pipeline genom att ange fullständigt kvalificerade tabellnamn (catalog.schema.table).
• Syntaxen för USE CATALOG och USE SCHEMA stöds också.
• Det krävs inte längre att använda nyckelordet LIVE för att referera till interna datauppsättningar.

Det här är en ändring som inte bryter kompatibiliteten. Den här nya funktionen gäller när du skapar en ny Delta Live Tables-pipeline, men dina befintliga pipelines fortsätter att köras med den aktuella konfigurationen.

Statistikhantering aktiverad som standard med förutsägelseoptimering

Från och med den 21 januari börjar Databricks aktivera statistikhantering för alla konton med förutsägande optimering aktiverat. Statistikhantering utökar befintliga funktioner för förutsägande optimering genom att lägga till statistiksamling vid skrivning och automatiskt köra ANALYZE kommandon för hanterade Unity Catalog-tabeller. Mer information om förutsägelseoptimering finns i Förutsägelseoptimering för hanterade Unity Catalog-tabeller.

Beteendeförändring när datauppsättningsdefinitioner tas bort från en Delta Live Tables-pipeline

En kommande version av Delta Live Tables ändrar beteendet när en materialiserad vy eller en strömmande tabell tas bort från en pipeline. Med den här ändringen tas den borttagna materialiserade vyn eller strömningstabellen inte bort automatiskt när nästa pipelineuppdatering körs. I stället kan du använda kommandot DROP MATERIALIZED VIEW för att ta bort en materialiserad vy eller kommandot DROP TABLE för att ta bort en strömmande tabell. När ett objekt har släppts återställs inte objektet automatiskt när du kör en pipelineuppdatering. Ett nytt objekt skapas om en materialiserad vy eller en strömmande tabell med samma definition läggs till i pipelinen igen. Du kan dock återställa ett objekt med hjälp av kommandot UNDROP.

IPYNB-notebookar blir standardformatet för Azure Databricks

För närvarande skapar Databricks alla nya notebook-filer i "Databricks-källformatet" som standard, vilket endast samlar in kod. I januari 2025 kommer det nya standardformatet för notebook-filer att vara IPYNB (.ipynb), som även samlar in notebook-miljön, visualiseringsdefinitioner och notebook-widgetar. Den här nya standardinställningen kan ändras i fönstret arbetsyteanvändare Inställningar. Mer information om notebook-format finns i Notebook-format.

Arbetsytefiler aktiveras för alla Azure Databricks-arbetsytor den 1 februari 2025

Databricks kommer att aktivera arbetsytefiler för alla Azure Databricks-arbetsytor den 1 februari 2025. Den här ändringen avblockerar arbetsyteanvändare från att använda nya funktioner för arbetsytefiler. Efter den 1 februari 2025 kommer du inte att kunna inaktivera arbetsytefiler med egenskapen enableWorkspaceFilesystem med Azure Databricks REST API för att aktivera och inaktivera funktioner i arbetsytan. Mer information om arbetsytefiler finns i Vad är arbetsytefiler?.

Tabeller delas med historik som standard i Deltadelning

Databricks planerar att ändra standardinställningen för tabeller som delas med Delta Sharing för att inkludera historik som standard. Tidigare har historikdelning inaktiverats som standard. Delningstabellhistorik förbättrar läsprestanda och ger automatiskt stöd för avancerade Delta-optimeringar.

Lägre kostnad och mer kontroll över prestanda jämfört med kostnaden för din serverlösa beräkning för arbetsflödesarbetsbelastningar

Förutom de automatiska prestandaoptimeringar som stöds för närvarande ger förbättringar av optimeringsfunktionerna för serverlös beräkning för arbetsflöden mer kontroll över om arbetsbelastningar optimeras för prestanda eller kostnad. Mer information finns i Kostnadsbesparingar för serverlös beräkning för notebook-filer, jobb och pipelines.

Ändringar i äldre instrumentpanelsversionsstöd

Databricks rekommenderar att du använder AI/BI-instrumentpaneler (tidigare Lakeview-instrumentpaneler). Tidigare versioner av instrumentpaneler, som tidigare kallades Databricks SQL-instrumentpaneler, kallas nu för äldre instrumentpaneler. Databricks rekommenderar inte att du skapar nya äldre instrumentpaneler. AI/BI-instrumentpaneler erbjuder förbättrade funktioner jämfört med den äldre versionen, inklusive AI-assisterad redigering, utkast och publicerade lägen och korsfiltrering.

Tidslinje för slut på support för äldre instrumentpaneler

• 7 april 2025: Det officiella stödet för den äldre versionen av instrumentpaneler upphör. Endast kritiska säkerhetsproblem och avbrott i tjänsten kommer att åtgärdas.
• 3 november 2025: Databricks kommer att börja arkivera föråldrade instrumentpaneler som inte har använts under de senaste sex månaderna. Arkiverade instrumentpaneler kommer inte längre att vara tillgängliga och arkiveringsprocessen sker löpande. Åtkomsten till aktivt använda instrumentpaneler förblir oförändrad.

Databricks samarbetar med kunder för att utveckla migreringsplaner för aktiva äldre instrumentpaneler efter den 3 november 2025.

För att underlätta övergången till AI/BI-instrumentpaneler är uppgraderingsverktyg tillgängliga i både användargränssnittet och API:et. Anvisningar om hur du använder det inbyggda migreringsverktyget i användargränssnittet finns i Klona en äldre instrumentpanel till en AI/BI-instrumentpanel. För självstudier om hur du skapar och hanterar instrumentpaneler med hjälp av REST-API:et på Använda Azure Databricks-API:er för att hantera instrumentpaneler.

Ändringar i serverlös beräkningsarbetsbelastningsatribution

För närvarande kan din fakturerbara användningssystemtabell innehålla serverlösa SKU-faktureringsposter med null-värden för run_as, job_id, job_run_idoch notebook_id. Dessa poster representerar kostnader som är associerade med delade resurser som inte direkt kan tillskrivas någon viss arbetsbelastning.

För att förenkla kostnadsrapportering tillskriver Databricks snart dessa delade kostnader till de specifika arbetsbelastningar som de har ådragit sig. Du ser inte längre faktureringsposter med null-värden i fält för arbetsbelastningsidentifierare. När du ökar din användning av serverlös beräkning och lägger till fler arbetsbelastningar minskar andelen av dessa delade kostnader på din faktura eftersom de delas mellan fler arbetsbelastningar.

Mer information om övervakning av serverlösa beräkningskostnader finns i Övervaka kostnaden för serverlös beräkning.

Fältet sourceIpAddress i granskningsloggar innehåller inte längre ett portnummer

På grund av en bugg innehåller vissa granskningsloggar för auktorisering och autentisering ett portnummer utöver IP-adressen i sourceIPAddress fältet (till exempel "sourceIPAddress":"10.2.91.100:0"). Portnumret, som loggas som 0, ger inget verkligt värde och är inkonsekvent med resten av Databricks-granskningsloggarna. För att förbättra konsekvensen för granskningsloggar planerar Databricks att ändra formatet på IP-adressen för dessa granskningslogghändelser. Den här ändringen kommer gradvis att lanseras från och med början av augusti 2024.

Om granskningsloggen innehåller en sourceIpAddress av 0.0.0.0kan Databricks sluta logga den.

Äldre Git-integrering är EOL den 31 januari

Efter den 31 januari 2024 tar Databricks bort äldre Git-integreringar för notebook-filer. Den här funktionen har varit i äldre status i mer än två år och ett utfasningsmeddelande har visats i produktgränssnittet sedan november 2023.

Mer information om hur du migrerar till Databricks Git-mappar (tidigare Repos) från äldre Git-integrering finns i Växla till Databricks Repos från äldre Git-integrering. Om borttagningen påverkar dig och du behöver ett tillägg kontaktar du databricks-kontoteamet.

JDK8 och JDK11 stöds inte

Azure Databricks planerar att ta bort JDK 8-stöd med nästa större Databricks Runtime-version när Spark 4.0 släpps. Azure Databricks planerar att ta bort JDK 11-stöd med nästa LTS-version av Databricks Runtime 14.x.

Automatisk aktivering av Unity Catalog för nya arbetsytor

Databricks har börjat aktivera Unity Catalog automatiskt för nya arbetsytor. Detta tar bort behovet av att kontoadministratörer konfigurerar Unity Catalog när en arbetsyta har skapats. Distributionen fortsätter gradvis mellan konton.

sqlite-jdbc-uppgradering

Databricks Runtime planerar att uppgradera sqlite-jdbc-versionen från 3.8.11.2 till 3.42.0.0 i alla versioner av Databricks Runtime-underhåll. API:erna för version 3.42.0.0 är inte helt kompatibla med 3.8.11.2. Bekräfta dina metoder och returtypen använd version 3.42.0.0.

Om du använder sqlite-jdbc i koden kontrollerar du kompatibilitetsrapporten sqlite-jdbc.