Wat gaat er komen?

Meer informatie over functies en gedragswijzigingen in toekomstige Azure Databricks-releases.

Statistiekbeheer is standaard ingeschakeld met voorspellende optimalisatie

Vanaf 21 januari gaat Databricks statistiekenbeheer inschakelen voor alle accounts waarvoor predictive optimization is ingeschakeld. Statistiekenbeheer breidt bestaande predictieve optimalisatie-functionaliteit uit door statistiekenverzameling bij schrijven toe te voegen en het automatisch uitvoeren van ANALYZE-opdrachten voor Unity Catalog beheerde tables. Zie Predictive Optimization voor Unity Catalog beheerde tablesvoor meer informatie over voorspellende optimalisatie.

Gedragswijziging wanneer gegevenssetdefinities worden verwijderd uit een Delta Live-Tables-pijplijn

Een toekomstige release van Delta Live Tables zal het gedrag veranderen wanneer een gematerialiseerde weergave of streaming table uit een pijplijn wordt verwijderd. Met deze wijziging wordt de verwijderde gematerialiseerde weergave of streaming-table niet automatisch verwijderd wanneer de volgende pijplijn update draait. In plaats daarvan kunt u de opdracht DROP MATERIALIZED VIEW gebruiken om een gerealiseerde weergave te verwijderen of de opdracht DROP TABLE om een streaming-tablete verwijderen. Nadat u een object hebt verwijderd, wordt het object niet automatisch hersteld door een pijplijn uit te voeren update. Er wordt een nieuw object gemaakt als een gerealiseerde weergave of streaming-table met dezelfde definitie opnieuw wordt toegevoegd aan de pijplijn. U kunt echter een object herstellen met behulp van de opdracht UNDROP.

Update naar Databricks Marketplace en Partner Connect UI

We vereenvoudigen de zijbalk door Partner Connect- en Marketplace- samen te voegen in één Marketplace- koppeling. De nieuwe Marketplace-koppeling is hoger op de zijbalk.

IPYNB-notebooks worden het standaardformaat voor Azure Databricks.

Op dit moment maakt Databricks alle nieuwe notebooks in de 'Databricks-bronindeling' standaard, waarmee alleen code wordt vastgelegd. In januari 2025 is de nieuwe standaardnotitieblokindeling IPYNB (.ipynb), waarmee ook de notebookomgeving, visualisatiedefinities en notebookwidgets worden vastgelegd. Deze nieuwe standaardwaarde kan worden gewijzigd in de werkruimtegebruiker instellingen deelvenster. Zie Notitieboek-indelingenvoor meer details over notitieboekformaten.

Werkruimtebestanden zullen worden geactiveerd voor alle Azure Databricks-werkruimtes op 1 februari 2025.

Databricks maakt werkruimtebestanden mogelijk voor alle Azure Databricks-werkruimten op 1 februari 2025. Met deze wijziging worden werkruimtegebruikers geblokkeerd voor het gebruik van nieuwe functies voor werkruimtebestanden. Na 1 februari 2025 kunt u geen werkruimtebestanden uitschakelen met behulp van de eigenschap enableWorkspaceFilesystem met de Azure Databricks REST API voor het in- en uitschakelen van werkruimtefuncties. Voor meer informatie over werkruimtebestanden, zie Wat zijn werkruimtebestanden?.

Tables zijn standaard gekoppeld aan de geschiedenis in Delta Sharing

Databricks is van plan om de standaardinstelling voor tables gedeeld met Delta Sharing te wijzigen, zodat de geschiedenis standaard wordt opgenomen. Voorheen was het delen van geschiedenis standaard uitgeschakeld. Het delen van table geschiedenis verbetert de leesprestaties en biedt automatische ondersteuning voor geavanceerde Delta-optimalisaties.

Voorspellende optimalisatie is standaard ingeschakeld voor alle nieuwe Azure Databricks-accounts

Op 11 november schakelt Databricks voorspellende optimalisatie in als de standaardinstelling voor alle nieuwe Azure Databricks-accounts. Voorheen was deze standaard uitgeschakeld en kan deze worden ingeschakeld door uw accountbeheerder. Wanneer voorspellende optimalisatie is ingeschakeld, voert Azure Databricks automatisch onderhoudsbewerkingen uit voor Unity Catalog beheerde tables. Zie Predictive Optimization voor Unity Catalog beheerde tablesvoor meer informatie over voorspellende optimalisatie.

Lagere kosten en meer controle over prestaties versus kosten voor serverloze berekeningen voor werkstromenworkloads

Naast de momenteel ondersteunde automatische prestatieoptimalisaties, bieden verbeteringen van serverloze berekeningen voor werkstromenoptimalisatiefuncties u meer controle over of workloads zijn geoptimaliseerd voor prestaties of kosten. Zie Kostenbesparingen voor serverloze berekeningen voor notebooks, taken en pijplijnen voor meer informatie.

Wijzigingen in ondersteuning voor verouderde dashboardversies

Databricks raadt aan AI/BI-dashboards (voorheen Lakeview-dashboards) te gebruiken. Eerdere versies van dashboards, voorheen Databricks SQL-dashboards genoemd, worden nu verouderde dashboards genoemd. Databricks raadt niet aan om nieuwe verouderde dashboards te maken. AI/BI-dashboards bieden verbeterde functies in vergelijking met de verouderde versie, waaronder AI-ondersteund schrijven, concept- en gepubliceerde modi, en kruisfiltering.

Tijdlijn voor einde van ondersteuning voor verouderde dashboards

• 7 april 2025: officiële ondersteuning voor de verouderde versie van dashboards wordt beëindigd. Alleen kritieke beveiligingsproblemen en serviceonderbrekingen worden opgelost.
• 3 november 2025: Databricks begint met het archiveren van verouderde dashboards die de afgelopen zes maanden niet zijn geopend. Gearchiveerde dashboards zijn niet meer toegankelijk en het archiveringsproces vindt doorlopend plaats. De toegang tot actief gebruikte dashboards blijft ongewijzigd.

Databricks werkt samen met klanten om migratieplannen voor actieve verouderde dashboards te ontwikkelen na 3 november 2025.

Voor hulp bij de overgang naar AI/BI-dashboards zijn upgradehulpprogramma's beschikbaar in zowel de gebruikersinterface als de API. Zie Een verouderd dashboard klonen naar een AI/BI-dashboardvoor instructies over het gebruik van het ingebouwde hulpprogramma voor migratie in de gebruikersinterface. Voor zelfstudies over het maken en beheren van dashboards met behulp van de REST API bij Azure Databricks-API's voor het beheren van dashboards.

Wijzigingen in de toewijzing van serverloze rekenworkloads

Op dit moment bevat uw factureerbare gebruikssysteem table mogelijk serverloze SKU-factureringsrecords met null-values voor run_as, job_id, job_run_iden notebook_id. Deze records vertegenwoordigen kosten die zijn gekoppeld aan gedeelde resources die niet rechtstreeks zijn toe te schrijven aan een bepaalde workload.

Om kostenrapportage te vereenvoudigen, zal Databricks deze gedeelde kosten binnenkort toewijzen aan de specifieke workloads die ze hebben gemaakt. U ziet geen factureringsrecords meer met null-values in de workloadvelden identifier. Wanneer u het gebruik van serverloze berekeningen verhoogt en meer workloads toevoegt, neemt het aandeel van deze gedeelde kosten op uw factuur af naarmate ze worden gedeeld over meer workloads.

Zie De kosten van serverloze berekeningen bewaken voor serverloze berekeningen voor meer informatie over het bewaken van serverloze rekenkosten.

Het veld sourceIpAddress in auditlogboeken bevat geen poortnummer meer

Vanwege een fout bevatten bepaalde verificatie- en verificatiecontrolelogboeken een poortnummer naast het IP-adres in het sourceIPAddress veld (bijvoorbeeld "sourceIPAddress":"10.2.91.100:0"). Het poortnummer, dat wordt geregistreerd als 0, biedt geen echte waarde en is inconsistent met de rest van de Databricks-auditlogboeken. Om de consistentie van auditlogboeken te verbeteren, is Databricks van plan de indeling van het IP-adres voor deze auditlogboekgebeurtenissen te wijzigen. Deze wijziging wordt vanaf begin augustus 2024 geleidelijk uitgerold.

Als het auditlogboek een sourceIpAddress van 0.0.0.0bevat, kan Databricks stoppen met het registreren van het logboek.

Verouderde Git-integratie is EOL op 31 januari

Na 31 januari 2024 wordt Databricks removeverouderde Git-integraties van notebooks. Deze functie heeft meer dan twee jaar de verouderde status en er wordt sinds november 2023 een afschaffingsmelding weergegeven in de gebruikersinterface van het product.

Zie Overschakelen naar Databricks-opslagplaatsen vanuit verouderde Git-integratie voor meer informatie over het migreren naar Databricks Git-mappen (voorheen opslagplaatsen) van verouderde Git-integratie. Als deze verwijdering van invloed is op u en u een extensie nodig hebt, neemt u contact op met uw Databricks-accountteam.

JDK8 en JDK11 worden niet ondersteund

Azure Databricks is van plan om ondersteuning voor JDK 8 te remove met de volgende primaire Databricks Runtime-versie, wanneer Spark 4.0 wordt uitgebracht. Azure Databricks is van plan om ondersteuning voor JDK 11 te remove in de volgende LTS-versie van Databricks Runtime 14.x.

Automatisch inschakelen van Unity Catalog voor nieuwe werkruimten

Databricks is begonnen met het automatisch inschakelen van Unity Catalog voor nieuwe werkruimten. Hierdoor hoeven accountbeheerders niet Unity Catalog te configureren nadat een werkruimte is gemaakt. De implementatie verloopt geleidelijk tussen accounts.

sqlite-jdbc-upgrade

Databricks Runtime wil de sqlite-jdbc-versie upgraden van 3.8.11.2 naar 3.42.0.0 in alle onderhoudsreleases van Databricks Runtime. De API's van versie 3.42.0.0 zijn niet volledig compatibel met 3.8.11.2. Bevestig uw methoden en retourtype gebruik versie 3.42.0.0.

Als u sqlite-jdbc in uw code gebruikt, controleert u het compatibiliteitsrapport sqlite-jdbc.