Delen via

Onderhoudsupdates voor Databricks Runtime (gearchiveerd)

  • Artikel

Deze gearchiveerde pagina bevat onderhoudsupdates die zijn uitgegeven voor Databricks Runtime-releases die niet meer worden ondersteund. Als u een onderhoudsupdate wilt toevoegen aan een bestaand cluster, start u het cluster opnieuw op.

Belangrijk

Deze documentatie is buiten gebruik gesteld en wordt mogelijk niet bijgewerkt. De producten, services of technologieën die in deze inhoud worden genoemd, hebben het einde van de ondersteuning bereikt. Zie de releaseversies en compatibiliteit van Databricks Runtime.

Notitie

Dit artikel bevat verwijzingen naar de whitelist met termen, een term die azure Databricks niet gebruikt. Zodra de term uit de software wordt verwijderd, verwijderen we deze uit dit artikel.

Databricks Runtime-releases

Onderhoudsupdates per release:

Zie updates voor Databricks Runtime-onderhoud voor de onderhoudsupdates van Databricks Runtime voor de onderhoudsupdates voor ondersteunde Versies van Databricks Runtime.

Databricks Runtime 15.1

Zie Databricks Runtime 15.1 (EoS).

  • 22 oktober 2024
    • [SPARK-49863][SQL] NormalizeFloatingNumbers herstellen om de null-baarheid van geneste structs te behouden
    • [SPARK-46632][SQL] Subexpressie-verwijdering corrigeren wanneer equivalente ternaire expressies verschillende onderliggende elementen hebben
    • [SPARK-49782][SQL] De regel ResolveDataFrameDropColumns lost UnresolvedAttribute op met onderliggende uitvoer
    • [SPARK-49905] Toegewezen ShuffleOrigin gebruiken voor stateful operator om te voorkomen dat de willekeurige volgorde wordt gewijzigd vanuit AQE
    • [SPARK-49829] Wijzig de optimalisatie bij het toevoegen van invoer aan het statusarchief in stream-stream join (correctie)
    • Beveiligingsupdates van het besturingssysteem.
  • 10 oktober 2024
    • [SPARK-49688][VERBINDING MAKEN] Een gegevensrace tussen onderbreken en uitvoeren van plan herstellen
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr mag geen schemavelden wijzigen bij het verwijderen van GetArrayStructFields
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Foutklasse classificeren voor Foutklasse FlatMapGroupsWithState-gebruikersfunctie
    • Beveiligingsupdates van het besturingssysteem.
  • 25 september 2024
    • [SPARK-49628][SQL] ConstantFolding moet een stateful expressie kopiëren voordat deze wordt geëvalueerd
    • [SPARK-48719][SQL] Corrigeer de berekeningsfout van RegrSlope & RegrIntercept wanneer de eerste parameter null is
    • [SPARK-49492][VERBINDING MAKEN] Poging om opnieuw te worden gekoppeld aan inactieve uitvoeringsaanduiding
    • [SPARK-49000][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates uit te vouwen
    • [SPARK-49458][VERBINDING MAKEN][PYTHON] Sessie-id aan serverzijde leveren via ReattachExecute
    • Beveiligingsupdates van het besturingssysteem.
  • 17 september 2024
    • [SPARK-49336][VERBINDING MAKEN] Beperk het nestniveau bij het afkappen van een protobuf-bericht
    • [SPARK-49526][VERBINDING MAKEN] Ondersteuning voor Paden in Windows-stijl in ArtifactManager
    • [SPARK-49409][VERBINDING MAKEN] De standaardwaarde van CONNECT_SESSION_PLAN_CACHE_SIZE aanpassen
    • [SPARK-43242][CORE] Fout 'Onverwacht type BlockId' in willekeurige beschadigingsdiagnose opgelost
    • [SPARK-49366][VERBINDING MAKEN] Union-knooppunt behandelen als leaf in de kolomresolutie van het dataframe
  • 29 augustus 2024
    • [SPARK-49263][VERBINDING MAKEN] Spark Connect Python-client: Boolean Dataframe Reader-opties consistent verwerken
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan null niet correct verwerken
    • [SPARK-48862][PYTHON][VERBINDING MAKEN] Bel niet _proto_to_string wanneer INFO-niveau niet is ingeschakeld
    • [SPARK-49146][SS] Assertiefouten verplaatsen die zijn gerelateerd aan watermerk die ontbreken in streamingquery's in de toevoegmodus naar het foutenframework
  • 14 augustus 2024
    • [SPARK-48941][SPARK-48970] Backport ML writer/reader fixes
    • [SPARK-48050][SS] Logische planning registreren bij het starten van de query
    • [SPARK-48706][PYTHON] Python UDF in hogere volgorde functies mogen geen interne fout veroorzaken
    • [SPARK-48597][SQL] Een markering introduceren voor de eigenschap isStreaming in de tekstweergave van een logisch plan
    • [SPARK-49065][SQL] Herstellen in verouderde formatters/parsers moet niet-JVM-standaardtijdzones ondersteunen
    • [SPARK-49047][PYTHON][VERBINDING MAKEN] Het bericht afkappen voor logboekregistratie
    • [SPARK-48740][SQL] Fout met ontbrekende vensterspecificatie vroegtijdig detecteren
  • 1 augustus 2024
  • 11 juli 2024
    • (Gedragswijziging) DataFrames die zijn opgeslagen in de cache voor Delta-tabelbronnen, worden nu ongeldig als de brontabel wordt overschreven. Deze wijziging betekent dat alle statuswijzigingen in Delta-tabellen nu de resultaten in de cache ongeldig maken. Gebruik .checkpoint() dit om een tabelstatus gedurende de levensduur van een DataFrame te behouden.
    • Het JDBC-stuurprogramma van Snowflake wordt bijgewerkt naar versie 3.16.1.
    • Deze release bevat een oplossing voor een probleem waardoor het tabblad Spark UI-omgeving niet correct wordt weergegeven bij het uitvoeren in Databricks Container Services.
    • Op serverloze berekeningen voor notebooks en taken is de ANSI SQL-modus standaard ingeschakeld. Zie Ondersteunde Spark-configuratieparameters.
    • Als u ongeldige partities wilt negeren bij het lezen van gegevens, op bestanden gebaseerde gegevensbronnen, zoals Parquet, ORC, CSV of JSON, kunt u de optie ignoreInvalidPartitionPaths instellen op waar. Bijvoorbeeld: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. U kunt ook de SQL-configuratie spark.sql.files.ignoreInvalidPartitionPaths gebruiken. De optie voor de gegevensbron heeft echter voorrang op de SQL-configuratie. Deze instelling is standaard onwaar.
    • [SPARK-48383][SS] Werp een betere fout op voor niet-overeenkomende partities in de optie startOffset in Kafka
    • [SPARK-48481][SQL][SS] OptimizeOneRowPlan niet toepassen op streaminggegevensset
    • [SPARK-48100][SQL] Problemen oplossen bij het overslaan van geneste structuurvelden die niet zijn geselecteerd in het schema
    • [SPARK-47463][SQL] V2Predicate gebruiken om expressies te verpakken met het retourtype Booleaanse waarde
    • [SPARK-48445][SQL] Niet inline UDF's met dure kinderen
    • [SPARK-48292][CORE] Herstellen [SPARK-39195][SQL] Spark OutputCommitCoordinator moet fase afbreken wanneer het vastgelegde bestand niet consistent is met de taakstatus
    • [SPARK-48566][PYTHON] Fout opgelost waarbij partitieindexen onjuist zijn wanneer UDTF analyze() zowel select als partitionColumns gebruikt
    • [SPARK-48648][PYTHON][VERBINDING MAKEN] SparkConnectClient.tags correct threadlocal maken
    • [SPARK-48503][SQL] Ongeldige scalaire subquery's herstellen met groeperen op niet-equivalente kolommen die onjuist waren toegestaan
    • [SPARK-48252][SQL] CommonExpressionRef bijwerken indien nodig
    • [SPARK-48475][PYTHON] Optimaliseer _get_jvm_function in PySpark.
    • [SPARK-48294][SQL] Kleine letters in nestedTypeMissingElementTypeError verwerken
    • [SPARK-48286] Analyse van kolom met een standaardexpressie oplossen - Gebruikersgerichte fout toevoegen
    • [SPARK-47309][SQL] XML: Schemadeductietests toevoegen voor waardetags
    • [SPARK-47309][SQL][XML] Moduletests voor schemadeductie toevoegen
    • [SPARK-48273][SQL] Late herschrijven van PlanWithUnresolvedIdentifier herstellen
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2024
    • applyInPandasWithState() is beschikbaar op gedeelde clusters.
    • Hiermee lost u een fout op waarbij de optimalisatie van rangschikken vensters met behulp van Photon TopK onjuist afgehandelde partities met structs.
    • [SPARK-48310][PYTHON][VERBINDING MAKEN] Eigenschappen in cache moeten kopieën retourneren
    • [SPARK-48276][PYTHON][VERBINDING MAKEN] De ontbrekende __repr__ methode toevoegen voor SQLExpression
    • [SPARK-48277] Foutbericht voor ErrorClassesJsonReader.getErrorMessage verbeteren
    • [SPARK-47764][CORE][SQL] Shuffle-afhankelijkheden opschonen op basis van ShuffleCleanupMode
    • Beveiligingsupdates van het besturingssysteem.
  • 21 mei 2024
    • Er is een fout opgelost in de functie try_divide() waarbij invoer met decimalen onverwachte uitzonderingen heeft opgeleverd.
    • [SPARK-48173][SQL] CheckAnalysis zou het hele queryplan moeten zien
    • [SPARK-48016][SQL] Een fout in try_divide functie oplossen bij decimalen
    • [SPARK-48105][SS] De racevoorwaarde tussen het lossen en momentopnamen van de statusopslag herstellen
    • [SPARK-48197][SQL] Voorkom assertiefout voor ongeldige lambda-functie
    • [SPARK-48180][SQL] Fout verbeteren wanneer UDTF-aanroep met TABLE-argument haakjes rond meerdere PARTITIE/ORDER BY exprs vergeet
    • [SPARK-48014][SQL] Wijzig de makeFromJava-fout in EvaluatePython in een gebruikersgerichte fout
    • [SPARK-48056][VERBINDING MAKEN][PYTHON] Plan opnieuw uitvoeren als er een SESSION_NOT_FOUND fout optreedt en er geen gedeeltelijk antwoord is ontvangen
    • [SPARK-48146][SQL] Statistische functie in onderliggende expressie-assertie corrigeren
    • [SPARK-47994][SQL] Fout opgelost met CASE WHEN column filter push down in SQLServer
    • Beveiligingsupdates van het besturingssysteem.
  • 9 mei 2024
    • [SPARK-47543][VERBINDING MAKEN][PYTHON] Dict uitstellen als MapType van Pandas DataFrame om het maken van DataFrame toe te staan
    • [SPARK-47739][SQL] Logisch avro-type registreren
    • [SPARK-48044][PYTHON][VERBINDING MAKEN] Cache DataFrame.isStreaming
    • [SPARK-47855][VERBINDING MAKEN] Toevoegen spark.sql.execution.arrow.pyspark.fallback.enabled aan de niet-ondersteunde lijst
    • [SPARK-48010][SQL] Vermijd herhaalde aanroepen naar conf.resolver in resolveExpression
    • [SPARK-47941] [SS] [Verbinding maken] ForeachBatch-werkrolfouten doorgeven aan gebruikers voor PySpark
    • [SPARK-47819][VERBINDING MAKEN][Cherry-pick-15.0] Gebruik asynchrone callback voor het opschonen van de uitvoering
    • [SPARK-47956][SQL] Sanity-controle op onopgeloste LCA-referentie
    • [SPARK-47839][SQL] Aggregatiefout opgelost in RewriteWithExpression
    • [SPARK-48018][SS] Oplossing voor null groupId die ontbrekende param-fout veroorzaakt bij het genereren van KafkaException.couldNotReadOffsetRange
    • [SPARK-47371] [SQL] XML: Rijtags negeren die zijn gevonden in CDATA
    • [SPARK-47907][SQL] Knal onder een configuratie plaatsen
    • [SPARK-47895][SQL] groeperen op alle moet idempotent zijn
    • [SPARK-47973][CORE] Oproepsite voor logboeken in SparkContext.stop() en hoger in SparkContext.assertNotStopped()
    • [SPARK-47986][VERBINDING MAKEN][PYTHON] Kan geen nieuwe sessie maken wanneer de standaardsessie wordt gesloten door de server
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 15.0

Zie Databricks Runtime 15.0 (EoS).

  • 30 mei 2024
    • (Gedragswijziging) dbutils.widgets.getAll() wordt nu ondersteund om alle widgetwaarden in een notitieblok op te halen.
  • 25 april 2024
    • [SPARK-47786] SELECT DISTINCT () mag niet SELECT DISTINCT struct() worden (terugkeren naar eerder gedrag)
    • [SPARK-47802][SQL] Terugdraaien () van betekenis struct() terug naar betekenis *
    • [SPARK-47509][SQL] Subquery-expressies blokkeren in lambda- en hogere volgordefuncties
    • [SPARK-47722] Wacht totdat het achtergrondwerk van RocksDB is voltooid voordat u het sluit
    • [SPARK-47081][VERBINDING MAKEN][VOLGEN] De bruikbaarheid van de voortgangshandler verbeteren
    • [SPARK-47694][VERBINDING MAKEN] Maximale berichtgrootte configureerbaar maken aan de clientzijde
    • [SPARK-47669][SQL][VERBINDING MAKEN][PYTHON] Toevoegen Column.try_cast
    • [SPARK-47664][PYTHON][VERBINDING MAKEN][Cherry-pick-15.0] Valideer de kolomnaam met een schema in de cache
    • [SPARK-47818][VERBINDING MAKEN][Cherry-pick-15.0] Introduceer plancache in SparkConnectPlanner om de prestaties van analyseaanvragen te verbeteren
    • [SPARK-47704][SQL] JSON-parsering mislukt met java.lang.ClassCastException wanneer spark.sql.json.enablePartialResults is ingeschakeld
    • [SPARK-47755][VERBINDING MAKEN] Draai moet mislukken wanneer het aantal afzonderlijke waarden te groot is
    • [SPARK-47713][SQL][VERBINDING MAKEN] Een self-joinfout oplossen
    • [SPARK-47812][VERBINDING MAKEN] Ondersteuning voor serialisatie van SparkSession voor ForEachBatch-werkrol
    • [SPARK-47828][VERBINDING MAKEN][PYTHON] DataFrameWriterV2.overwrite mislukt met ongeldig plan
    • [SPARK-47862][PYTHON][VERBINDING MAKEN]Het genereren van proto-bestanden herstellen
    • [SPARK-47800][SQL] Nieuwe methode maken voor id naar tableIdentifier-conversie
    • Beveiligingsupdates van het besturingssysteem.
  • 3 april 2024
    • (Gedragswijziging) Om consistent gedrag voor rekentypen te garanderen, komen PySpark UDF's op gedeelde clusters nu overeen met het gedrag van UDF's op niet-isolatie en toegewezen clusters. Deze update bevat de volgende wijzigingen die bestaande code kunnen breken:
      • UDF's met een string retourtype converteren niet langer impliciet niet-waardenstring naar string waarden. Voorheen zouden UDF's met een retourtype str de retourwaarde verpakken met een str() functie, ongeacht het werkelijke gegevenstype van de geretourneerde waarde.
      • UDF's met timestamp retourtypen passen geen conversie timestamp meer impliciet toe op .timezone
      • De Spark-clusterconfiguraties spark.databricks.sql.externalUDF.* zijn niet langer van toepassing op PySpark UDF's op gedeelde clusters.
      • De Configuratie van het Spark-cluster spark.databricks.safespark.externalUDF.plan.limit heeft geen invloed meer op PySpark UDF's, zodat de openbare preview-beperking van 5 UDF's per query voor PySpark UDF's wordt verwijderd.
      • De Configuratie van het Spark-cluster spark.databricks.safespark.sandbox.size.default.mib is niet meer van toepassing op PySpark UDF's op gedeelde clusters. In plaats daarvan wordt het beschikbare geheugen op het systeem gebruikt. Als u het geheugen van PySpark UDF's wilt beperken, gebruikt spark.databricks.pyspark.udf.isolation.memoryLimit u deze met een minimumwaarde van 100m.
    • Het TimestampNTZ gegevenstype wordt nu ondersteund als een clusterkolom met liquide clustering. Zie Liquid clustering gebruiken voor Delta-tabellen.
    • [SPARK-47218][SQL] XML: Gecommentareerde rijtags negeren in XML-tokenizer
    • [SPARK-46990][SQL] Probleem oplossen bij het laden van lege Avro-bestanden die worden verzonden door Event Hubs
    • [SPARK-47033][SQL] Problemen met EXECUTE IMMEDIATE USING herkennen sessievariabelenamen niet
    • [SPARK-47368][SQL] De configuratiecontrole inFerTimestampNTZ verwijderen in ParquetRowConverter
    • [SPARK-47561][SQL] Problemen met de volgorde van analyseregels over Alias oplossen
    • [SPARK-47638][PS][VERBINDING MAKEN] Kolomnaamvalidatie overslaan in PS
    • [SPARK-46906][BACKPORT][SS] Een controle toevoegen voor stateful operatorwijziging voor streaming
    • [SPARK-47569][SQL] Vergelijkingsvariant is niet toe te staat.
    • [SPARK-47241][SQL] Problemen met regelvolgorde voor ExtractGenerator oplossen
    • [SPARK-47218] [SQL] XML: SchemaOfXml is gewijzigd om te mislukken in de DROPMALFORMED-modus
    • [SPARK-47300][SQL] quoteIfNeeded moet de aanhalingstekens beginnen met cijfers
    • [SPARK-47009][SQL][Sortering] Ondersteuning voor het maken van tabellen inschakelen voor sortering
    • [SPARK-47322][PYTHON][VERBINDING MAKEN] Dubbele verwerking van kolomnamen consistent maken withColumnsRenamed met withColumnRenamed
    • [SPARK-47544][PYTHON] SparkSession Builder-methode is niet compatibel met Visual Studio Code intellisense
    • [SPARK-47511][SQL] Canonicaliseren met expressies door id's opnieuw toe te wijzen
    • [SPARK-47385] Tuple-coderingsprogramma's herstellen met Optie-invoer.
    • [SPARK-47200][SS] Foutklasse voor foreach batch-sinkgebruikersfunctiefout
    • [SPARK-47135][SS] Foutklassen implementeren voor uitzonderingen voor gegevensverlies in Kafka
    • [SPARK-38708][SQL] Hive Metastore-client upgraden naar de 3.1.3 voor Hive 3.1
    • [SPARK-47305][SQL] PruneFilters herstellen om de vlag isStreaming van LocalRelation correct te taggen wanneer het plan zowel batch- als streaming heeft
    • [SPARK-47380][VERBINDING MAKEN] Zorg ervoor dat de SparkSession aan de serverzijde hetzelfde is
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 14.2

Zie Databricks Runtime 14.2 (EoS).

  • 22 oktober 2024
    • [SPARK-49782][SQL] De regel ResolveDataFrameDropColumns lost UnresolvedAttribute op met onderliggende uitvoer
    • [SPARK-49905] Toegewezen ShuffleOrigin gebruiken voor stateful operator om te voorkomen dat de willekeurige volgorde wordt gewijzigd vanuit AQE
    • Beveiligingsupdates van het besturingssysteem.
  • 10 oktober 2024
  • 25 september 2024
    • [SPARK-48719][SQL] Corrigeer de berekeningsfout van RegrS...
    • [SPARK-49628][SQL] ConstantFolding moet een stateful expressie kopiëren voordat deze wordt geëvalueerd
    • [SPARK-49000][SQL] Oplossing voor 'select count(distinct 1) from t' waarbij t lege tabel is door RewriteDistinctAggregates uit te vouwen
    • [SPARK-43242][CORE] Fout 'Onverwacht type BlockId' in willekeurige beschadigingsdiagnose opgelost
    • [SPARK-46601] [CORE] Logboekfout in handleStatusMessage oplossen
    • Beveiligingsupdates van het besturingssysteem.
  • 17 september 2024
    • [SPARK-49526][VERBINDING MAKEN] Ondersteuning voor Paden in Windows-stijl in ArtifactManager
  • 29 augustus 2024
    • [SPARK-49263][VERBINDING MAKEN] Spark Connect Python-client: Boolean Dataframe Reader-opties consistent verwerken
    • [SPARK-49146][SS] Assertiefouten verplaatsen die zijn gerelateerd aan watermerk die ontbreken in streamingquery's in de toevoegmodus naar het foutenframework
    • [SPARK-49056][SQL] ErrorClassesJsonReader kan null niet correct verwerken
  • 14 augustus 2024
    • [SPARK-48050][SS] Logische planning registreren bij het starten van de query
    • [SPARK-48597][SQL] Een markering introduceren voor de eigenschap isStreaming in de tekstweergave van een logisch plan
    • [SPARK-49065][SQL] Herstellen in verouderde formatters/parsers moet niet-JVM-standaardtijdzones ondersteunen
    • [SPARK-48706][PYTHON] Python UDF in hogere volgorde functies mogen geen interne fout veroorzaken
  • 1 augustus 2024
    • Deze release bevat een bugfix voor de ColumnVector en ColumnarArray klassen in de Spark Java-interface. Voorafgaand aan deze oplossing kunnen er gegevens ArrayIndexOutOfBoundsException worden gegenereerd of onjuist worden geretourneerd wanneer een exemplaar van een van deze klassen waarden bevat null .
    • De uitvoer van een SHOW CREATE TABLE instructie bevat nu rijfilters of kolommaskers die zijn gedefinieerd in een gerealiseerde weergave of streamingtabel. Zie SHOW CREATE TABLE. Zie Gevoelige tabelgegevens filteren met rijfilters en kolommaskers voor meer informatie over rijfilters en kolommaskers.
    • [SPARK-47202][PYTHON] Typfouten oplossen die datum/tijd veroorzaken met tzinfo
    • [SPARK-48705][PYTHON] Gebruik expliciet worker_main wanneer deze begint met pyspark
    • Beveiligingsupdates van het besturingssysteem.
  • 11 juli 2024
    • (Gedragswijziging) DataFrames die zijn opgeslagen in de cache voor Delta-tabelbronnen, worden nu ongeldig als de brontabel wordt overschreven. Deze wijziging betekent dat alle statuswijzigingen in Delta-tabellen nu de resultaten in de cache ongeldig maken. Gebruik .checkpoint() dit om een tabelstatus gedurende de levensduur van een DataFrame te behouden.
    • Het JDBC-stuurprogramma van Snowflake wordt bijgewerkt naar versie 3.16.1
    • Deze release bevat een oplossing voor een probleem waardoor het tabblad Spark UI-omgeving niet correct wordt weergegeven bij het uitvoeren in Databricks Container Services.
    • [SPARK-48292][CORE] Herstellen [SPARK-39195][SQL] Spark OutputCommitCoordinator moet fase afbreken wanneer het vastgelegde bestand niet consistent is met de taakstatus
    • [SPARK-48273][SQL] Late herschrijven van PlanWithUnresolvedIdentifier herstellen
    • [SPARK-48503][SQL] Ongeldige scalaire subquery's herstellen met groeperen op niet-equivalente kolommen die onjuist waren toegestaan
    • [SPARK-48481][SQL][SS] OptimizeOneRowPlan niet toepassen op streaminggegevensset
    • [SPARK-48475][PYTHON] Optimaliseer _get_jvm_function in PySpark.
    • [SPARK-48100][SQL] Problemen oplossen bij het overslaan van geneste structuurvelden die niet zijn geselecteerd in het schema
    • [SPARK-48445][SQL] Niet inline UDF's met dure kinderen
    • [SPARK-48383][SS] Werp een betere fout op voor niet-overeenkomende partities in de optie startOffset in Kafka
    • Beveiligingsupdates van het besturingssysteem.
  • 17 juni 2024
    • Hiermee lost u een fout op waarbij de optimalisatie van rangschikken vensters met behulp van Photon TopK onjuist afgehandelde partities met structs.
    • [SPARK-48276][PYTHON][VERBINDING MAKEN] De ontbrekende __repr__ methode toevoegen voor SQLExpression
    • [SPARK-48277] Foutbericht voor ErrorClassesJsonReader.getErrorMessage verbeteren
    • Beveiligingsupdates van het besturingssysteem.
  • 21 mei 2024
    • (Gedragswijziging) dbutils.widgets.getAll() wordt nu ondersteund om alle widgetwaarden in een notitieblok op te halen.
    • [SPARK-48173][SQL] CheckAnalysis zou het hele queryplan moeten zien
    • [SPARK-48197][SQL] Voorkom assertiefout voor ongeldige lambda-functie
    • [SPARK-47994][SQL] Fout opgelost met CASE WHEN column filter push down in SQLServer
    • [SPARK-48105][SS] De racevoorwaarde tussen het lossen en momentopnamen van de statusopslag herstellen
    • Beveiligingsupdates van het besturingssysteem.
  • 9 mei 2024
    • [SPARK-48044][PYTHON][VERBINDING MAKEN] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Sanity-controle op onopgeloste LCA-referentie
    • [SPARK-47371] [SQL] XML: Rijtags negeren die zijn gevonden in CDATA
    • [SPARK-47812][VERBINDING MAKEN] Ondersteuning voor serialisatie van SparkSession voor ForEachBatch-werkrol
    • [SPARK-47895][SQL] groeperen op alle moet idempotent zijn
    • [SPARK-47973][CORE] Oproepsite voor logboeken in SparkContext.stop() en hoger in SparkContext.assertNotStopped()
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2024
    • [SPARK-47704][SQL] JSON-parsering mislukt met java.lang.ClassCastException wanneer spark.sql.json.enablePartialResults is ingeschakeld
    • [SPARK-47828][VERBINDING MAKEN][PYTHON] DataFrameWriterV2.overwrite mislukt met ongeldig plan
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2024
    • [SPARK-47309][SQL][XML] Moduletests voor schemadeductie toevoegen
    • [SPARK-46990][SQL] Probleem oplossen bij het laden van lege Avro-bestanden die worden verzonden door Event Hubs
    • [SPARK-47638][PS][VERBINDING MAKEN] Kolomnaamvalidatie overslaan in PS
    • [SPARK-47509][SQL] Subquery-expressies blokkeren in lambda- en hogere volgordefuncties
    • [SPARK-38708][SQL] Hive Metastore-client upgraden naar de 3.1.3 voor Hive 3.1
    • Beveiligingsupdates van het besturingssysteem.
  • 1 april 2024
    • [SPARK-47322][PYTHON][VERBINDING MAKEN] Dubbele verwerking van kolomnamen consistent maken withColumnsRenamed met withColumnRenamed
    • [SPARK-47385] Tuple-coderingsprogramma's herstellen met Optie-invoer.
    • [SPARK-47070] Ongeldige aggregatie herstellen na herschrijven van subquery
    • [SPARK-47218] [SQL] XML: SchemaOfXml is gewijzigd om te mislukken in de DROPMALFORMED-modus
    • [SPARK-47305][SQL] PruneFilters herstellen om de vlag isStreaming van LocalRelation correct te taggen wanneer het plan zowel batch- als streaming heeft
    • [SPARK-47218][SQL] XML: Gecommentareerde rijtags negeren in XML-tokenizer
    • Herstel "[SPARK-46861][CORE] Voorkom impasse in DAGScheduler"
    • [SPARK-47300][SQL] quoteIfNeeded moet de aanhalingstekens beginnen met cijfers
    • [SPARK-47368][SQL] De configuratiecontrole inFerTimestampNTZ verwijderen in ParquetRowConverter
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2024
    • [SPARK-47035][SS][VERBINDING MAKEN] Protocol voor listener aan clientzijde
    • [SPARK-47121][CORE] Vermijd RejectedExecutionExceptions tijdens het afsluiten standaloneSchedulerBackend
    • [SPARK-47145][SQL] Geef tabel-id door aan scanexec van rijgegevensbron voor V2-strategie.
    • [SPARK-47176][SQL] Een Helper-functie ResolveAllExpressionsUpWithPruning hebben
    • [SPARK-47167][SQL] Concrete klasse toevoegen voor anonieme JDBC-relatie
    • [SPARK-47129][VERBINDING MAKEN][SQL] Cacheverbindingsplan ResolveRelations op de juiste manier maken
    • [SPARK-47044][SQL] Uitgevoerde query toevoegen voor externe JDBC-gegevensbronnen om uitvoer uit te leggen
    • Beveiligingsupdates van het besturingssysteem.
  • 29 februari 2024
    • Er is een probleem opgelost waarbij het gebruik van een lokale verzameling als bron in een MERGE-opdracht ertoe kon leiden dat de metrische gegevens van numSourceRows voor de bewerking het juiste aantal rijen rapporteren.
    • Voor het maken van een schema met een gedefinieerde locatie moet de gebruiker nu SELECT- en MODIFY-bevoegdheden hebben voor ELK BESTAND.
    • U kunt nu XML-bestanden opnemen met autoloader, read_files, COPY INTO, DLT en DBSQL. XML-bestandsondersteuning kan automatisch schema's afleiden en ontwikkelen, gegevens redden met typefouten, XML valideren met XSD, ONDERSTEUNING bieden voor SQL-expressies zoals from_xml, schema_of_xml en to_xml. Zie ondersteuning voor XML-bestanden voor meer informatie. Als u eerder het externe Spark-XML-pakket had gebruikt, raadpleegt u hier voor migratierichtlijnen.
    • [SPARK-46954][SQL] XML: InputStreamReader verpakken met BufferedReader
    • [SPARK-46630][SQL] XML: De naam van het XML-element valideren bij schrijven
    • [SPARK-46248][SQL] XML: Ondersteuning voor ignoreCorruptFiles en ignoreMissingFiles-opties
    • [SPARK-46954][SQL] XML: Opzoeken van schemaindex optimaliseren
    • [SPARK-47059][SQL] Foutcontext koppelen voor de opdracht ALTER COLUMN v1
    • [SPARK-46993][SQL] Constant vouwen voor sessievariabelen herstellen
  • 8 februari 2024
    • CDF-query's (Data Feed) voor gerealiseerde unity-catalogusweergaven worden niet ondersteund en een CDF-query uitvoeren met een gerealiseerde unity-catalogusweergave retourneert een fout. Unity Catalog Streaming-tabellen ondersteunen CDF-query's op niet-tabellenAPPLY CHANGES in Databricks Runtime 14.1 en hoger. CDF-query's worden niet ondersteund met Unity Catalog Streaming-tabellen in Databricks Runtime 14.0 en eerder.
    • [SPARK-46930] Voeg ondersteuning toe voor een aangepast voorvoegsel voor union-typevelden in Avro.
    • [SPARK-46822] Respect spark.sql.legacy.charVarcharAsString bij het casten van jdbc-type naar katalysatortype in jdbc.
    • [SPARK-46952] XML: Beperk de grootte van beschadigde records.
    • [SPARK-46644] Wijzig toevoegen en samenvoegen in SQLMetric om isZero te gebruiken.
    • [SPARK-46861] Vermijd impasse in DAGScheduler.
    • [SPARK-46794] Subquery's verwijderen uit logischeRDD-beperkingen.
    • [SPARK-46941] Kan het limietknooppunt voor venstergroepen voor top-k-berekeningen niet invoegen als dit SizeBasedWindowFunction bevat.
    • [SPARK-46933] Voeg metrische gegevens over de uitvoeringstijd van query's toe aan connectors die gebruikmaken van JDBCRDD.
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2024
    • [SPARK-46382] XML: Document bijwerken voor ignoreSurroundingSpaces.
    • [SPARK-46382] XML: Waarden vastleggen die tussen elementen zijn verdeeld.
    • [SPARK-46763] Er is een fout opgelost met de assertie in ReplaceDeduplicateWithAggregate voor dubbele kenmerken.
    • Herstel [SPARK-46769] Verfijn tijdstempelgerelateerde schemadeductie.
    • [SPARK-46677] Oplossing oplossen dataframe["*"] .
    • [SPARK-46382] XML: Default ignoreSurroundingSpaces to true.
    • [SPARK-46633] Corrigeer Avro-lezer om blokken met lengte nul te verwerken.
    • [SPARK-45964] Verwijder de persoonlijke SQL-accessor in het XML- en JSON-pakket onder katalysatorpakket.
    • [SPARK-46581] Opmerking bijwerken over isZero in AccumulatorV2.
    • [SPARK-45912] Uitbreiding van XSDToSchema-API: wijzigen in HDFS-API voor toegankelijkheid in cloudopslag.
    • [SPARK-45182] Negeer taakvoltooiing uit de oude fase nadat de bovenliggende en onbepaalde fase opnieuw is geprobeerd, zoals wordt bepaald door de controlesom.
    • [SPARK-46660] ReattachExecute vraagt de levendigheid van SessionHolder bij.
    • [SPARK-46610] Als u een tabel maakt, wordt er een uitzondering gegenereerd wanneer er geen waarde voor een sleutel in opties is.
    • [SPARK-46383] Verminder het heap-gebruik van stuurprogramma's door de levensduur van TaskInfo.accumulables().
    • [SPARK-46769] Tijdstempelgerelateerde schemadeductie verfijnen.
    • [SPARK-46684] Corrieer CoGroup.applyInPandas/Arrow om argumenten correct door te geven.
    • [SPARK-46676] dropDuplicatesWithinWatermark mag niet mislukken bij canonicalisatie van het plan.
    • [SPARK-45962] Verwijder treatEmptyValuesAsNulls en gebruik nullValue in plaats daarvan de optie in XML.
    • [SPARK-46541] Corrigeer de ambigu kolomreferentie in self join.
    • [SPARK-46599] XML: TypeCoercion.findTightestCommonType gebruiken voor compatibiliteitscontrole.
    • Beveiligingsupdates van het besturingssysteem.
  • 17 januari 2024
    • Het shuffle knooppunt van het uitlegplan dat door een Photon-query wordt geretourneerd, wordt bijgewerkt om de causedBroadcastJoinBuildOOM=true vlag toe te voegen wanneer er een fout in het geheugen optreedt tijdens een willekeurige volgorde die deel uitmaakt van een broadcast-join.
    • Deze onderhoudsrelease bevat een patch voor de installatie van JDK 8 om JDK-bug JDK-8-fout JDK-8293562 op te lossen om een verhoogde latentie te voorkomen bij de communicatie via TLSv1.3.
    • [SPARK-46261] DataFrame.withColumnsRenamed moet de volgorde van de dict/kaart behouden.
    • [SPARK-46538] Los het probleem met dubbelzinnige kolomreferenties in ALSModel.transform.
    • [SPARK-46145] spark.catalog.listTables genereert geen uitzondering wanneer de tabel of weergave niet wordt gevonden.
    • [SPARK-46484] Zorg ervoor dat resolveOperators helperfuncties de plan-id behouden.
    • [SPARK-46394] Los problemen met spark.catalog.listDatabases() op in schema's met speciale tekens wanneer deze zijn spark.sql.legacy.keepCommandOutputSchema ingesteld op waar.
    • [SPARK-46609] Vermijd exponentiële explosie in PartitioningPreservingUnaryExecNode.
    • [SPARK-46446] Schakel subquery's met gecorreleerde OFFSET uit om de juistheid van de fout op te lossen.
    • [SPARK-46152] XML: Ondersteuning voor DecimalType toevoegen in deductie van XML-schema's.
    • [SPARK-46602] allowExisting Doorgeven bij het maken van de weergave wanneer de weergave/tabel niet bestaat.
    • [SPARK-45814] Maak ArrowConverters.createEmptyArrowBatch call close() om geheugenlekken te voorkomen.
    • [SPARK-46058] Voeg een afzonderlijke vlag toe voor privateKeyPassword.
    • [SPARK-46132] Ondersteuning voor sleutelwachtwoord voor JKS-sleutels voor RPC SSL.
    • [SPARK-46600] Verplaats gedeelde code tussen SqlConf en SqlApiConf naar SqlApiConfHelper.
    • [SPARK-46478] Herstel SPARK-43049 om oracle varchar(255) te gebruiken voor tekenreeksen.
    • [SPARK-46417] Niet mislukken bij het aanroepen van hive.getTable en throwException is onwaar.
    • [SPARK-46153] XML: TimestampNTZType-ondersteuning toevoegen.
    • [SPARK-46056][BACKPORT] Corrigeer parquet vectorized read NPE met byteArrayDecimalType standaardwaarde.
    • [SPARK-46466] Vectorized Parquet Reader mag nooit opnieuwbase uitvoeren voor timestamp ntz.
    • [SPARK-46260] DataFrame.withColumnsRenamed moet de volgorde van de dicteren respecteren.
    • [SPARK-46036] Foutklasse verwijderen uit raise_error functie.
    • [SPARK-46294] Semantiek van init versus nulwaarde opschonen.
    • [SPARK-46173] Het overslaan van trimAll-aanroep tijdens het parseren van datums.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46587] XML: XsD-conversie van groot geheel getal herstellen.
    • [SPARK-46396] Tijdstempeldeductie mag geen uitzondering genereren.
    • [SPARK-46241] Corrigeer de routine voor foutafhandeling, zodat deze niet in oneindige recursie zou vallen.
    • [SPARK-46355] XML: Sluit InputStreamReader bij voltooiing van het lezen.
    • [SPARK-46370] Er is een fout opgelost bij het uitvoeren van query's vanuit een tabel na het wijzigen van de standaardinstellingen voor kolommen.
    • [SPARK-46265] Asserties in AddArtifact RPC zorgen ervoor dat de verbindingsclient niet compatibel is met oudere clusters.
    • [SPARK-46308] Recursieve foutafhandeling verbieden.
    • [SPARK-46337] Bewaar CTESubstitution de PLAN_ID_TAG.
  • 14 december 2023
    • [SPARK-46141] Wijzig de standaardinstelling voor spark.sql.legacy.ctePrecedencePolicy in CORRECTED.
    • [SPARK-45730] Maak ReloadingX509TrustManagerSuite minder flaky.
    • [SPARK-45852] Probleemloos omgaan met recursiefout tijdens logboekregistratie.
    • [SPARK-45808] Betere foutafhandeling voor SQL-uitzonderingen.
    • [SPARK-45920] groeperen op rangtelwoord moet idempotent zijn.
    • Herstel [SPARK-45649] Het voorbereidingsframework samenvoegen voor OffsetWindowFunctionFrame'.
    • [SPARK-45733] Ondersteuning voor meerdere beleidsregels voor opnieuw proberen.
    • [SPARK-45509] Probleem opgelost met df-kolomreferentiegedrag voor Spark Connect.
    • [SPARK-45655] Niet-deterministische expressies toestaan in AggregateFunctions in CollectMetrics.
    • [SPARK-45905] Het minst gangbare type tussen decimale typen moet eerst integrale cijfers behouden.
    • [SPARK-45136] Enhance ClosureCleaner with Ammonite support.
    • [SPARK-46255] Ondersteuning voor complex type-> tekenreeksconversie.
    • [SPARK-45859] UDF-objecten in ml.functions lui maken.
    • [SPARK-46028] Invoerkolom Column.__getitem__ accepteren.
    • [SPARK-45798] Sessie-id aan serverzijde bevestigen.
    • [SPARK-45892] Planvalidatie van optimizer herstructureren om te ontkoppelen validateSchemaOutput en validateExprIdUniqueness.
    • [SPARK-45844] Implementeer hoofdlettergevoeligheid voor XML.
    • [SPARK-45770] Introduceer een plan DataFrameDropColumns voor Dataframe.drop.
    • [SPARK-44790] XML: to_xml implementatie en bindingen voor Python, connect en SQL.
    • [SPARK-45851] Ondersteuning voor meerdere beleidsregels in scala-client.
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2023
    • Er is een nieuw pakket geïnstalleerd om pyarrow-hotfix een pyArrow RCE-beveiligingsprobleem op te lossen.
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden geïnterpreteerd als jokertekens.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • [SPARK-45852] De Python-client voor Spark Connect onderschept nu recursiefouten tijdens de tekstconversie.
    • [SPARK-45808] Verbeterde foutafhandeling voor SQL-uitzonderingen.
    • [SPARK-45920] GROUP BY rangtelwoorden worden niet vervangen door het rangtelwoord.
    • [SPARK-45649] herstellen.
    • [SPARK-45733] Er is ondersteuning toegevoegd voor meerdere beleidsregels voor opnieuw proberen.
    • [SPARK-45509] Probleem df opgelost met kolomreferentiegedrag voor Spark Connect.
    • [SPARK-45655] Niet-deterministische expressies binnenin AggregateFunctions CollectMetricstoestaan.
    • [SPARK-45905] Het minst gangbare type tussen decimale typen behoudt nu eerst integrale cijfers.
    • [SPARK-45136] Verbeter ClosureCleaner met Ammonite-ondersteuning.
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • [SPARK-46028] Column.__getitem__ accepteert invoerkolommen.
    • [SPARK-45798] Sessie-id aan serverzijde bevestigen.
    • [SPARK-45892] Planvalidatie van optimizer herstructureren om te ontkoppelen validateSchemaOutput en validateExprIdUniqueness.
    • [SPARK-45844] Implementeer hoofdlettergevoeligheid voor XML.
    • [SPARK-45770] Vaste kolomresolutie met DataFrameDropColumns voor Dataframe.drop.
    • [SPARK-44790] Implementatie to_xml en bindingen toegevoegd voor Python, Spark Connect en SQL.
    • [SPARK-45851] Er is ondersteuning toegevoegd voor meerdere beleidsregels in de Scala-client.
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 14.0

Zie Databricks Runtime 14.0 (EoS).

  • 8 februari 2024
    • [SPARK-46396] Tijdstempeldeductie mag geen uitzondering genereren.
    • [SPARK-46794] Subquery's verwijderen uit logischeRDD-beperkingen.
    • [SPARK-45182] Negeer taakvoltooiing uit de oude fase nadat de bovenliggende en onbepaalde fase opnieuw is geprobeerd, zoals wordt bepaald door de controlesom.
    • [SPARK-46933] Voeg metrische gegevens over de uitvoeringstijd van query's toe aan connectors die gebruikmaken van JDBCRDD.
    • [SPARK-45957] Vermijd het genereren van het uitvoeringsplan voor niet-uitvoerbare opdrachten.
    • [SPARK-46861] Vermijd impasse in DAGScheduler.
    • [SPARK-46930] Voeg ondersteuning toe voor een aangepast voorvoegsel voor union-typevelden in Avro.
    • [SPARK-46941] Kan het limietknooppunt voor venstergroepen voor top-k-berekeningen niet invoegen als dit SizeBasedWindowFunction bevat.
    • [SPARK-45582] Zorg ervoor dat het archiefexemplaren niet worden gebruikt na het aanroepen van doorvoer binnen streamingaggregatie in de uitvoermodus.
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2024
    • [SPARK-46541] Corrigeer de ambigu kolomreferentie in self join.
    • [SPARK-46676] dropDuplicatesWithinWatermark mag niet mislukken bij canonicalisatie van het plan.
    • [SPARK-46769] Tijdstempelgerelateerde schemadeductie verfijnen.
    • [SPARK-45498] Opvolgen: Taakvoltooiing van oude fasepogingen negeren.
    • Herstel [SPARK-46769] Verfijn tijdstempelgerelateerde schemadeductie.
    • [SPARK-46383] Verminder het heap-gebruik van stuurprogramma's door de levensduur van TaskInfo.accumulables().
    • [SPARK-46633] Corrigeer Avro-lezer om blokken met lengte nul te verwerken.
    • [SPARK-46677] Oplossing oplossen dataframe["*"] .
    • [SPARK-46684] Corrieer CoGroup.applyInPandas/Arrow om argumenten correct door te geven.
    • [SPARK-46763] Er is een fout opgelost met de assertie in ReplaceDeduplicateWithAggregate voor dubbele kenmerken.
    • [SPARK-46610] Als u een tabel maakt, wordt er een uitzondering gegenereerd wanneer er geen waarde voor een sleutel in opties is.
    • Beveiligingsupdates van het besturingssysteem.
  • 17 januari 2024
    • Het shuffle knooppunt van het uitlegplan dat door een Photon-query wordt geretourneerd, wordt bijgewerkt om de causedBroadcastJoinBuildOOM=true vlag toe te voegen wanneer er een fout in het geheugen optreedt tijdens een willekeurige volgorde die deel uitmaakt van een broadcast-join.
    • Deze onderhoudsrelease bevat een patch voor de installatie van JDK 8 om JDK-bug JDK-8-fout JDK-8293562 op te lossen om een verhoogde latentie te voorkomen bij de communicatie via TLSv1.3.
    • [SPARK-46394] Los problemen met spark.catalog.listDatabases() op in schema's met speciale tekens wanneer deze zijn spark.sql.legacy.keepCommandOutputSchema ingesteld op waar.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-45814] Maak ArrowConverters.createEmptyArrowBatch call close() om geheugenlekken te voorkomen.
    • [SPARK-46173] Het overslaan van trimAll-aanroep tijdens het parseren van datums.
    • [SPARK-46484] Zorg ervoor dat resolveOperators helperfuncties de plan-id behouden.
    • [SPARK-46466] Vectorized Parquet Reader mag nooit opnieuwbase uitvoeren voor timestamp ntz.
    • [SPARK-46056] Corrigeer parquet vectorized read NPE met byteArrayDecimalType standaardwaarde.
    • [SPARK-46058] Voeg een afzonderlijke vlag toe voor privateKeyPassword.
    • [SPARK-46478] Herstel SPARK-43049 om oracle varchar(255) te gebruiken voor tekenreeksen.
    • [SPARK-46132] Ondersteuning voor sleutelwachtwoord voor JKS-sleutels voor RPC SSL.
    • [SPARK-46417] Niet mislukken bij het aanroepen van hive.getTable en throwException is onwaar.
    • [SPARK-46261] DataFrame.withColumnsRenamed moet de volgorde van de dict/kaart behouden.
    • [SPARK-46370] Er is een fout opgelost bij het uitvoeren van query's vanuit een tabel na het wijzigen van de standaardinstellingen voor kolommen.
    • [SPARK-46609] Vermijd exponentiële explosie in PartitioningPreservingUnaryExecNode.
    • [SPARK-46600] Verplaats gedeelde code tussen SqlConf en SqlApiConf naar SqlApiConfHelper.
    • [SPARK-46538] Los het probleem met dubbelzinnige kolomreferenties in ALSModel.transform.
    • [SPARK-46337] Bewaar CTESubstitution de PLAN_ID_TAG.
    • [SPARK-46602] allowExisting Doorgeven bij het maken van de weergave wanneer de weergave/tabel niet bestaat.
    • [SPARK-46260] DataFrame.withColumnsRenamed moet de volgorde van de dicteren respecteren.
    • [SPARK-46145] spark.catalog.listTables genereert geen uitzondering wanneer de tabel of weergave niet wordt gevonden.
  • 14 december 2023
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns-bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden verwerkt en geïnterpreteerd als jokertekens.
    • [SPARK-46255] Ondersteuning voor complex type-> tekenreeksconversie.
    • [SPARK-46028] Invoerkolom Column.__getitem__ accepteren.
    • [SPARK-45920] groeperen op rangtelwoord moet idempotent zijn.
    • [SPARK-45433] Herstel deductie van CSV-/JSON-schema's wanneer tijdstempels niet overeenkomen met de opgegeven timestampFormat.
    • [SPARK-45509] Probleem opgelost met df-kolomreferentiegedrag voor Spark Connect.
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2023
    • Er is een nieuw pakket geïnstalleerd om pyarrow-hotfix een pyArrow RCE-beveiligingsprobleem op te lossen.
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden geïnterpreteerd als jokertekens.
    • Bij het opnemen van CSV-gegevens met behulp van automatisch laden of streamingtabellen, zijn grote CSV-bestanden nu gesplitst en kunnen ze parallel worden verwerkt tijdens zowel schemadeductie als gegevensverwerking.
    • Spark-snowflake-connector wordt bijgewerkt naar 2.12.0.
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • [SPARK-45592] herstellen.
    • [SPARK-45892] Planvalidatie van optimizer herstructureren om te ontkoppelen validateSchemaOutput en validateExprIdUniqueness.
    • [SPARK-45592] Er is een probleem opgelost met de juistheid in AQE met InMemoryTableScanExec.
    • [SPARK-45620] API's met betrekking tot Python UDF gebruiken nu camelCase.
    • [SPARK-44784] SBT test hermetisch.
    • [SPARK-45770] Vaste kolomresolutie met DataFrameDropColumns voor Dataframe.drop.
    • [SPARK-45544] Geïntegreerde SSL-ondersteuning in TransportContext.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • Beveiligingsupdates van het besturingssysteem.
  • 10 november 2023
    • Query's voor gegevensfeeds in streamingtabellen van Unity Catalog en gerealiseerde weergaven zijn gewijzigd om foutberichten weer te geven.
    • [SPARK-45545] SparkTransportConf SSLOptions neemt over bij het maken.
    • [SPARK-45584] Er is een fout opgelost bij het uitvoeren van subquery's met TakeOrderedAndProjectExec.
    • [SPARK-45427] RPC SSL-instellingen toegevoegd aan SSLOptions en SparkTransportConf.
    • [SPARK-45541] Toegevoegd SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction mislukt niet meer wanneer IGNORE NULLS en offset > rowCount.
    • [SPARK-45429] Er zijn helperklassen toegevoegd voor SSL RPC-communicatie.
    • [SPARK-44219] Extra validaties per regel toegevoegd voor herschrijfbewerkingen voor optimalisatie.
    • [SPARK-45543] Er is een probleem opgelost waarbij InferWindowGroupLimit een fout werd gegenereerd als de andere vensterfuncties niet hetzelfde vensterframe als de rank-like functies hebben.
    • Beveiligingsupdates van het besturingssysteem.
  • 23 oktober 2023
    • [SPARK-45426] Er is ondersteuning toegevoegd voor ReloadingX509TrustManager.
    • [SPARK-45396] Documentvermelding toegevoegd voor PySpark.ml.connect module en toegevoegd Evaluator aan __all__ op ml.connect.
    • [SPARK-45256] Er is een probleem opgelost waarbij DurationWriter mislukt bij het schrijven van meer waarden dan de initiële capaciteit.
    • [SPARK-45279] Gekoppeld plan_id aan alle logische plannen.
    • [SPARK-45250] Er is ondersteuning toegevoegd voor taakresourceprofiel op faseniveau voor yarn-clusters wanneer dynamische toewijzing is uitgeschakeld.
    • [SPARK-45182] Er is ondersteuning toegevoegd voor het terugdraaien van de toewijzingsfase, zodat alle fasetaken opnieuw kunnen worden geprobeerd wanneer de uitvoer van de fase onbepaald is.
    • [SPARK-45419] Vermijd het hergebruik van rocksdb sst bestanden in een ander rocksdb exemplaar door vermeldingen van bestandsversietoewijzingen van grotere versies te verwijderen.
    • [SPARK-45386] Er is een probleem opgelost waarbij StorageLevel.NONE 0 onjuist werd geretourneerd.
    • Beveiligingsupdates van het besturingssysteem.
  • 13 oktober 2023
    • Snowflake-jdbc-afhankelijkheid is bijgewerkt van 3.13.29 naar 3.13.33.
    • De array_insert functie is 1 gebaseerd op positieve en negatieve indexen, terwijl deze eerder op 0 was gebaseerd voor negatieve indexen. Er wordt nu een nieuw element ingevoegd aan het einde van invoermatrices voor de index -1. Als u het vorige gedrag wilt herstellen, stelt u in op spark.sql.legacy.negativeIndexInArrayInsert true.
    • Azure Databricks negeert beschadigde bestanden niet meer wanneer een CSV-schemadeductie met automatisch laden is ingeschakeld ignoreCorruptFiles.
    • [SPARK-45227] Er is een subtiel thread-veiligheidsprobleem opgelost met CoarseGrainedExecutorBackend.
    • [SPARK-44658] ShuffleStatus.getMapStatus moet worden geretourneerd None in plaats van Some(null).
    • [SPARK-44910] Encoders.bean biedt geen ondersteuning voor superklassen met algemene typeargumenten.
    • [SPARK-45346] Parquet-schemadeductie respecteert hoofdlettergevoelige vlaggen bij het samenvoegen van het schema.
    • [SPARK-42946] herstellen.
    • [SPARK-42205] Het JSON-protocol bijgewerkt om logboekregistratie van accumulables in een taak- of fasestart-gebeurtenissen te verwijderen.
    • [SPARK-45360] Spark Session Builder ondersteunt initialisatie van SPARK_REMOTE.
    • [SPARK-45316] Voeg nieuwe parameters ignoreCorruptFiles/ignoreMissingFiles toe aan HadoopRDD en NewHadoopRDD.
    • [SPARK-44909] Sla het uitvoeren van de torch-logboekstreamingserver over wanneer deze niet beschikbaar is.
    • [SPARK-45084] StateOperatorProgress maakt nu gebruik van een nauwkeurig willekeurige partitienummer.
    • [SPARK-45371] Arceringsproblemen opgelost in de Spark Connect Scala-client.
    • [SPARK-45178] Terugval naar het uitvoeren van één batch voor Trigger.AvailableNow met niet-ondersteunde bronnen in plaats van de wrapper te gebruiken.
    • [SPARK-44840] Maak array_insert() 1 op basis van negatieve indexen.
    • [SPARK-44551] Bewerkte opmerkingen om te synchroniseren met OSS.
    • [SPARK-45078] De ArrayInsert functie maakt nu expliciet casten wanneer het elementtype niet gelijk is aan het afgeleide onderdeeltype.
    • [SPARK-45339] PySpark registreert nu fouten bij opnieuw proberen.
    • [SPARK-45057] Vermijd het verkrijgen van leesvergrendeling wanneer keepReadLock deze onwaar is.
    • [SPARK-44908] Er is een probleem opgelost met de functie voor crossvalidatorparameter foldCol .
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 13.1

Zie Databricks Runtime 13.1 (EoS).

  • 29 november 2023
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden geïnterpreteerd als jokertekens.
    • [SPARK-44846] Complexe groeperingsexpressies na RemoveRedundantAggregatesverwijderd.
    • [SPARK-43802] Er is een probleem opgelost waarbij codegen voor unhex- en unbase64-expressies mislukt.
    • [SPARK-43718] De null-waarde voor sleutels in USING joins is opgelost.
    • Beveiligingsupdates van het besturingssysteem.
  • 14 november 2023
    • Partitiefilters op Delta Lake-streamingquery's worden omlaag gepusht voordat snelheidsbeperking wordt bereikt om beter gebruik te bereiken.
    • Query's voor gegevensfeeds in Unity Catalog Streaming-tabellen en gerealiseerde weergaven gewijzigd om foutberichten weer te geven.
    • [SPARK-45584] Er is een fout opgelost bij het uitvoeren van subquery's met TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction mislukt niet meer wanneer IGNORE NULLS en offset > rowCount.
    • [SPARK-45543] Er is een probleem opgelost waarbij InferWindowGroupLimit een probleem werd veroorzaakt als de andere vensterfuncties niet hetzelfde vensterkader hadden als de rank-achtige functies.
    • Beveiligingsupdates van het besturingssysteem.
  • 24 oktober 2023
    • [SPARK-43799] Binaire optie voor de descriptor toegevoegd aan de PySpark-API Protobuf .
    • [SPARK-42946] herstellen.
    • [SPARK-45346] Parquet-schemadeductie respecteert nu hoofdlettergevoelige vlag bij het samenvoegen van een schema.
    • Beveiligingsupdates van het besturingssysteem.
  • 13 oktober 2023
    • Snowflake-jdbc-afhankelijkheid is bijgewerkt van 3.13.29 naar 3.13.33.
    • Beschadigde bestanden worden niet langer genegeerd wanneer ignoreCorruptFiles deze zijn ingeschakeld tijdens deductie van csv-schema's met automatisch laden.
    • [SPARK-44658] ShuffleStatus.getMapStatus retourneert None in plaats van Some(null).
    • [SPARK-45178] Terugval naar het uitvoeren van één batch voor Trigger.AvailableNow met niet-ondersteunde bronnen in plaats van de wrapper te gebruiken.
    • [SPARK-42205] Het JSON-protocol bijgewerkt om logboekregistratie van accumulables in een taak- of fasestart-gebeurtenissen te verwijderen.
    • Beveiligingsupdates van het besturingssysteem.
  • 12 september 2023
    • [SPARK-44718] De ColumnVector standaardconfiguratie van de geheugenmodus afstemmen op OffHeapMemoryMode de configuratiewaarde.
    • SPARK-44878 De strikte limiet voor RocksDB schrijfbeheer is uitgeschakeld om invoegingsondering te voorkomen bij het voltooien van de cache.
    • Diverse oplossingen.
  • 30 augustus 2023
    • [SPARK-44871] 'percentile_disc gedrag opgelost.
    • [SPARK-44714] Beperking van LCA-resolutie met betrekking tot query's vereenvoudigen.
    • [SPARK-44245] PySpark.sql.dataframe sample() doc-tests zijn nu illustratief.
    • [SPARK-44818] Vaste race voor taakonderbreeding in behandeling uitgegeven voordat taskThread deze wordt geïnitialiseerd.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 augustus 2023
    • [SPARK-44485] Geoptimaliseerd TreeNode.generateTreeString.
    • [SPARK-44643] Opgelost Row.__repr__ wanneer de rij leeg is.
    • [SPARK-44504] Onderhoudstaak schoont nu geladen providers op bij stopfout.
    • [SPARK-44479] De conversie van een leeg structtype is opgelost protobuf .
    • [SPARK-44464] Opgelost applyInPandasWithStatePythonRunner met uitvoerrijen die de eerste kolomwaarde hebben Null .
    • Diverse oplossingen.
  • 27 juli 2023
    • Er is een probleem opgelost waarbij dbutils.fs.ls() deze werd geretourneerd bij het aangeroepen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP voor een opslaglocatiepad dat conflicteerde met een andere externe of beheerde opslaglocatie.
    • [SPARK-44199] CacheManager vernieuwt niet langer onnodig fileIndex .
    • [SPARK-44448] Fout met verkeerde resultaten opgelost van DenseRankLimitIterator en InferWindowGroupLimit.
    • Beveiligingsupdates van het besturingssysteem.
  • 24 juli 2023
    • [SPARK-42323] herstellen.
    • [SPARK-41848] Probleem met overplanning van taak opgelost met TaskResourceProfile.
    • [SPARK-44136] Er is een probleem opgelost waarbij StateManager werd gerealiseerd in een uitvoerder in plaats van het stuurprogramma in FlatMapGroupsWithStateExec.
    • [SPARK-44337] Er is een probleem opgelost waarbij een veld dat is ingesteld om parseringsfouten te Any.getDefaultInstance veroorzaken.
    • Beveiligingsupdates van het besturingssysteem.
  • 27 juni 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2023
    • Gefotoniseerd approx_count_distinct.
    • JSON-parser in failOnUnknownFields de modus verwijdert nu de record in DROPMALFORMED de modus en mislukt rechtstreeks in FAILFAST de modus.
    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • Het PubSubRecord kenmerkveld wordt opgeslagen als JSON in plaats van de tekenreeks uit een Scala-kaart voor eenvoudigere serialisatie en deserialisatie.
    • De EXPLAIN EXTENDED opdracht retourneert nu de geschiktheid van de resultatencache van de query.
    • Verbeter de prestaties van incrementele updates met SHALLOW CLONE Iceberg en Parquet.
    • [SPARK-43032] Python SQM-foutoplossing.
    • [SPARK-43404]Sla het sst-bestand voor dezelfde versie van rocksDB-statusopslag over om te voorkomen dat de id niet overeenkomt.
    • [SPARK-43340] Handle missing stack-trace field in eventlogs.
    • [SPARK-43527] Opgelost catalog.listCatalogs in PySpark.
    • [SPARK-43541] Alle tags doorgeven bij het omzetten van expressies en ontbrekende Project kolommen.
    • [SPARK-43300] NonFateSharingCache wrapper voor Guava Cache.
    • [SPARK-43378] Streamobjecten correct sluiten in deserializeFromChunkedBuffer.
    • [SPARK-42852] Gerelateerde wijzigingen herstellen NamedLambdaVariable van EquivalentExpressions.
    • [SPARK-43779] ParseToDate laadt EvalMode nu in de hoofdthread.
    • [SPARK-43413] Corrigeer IN de null-waarde van subquery ListQuery .
    • [SPARK-43889] Voeg de kolomnaam toe om __dir__() foutgevoelige kolomnamen te filteren.
    • [SPARK-43043] Verbeterde prestaties van MapOutputTracker.updateMapOutput
    • [SPARK-43522] Er is een probleem opgelost met het maken van de naam van de structkolom met de index van de matrix.
    • [SPARK-43457] Augument-gebruikersagent met os-, Python- en Spark-versies.
    • [SPARK-43286] De CBC-modus is bijgewerkt aes_encrypt om willekeurige IVs te genereren.
    • [SPARK-42851] Wacht EquivalentExpressions.addExpr() met supportedExpression().
    • [SPARK-43183] herstellen.
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 12.2 LTS

Zie Databricks Runtime 12.2 LTS.

  • 29 november 2023
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden geïnterpreteerd als jokertekens.
    • [SPARK-42205] Logboekregistratieaccumulaties zijn verwijderd in Stage en Task starten van gebeurtenissen.
    • [SPARK-44846] Complexe groeperingsexpressies na RemoveRedundantAggregatesverwijderd.
    • [SPARK-43718] De null-waarde voor sleutels in USING joins is opgelost.
    • [SPARK-45544] Geïntegreerde SSL-ondersteuning in TransportContext.
    • [SPARK-43973] In de gestructureerde streaming-gebruikersinterface worden nu mislukte query's correct weergegeven.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • Beveiligingsupdates van het besturingssysteem.
  • 14 november 2023
    • Partitiefilters op Delta Lake-streamingquery's worden omlaag gepusht voordat snelheidsbeperking wordt bereikt om beter gebruik te bereiken.
    • [SPARK-45545] SparkTransportConf SSLOptions neemt over bij het maken.
    • [SPARK-45427] RPC SSL-instellingen toegevoegd aan SSLOptions en SparkTransportConf.
    • [SPARK-45584] Er is een fout opgelost bij het uitvoeren van subquery's met TakeOrderedAndProjectExec.
    • [SPARK-45541] Toegevoegd SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction mislukt niet meer wanneer IGNORE NULLS en offset > rowCount.
    • [SPARK-45429] Er zijn helperklassen toegevoegd voor SSL RPC-communicatie.
    • Beveiligingsupdates van het besturingssysteem.
  • 24 oktober 2023
    • [SPARK-45426] Er is ondersteuning toegevoegd voor ReloadingX509TrustManager.
    • Diverse oplossingen.
  • 13 oktober 2023
    • Snowflake-jdbc-afhankelijkheid is bijgewerkt van 3.13.29 naar 3.13.33.
    • [SPARK-42553] Zorg ervoor dat er ten minste één tijdseenheid na het interval is.
    • [SPARK-45346] Parquet-schemadeductie respecteert hoofdlettergevoelige vlag bij het samenvoegen van het schema.
    • [SPARK-45178] Terugval naar het uitvoeren van één batch voor Trigger.AvailableNow met niet-ondersteunde bronnen in plaats van de wrapper te gebruiken.
    • [SPARK-45084] StateOperatorProgress om een nauwkeurig, voldoende willekeurige partitienummer te gebruiken.
  • 12 september 2023
    • [SPARK-44873] Er is ondersteuning toegevoegd voor alter view geneste kolommen in de Hive-client.
    • [SPARK-44718] De ColumnVector standaardconfiguratie van de geheugenmodus afstemmen op OffHeapMemoryMode de configuratiewaarde.
    • [SPARK-43799] Binaire optie voor de descriptor toegevoegd aan de PySpark-API Protobuf .
    • Diverse oplossingen.
  • 30 augustus 2023
    • [SPARK-44485] Geoptimaliseerd TreeNode.generateTreeString.
    • [SPARK-44818] Vaste race voor taakonderbreeding in behandeling uitgegeven voordat taskThread deze wordt geïnitialiseerd.
    • [SPARK-44871][11.3-13.0] Vast percentile_disc gedrag.
    • [SPARK-44714] Beperkte beperking van LCA-omzetting met betrekking tot query's.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 augustus 2023
    • [SPARK-44504] Onderhoudstaak schoont geladen providers op bij stopfout.
    • [SPARK-44464] Opgelost applyInPandasWithStatePythonRunner met uitvoerrijen die de eerste kolomwaarde hebben Null .
    • Beveiligingsupdates van het besturingssysteem.
  • 29 juli 2023
    • Er is een probleem opgelost waarbij dbutils.fs.ls() deze werd geretourneerd bij het aangeroepen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP voor een opslaglocatiepad dat conflicteerde met een andere externe of beheerde opslaglocatie.
    • [SPARK-44199] CacheManager vernieuwt niet langer onnodig fileIndex .
    • Beveiligingsupdates van het besturingssysteem.
  • 24 juli 2023
    • [SPARK-44337] Er is een probleem opgelost waarbij een veld dat is ingesteld om parseringsfouten te Any.getDefaultInstance veroorzaken.
    • [SPARK-44136] Er is een probleem opgelost waarbij StateManager werd gerealiseerd in een uitvoerder in plaats van het stuurprogramma in FlatMapGroupsWithStateExec.
    • Beveiligingsupdates van het besturingssysteem.
  • 23 juni 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2023
    • Gefotoniseerd approx_count_distinct.
    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • [SPARK-43779] ParseToDate laadt EvalMode nu in de hoofdthread.
    • [SPARK-43156][SPARK-43098] Uitgebreide scalaire subquery-fouttest met decorrelateInnerQuery uitgeschakeld.
    • Beveiligingsupdates van het besturingssysteem.
  • 2 juni 2023
    • De JSON-parser in failOnUnknownFields de modus verwijdert een record in DROPMALFORMED de modus en mislukt rechtstreeks in FAILFAST de modus.
    • Verbeter de prestaties van incrementele updates met SHALLOW CLONE Iceberg en Parquet.
    • Er is een probleem opgelost in Auto Loader waarbij verschillende bronbestandsindelingen inconsistent waren toen het opgegeven schema geen uitgestelde partities had opgenomen. Dit probleem kan onverwachte fouten veroorzaken bij het lezen van bestanden met ontbrekende kolommen in het uitgestelde partitieschema.
    • [SPARK-43404] Sla het sst-bestand voor dezelfde versie van rocksDB-statusopslag over om te voorkomen dat de id niet overeenkomt.
    • [SPARK-43413][11.3-13.0] Er is een null-waarde voor subquery ListQuery opgelostIN.
    • [SPARK-43522] Er is een probleem opgelost met het maken van de naam van de structkolom met de index van de matrix.
    • [SPARK-43541] Alle tags doorgeven bij het omzetten van expressies en ontbrekende Project kolommen.
    • [SPARK-43527] Opgelost catalog.listCatalogs in PySpark.
    • [SPARK-43123] Interne veldmetagegevens lekken niet meer naar catalogi.
    • [SPARK-43340] Er is een probleem opgelost met ontbrekend stacktraceringsveld in gebeurtenislogboeken.
    • [SPARK-42444] DataFrame.drop verwerkt nu dubbele kolommen correct.
    • [SPARK-42937] PlanSubqueries wordt nu ingesteld InSubqueryExec#shouldBroadcast op waar.
    • [SPARK-43286] De CBC-modus is bijgewerkt aes_encrypt om willekeurige IVs te genereren.
    • [SPARK-43378] Streamobjecten correct sluiten in deserializeFromChunkedBuffer.
  • 17 mei 2023
    • Parquet-scans zijn nu robuust tegen OOM's bij het scannen van uitzonderlijk gestructureerde bestanden door de batchgrootte dynamisch aan te passen. Bestandsmetagegevens worden geanalyseerd naar een preventieve lagere batchgrootte en worden opnieuw verlaagd bij nieuwe pogingen van taken als een definitief veiligheidsnet.
    • Als een Avro-bestand is gelezen met alleen de failOnUnknownFields\ optie of met autolader in de modus voor schemaontwikkeling failOnNewColumns\ , worden kolommen met verschillende gegevenstypen gelezen, zoals null\ in plaats van een fout te genereren waarin wordt aangegeven dat het bestand niet kan worden gelezen. Deze leesbewerkingen mislukken en raden gebruikers aan om de rescuedDataColumn\ optie te gebruiken.
    • Automatisch laden doet nu het volgende.
      • Correct wordt gelezen en niet meer gered Integer, Shorten Byte typen als een van deze gegevenstypen is opgegeven, maar het Avro-bestand suggereert een van de andere twee typen.
      • Voorkomt leesintervaltypen als datum- of tijdstempeltypen om beschadigde datums te voorkomen.
      • Hiermee voorkomt u leestypen Decimal met lagere precisie.
    • [SPARK-43172] Stelt de host en het token beschikbaar vanuit de Spark Connect-client.
    • [SPARK-43293] __qualified_access_only wordt genegeerd in normale kolommen.
    • [SPARK-43098] Er is een fout opgelost in COUNT de juistheid wanneer scalaire subquery wordt gegroepeerd op component.
    • [SPARK-43085] Ondersteuning voor kolomtoewijzing DEFAULT voor tabelnamen met meerdere onderdelen.
    • [SPARK-43190] ListQuery.childOutput is nu consistent met secundaire uitvoer.
    • [SPARK-43192] Charsetvalidatie van gebruikersagent verwijderd.
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2023
    • Als een Parquet-bestand is gelezen met alleen de failOnUnknownFields optie of met automatisch laden in de modus voor schemaontwikkeling failOnNewColumns , worden kolommen met verschillende gegevenstypen gelezen, in null plaats van een fout te genereren waarin wordt aangegeven dat het bestand niet kan worden gelezen. Deze leesbewerkingen mislukken en raden gebruikers aan om de rescuedDataColumn optie te gebruiken.
    • Automatisch laadprogramma leest nu correct en redt Integerniet meer, Shorten Byte typen als een van deze gegevenstypen is opgegeven. Het Parquet-bestand stelt een van de andere twee typen voor. Wanneer de opgeslagen gegevenskolom eerder werd ingeschakeld, zou het gegevenstype niet overeenkomen, ervoor zorgen dat kolommen worden opgeslagen, ook al waren ze leesbaar.
    • [SPARK-43009] Geparameteriseerd sql() met Any constanten
    • [SPARK-42406] Recursieve Protobuf-velden beëindigen door het veld te verwijderen
    • [SPARK-43038] Ondersteuning voor de CBC-modus door aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Wijzigen om af te drukken workdir of appDirs null is wanneer werkrol een gebeurtenis verwerkt WorkDirCleanup
    • [SPARK-43018] Fout opgelost voor INSERT-opdrachten met letterlijke tijdstempels
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2023
    • Ondersteuning voor verouderde gegevensbronindelingen in de SYNC opdracht.
    • Lost een probleem op in het gedrag %autoreload in notebooks buiten een opslagplaats.
    • Er is een probleem opgelost waarbij automatisch laden van schema's kan worden omgezet in een oneindige faillus wanneer een nieuwe kolom wordt gedetecteerd in het schema van een genest JSON-object.
    • [SPARK-42928] Wordt resolvePersistentFunction gesynchroniseerd.
    • [SPARK-42936] Lost het probleem met LCan op wanneer de component rechtstreeks kan worden opgelost door de onderliggende statistische functie.
    • [SPARK-42967] SparkListenerTaskStart.stageAttemptId Oplossingen wanneer een taak wordt gestart nadat de fase is geannuleerd.
    • Beveiligingsupdates van het besturingssysteem.
  • 29 maart 2023

    • Databricks SQL biedt nu ondersteuning voor het opgeven van standaardwaarden voor kolommen van Delta Lake-tabellen, hetzij tijdens het maken van tabellen of later. Volgende INSERT, UPDATE, DELETEen MERGE opdrachten kunnen verwijzen naar de standaardwaarde van een kolom met behulp van het expliciete DEFAULT trefwoord. Als een INSERT toewijzing bovendien een expliciete lijst met minder kolommen heeft dan de doeltabel, worden de bijbehorende standaardwaarden voor kolommen vervangen door de resterende kolommen (of NULL als er geen standaardwaarde is opgegeven).

      Voorbeeld:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • Auto Loader initieert nu ten minste één synchrone RocksDB-logboekopruiming voor Trigger.AvailableNow streams om te controleren of het controlepunt regelmatig kan worden opgeschoond voor snellopende Automatische laadprogramma's. Dit kan ertoe leiden dat sommige streams langer duren voordat ze worden afgesloten, maar het bespaart u opslagkosten en verbetert de ervaring van het automatisch laden in toekomstige uitvoeringen.

    • U kunt nu een Delta-tabel wijzigen om ondersteuning toe te voegen aan tabelfuncties met behulp van DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Verhoog de lockAcquireTimeoutMs tot 2 minuten voor het verkrijgen van de RocksDB-statusopslag in Structuurstreaming

    • [SPARK-42521] NULL's voor INSERT's toevoegen met door de gebruiker opgegeven lijsten met minder kolommen dan de doeltabel

    • [SPARK-42702][SPARK-42623] Ondersteuning voor geparameteriseerde query's in subquery en CTE

    • [SPARK-42668] Uitzondering vangen tijdens het sluiten van de gecomprimeerde stream in HDFSStateStoreProvider stop

    • [SPARK-42403] JsonProtocol moet null-JSON-tekenreeksen verwerken

  • 8 maart 2023
    • Het foutbericht 'De configuratie kan niet worden geïnitialiseerd' is verbeterd om de klant meer context te bieden.
    • Er is een terminologiewijziging voor het toevoegen van functies aan een Delta-tabel met behulp van de tabeleigenschap. De voorkeurssyntaxis is nu 'delta.feature.featureName'='supported' in plaats van 'delta.feature.featureName'='enabled'. Voor compatibiliteit met eerdere versies werkt het gebruik 'delta.feature.featureName'='enabled' van nog steeds en blijft het werken.
    • Vanaf deze release is het mogelijk om een tabel te maken/vervangen door een extra tabeleigenschap delta.ignoreProtocolDefaults om protocolgerelateerde Spark-configuraties te negeren, waaronder standaardlezer- en schrijfversies en tabelfuncties die standaard worden ondersteund.
    • [SPARK-42070] De standaardwaarde van het argument van de functie Masker wijzigen van -1 in NULL
    • [SPARK-41793] Onjuist resultaat voor vensterframes die zijn gedefinieerd door een bereikcomponent op significante decimalen
    • [SPARK-42484] Beter foutbericht OnveiligeRowUtils
    • [SPARK-42516] De configuratie van de sessietijdzone altijd vastleggen tijdens het maken van weergaven
    • [SPARK-42635] Corrigeer de TimestampAdd-expressie.
    • [SPARK-42622] Vervanging in waarden uitgeschakeld
    • [SPARK-42534] Db2Dialect Limit-component herstellen
    • [SPARK-42121] Ingebouwde tabelwaardefuncties toevoegen posexplode, posexplode_outer, json_tuple en stack
    • [SPARK-42045] ANSI SQL-modus: Round/Bround moet een fout retourneren bij een overloop van kleine/kleine/significante gehele getallen
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 11.3 LTS

Zie Databricks Runtime 11.3 LTS.

  • 29 november 2023
    • Er is een probleem opgelost waarbij escape-onderstrepingstekens in getColumns bewerkingen die afkomstig zijn van JDBC- of ODBC-clients onjuist werden geïnterpreteerd als jokertekens.
    • [SPARK-43973] In de gestructureerde streaming-gebruikersinterface worden nu mislukte query's correct weergegeven.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Geïntegreerde SSL-ondersteuning in TransportContext.
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • [SPARK-43718] De null-waarde voor sleutels in USING joins is opgelost.
    • [SPARK-44846] Complexe groeperingsexpressies na RemoveRedundantAggregatesverwijderd.
    • Beveiligingsupdates van het besturingssysteem.
  • 14 november 2023
    • Partitiefilters op Delta Lake-streamingquery's worden omlaag gepusht voordat snelheidsbeperking wordt bereikt om beter gebruik te bereiken.
    • [SPARK-42205] Logboekregistratieaccumulaties in fase- en taakstart-gebeurtenissen zijn verwijderd.
    • [SPARK-45545] SparkTransportConf SSLOptions neemt over bij het maken.
    • [SPARK-33861] herstellen.
    • [SPARK-45541] Toegevoegd SSLFactory.
    • [SPARK-45429] Er zijn helperklassen toegevoegd voor SSL RPC-communicatie.
    • [SPARK-45584] Er is een fout opgelost bij het uitvoeren van subquery's met TakeOrderedAndProjectExec.
    • [SPARK-45430] FramelessOffsetWindowFunction mislukt niet meer wanneer IGNORE NULLS en offset > rowCount.
    • [SPARK-45427] RPC SSL-instellingen toegevoegd aan SSLOptions en SparkTransportConf.
    • Beveiligingsupdates van het besturingssysteem.
  • 24 oktober 2023
    • [SPARK-45426] Er is ondersteuning toegevoegd voor ReloadingX509TrustManager.
    • Diverse oplossingen.
  • 13 oktober 2023
    • Snowflake-jdbc-afhankelijkheid is bijgewerkt van 3.13.29 naar 3.13.33.
    • [SPARK-45178] Terugval naar het uitvoeren van één batch voor Trigger.AvailableNow met niet-ondersteunde bronnen in plaats van de wrapper te gebruiken.
    • [SPARK-45084] StateOperatorProgress om een nauwkeurig, voldoende willekeurige partitienummer te gebruiken.
    • [SPARK-45346] Parquet-schemadeductie respecteert nu hoofdlettergevoelige vlag bij het samenvoegen van een schema.
    • Beveiligingsupdates van het besturingssysteem.
  • 10 september 2023
    • Diverse oplossingen.
  • 30 augustus 2023
    • [SPARK-44818] Vaste race voor taakonderbreeding in behandeling uitgegeven voordat taskThread deze wordt geïnitialiseerd.
    • [SPARK-44871][11.3-13.0] Vast percentile_disc gedrag.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 augustus 2023
    • [SPARK-44485] Geoptimaliseerd TreeNode.generateTreeString.
    • [SPARK-44504] Onderhoudstaak schoont geladen providers op bij stopfout.
    • [SPARK-44464] Opgelost applyInPandasWithStatePythonRunner met uitvoerrijen die de eerste kolomwaarde hebben Null .
    • Beveiligingsupdates van het besturingssysteem.
  • 27 juli 2023
    • Er is een probleem opgelost waarbij dbutils.fs.ls() deze werd geretourneerd bij het aangeroepen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP voor een opslaglocatiepad dat conflicteerde met een andere externe of beheerde opslaglocatie.
    • [SPARK-44199] CacheManager vernieuwt niet langer onnodig fileIndex .
    • Beveiligingsupdates van het besturingssysteem.
  • 24 juli 2023
    • [SPARK-44136] Er is een probleem opgelost waarbij StateManager kan worden gerealiseerd in de uitvoerder in plaats van stuurprogramma in FlatMapGroupsWithStateExec.
    • Beveiligingsupdates van het besturingssysteem.
  • 23 juni 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2023
    • Gefotoniseerd approx_count_distinct.
    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • [SPARK-43779] ParseToDate laadt EvalMode nu in de hoofdthread.
    • [SPARK-40862] Ondersteuning voor niet-geaggregeerde subquery's in RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Uitgebreide scalaire subquery count bug test with decorrelateInnerQuery turned off.
    • [SPARK-43098] Corrigeer de fout AANTAL correctheid wanneer scalaire subquery een group by-component heeft
    • Beveiligingsupdates van het besturingssysteem.
  • 2 juni 2023
    • De JSON-parser in failOnUnknownFields de modus verwijdert een record in DROPMALFORMED de modus en mislukt rechtstreeks in FAILFAST de modus.
    • Verbeter de prestaties van incrementele updates met SHALLOW CLONE Iceberg en Parquet.
    • Er is een probleem opgelost in Auto Loader waarbij verschillende bronbestandsindelingen inconsistent waren toen het opgegeven schema geen uitgestelde partities had opgenomen. Dit probleem kan onverwachte fouten veroorzaken bij het lezen van bestanden met ontbrekende kolommen in het uitgestelde partitieschema.
    • [SPARK-43404]Sla het sst-bestand voor dezelfde versie van rocksDB-statusopslag over om te voorkomen dat de id niet overeenkomt.
    • [SPARK-43527] Opgelost catalog.listCatalogs in PySpark.
    • [SPARK-43413][11.3-13.0] Er is een null-waarde voor subquery ListQuery opgelostIN.
    • [SPARK-43340] Er is een probleem opgelost met ontbrekend stacktraceringsveld in gebeurtenislogboeken.

Databricks Runtime 10.4 LTS

Zie Databricks Runtime 10.4 LTS.

  • 29 november 2023
    • [SPARK-45544] Geïntegreerde SSL-ondersteuning in TransportContext.
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • [SPARK-43718] De null-waarde voor sleutels in USING joins is opgelost.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • [SPARK-42205] Logboekregistratieaccumulaties in fase- en taakstart-gebeurtenissen zijn verwijderd.
    • [SPARK-44846] Complexe groeperingsexpressies na RemoveRedundantAggregatesverwijderd.
    • Beveiligingsupdates van het besturingssysteem.
  • 14 november 2023
    • [SPARK-45541] Toegevoegd SSLFactory.
    • [SPARK-45545] SparkTransportConf SSLOptions neemt over bij het maken.
    • [SPARK-45427] RPC SSL-instellingen toegevoegd aan SSLOptions en SparkTransportConf.
    • [SPARK-45429] Er zijn helperklassen toegevoegd voor SSL RPC-communicatie.
    • [SPARK-45584] Er is een fout opgelost bij het uitvoeren van subquery's met TakeOrderedAndProjectExec.
    • [SPARK-33861] herstellen.
    • Beveiligingsupdates van het besturingssysteem.
  • 24 oktober 2023
    • [SPARK-45426] Er is ondersteuning toegevoegd voor ReloadingX509TrustManager.
    • Beveiligingsupdates van het besturingssysteem.
  • 13 oktober 2023
    • [SPARK-45084] StateOperatorProgress om een nauwkeurig, voldoende willekeurige partitienummer te gebruiken.
    • [SPARK-45178] Terugval naar het uitvoeren van één batch voor Trigger.AvailableNow met niet-ondersteunde bronnen in plaats van de wrapper te gebruiken.
    • Beveiligingsupdates van het besturingssysteem.
  • 10 september 2023
    • Diverse oplossingen.
  • 30 augustus 2023
    • [SPARK-44818] Vaste race voor taakonderbreeding in behandeling uitgegeven voordat taskThread deze wordt geïnitialiseerd.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 augustus 2023
    • [SPARK-44504] Onderhoudstaak schoont geladen providers op bij stopfout.
    • [SPARK-43973] Gestructureerde streaming-ui wordt nu correct weergegeven mislukte query's.
    • Beveiligingsupdates van het besturingssysteem.
  • 23 juni 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2023
    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • [SPARK-43098] Corrigeer de fout AANTAL correctheid wanneer scalaire subquery een group by-component heeft
    • [SPARK-40862] Ondersteuning voor niet-geaggregeerde subquery's in RewriteCorrelatedScalarSubquery
    • [SPARK-43156][SPARK-43098] Uitgebreide scalaire subquery-test met decorrelateInnerQuery uitgeschakeld.
    • Beveiligingsupdates van het besturingssysteem.
  • 2 juni 2023
    • De JSON-parser in failOnUnknownFields de modus verwijdert een record in DROPMALFORMED de modus en mislukt rechtstreeks in FAILFAST de modus.
    • Er is een probleem opgelost bij het parseren van gegevens in JSON om te voorkomen UnknownFieldException.
    • Er is een probleem opgelost in Auto Loader waarbij verschillende bronbestandsindelingen inconsistent waren toen het opgegeven schema geen uitgestelde partities had opgenomen. Dit probleem kan onverwachte fouten veroorzaken bij het lezen van bestanden met ontbrekende kolommen in het uitgestelde partitieschema.
    • [SPARK-43404] Sla het sst-bestand voor dezelfde versie van rocksDB-statusopslag over om te voorkomen dat de id niet overeenkomt.
    • [SPARK-43413] De null-baarheid van subquery ListQuery is opgelostIN.
    • Beveiligingsupdates van het besturingssysteem.
  • 17 mei 2023
    • Parquet-scans zijn nu robuust tegen OOM's bij het scannen van uitzonderlijk gestructureerde bestanden door de batchgrootte dynamisch aan te passen. Bestandsmetagegevens worden geanalyseerd naar een preventieve lagere batchgrootte en worden opnieuw verlaagd bij nieuwe pogingen van taken als een definitief veiligheidsnet.
    • [SPARK-41520] Structuurpatroon AND_OR splitsen om te scheiden AND en OR.
    • [SPARK-43190] ListQuery.childOutput is nu consistent met secundaire uitvoer.
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2023
    • [SPARK-42928] resolvePersistentFunction Gesynchroniseerd maken.
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2023
    • Er is een probleem opgelost waarbij automatisch laden van schema's kan worden omgezet in een oneindige faillus wanneer een nieuwe kolom wordt gedetecteerd in het schema van een genest JSON-object.
    • [SPARK-42937] PlanSubqueries wordt nu ingesteld InSubqueryExec#shouldBroadcast op waar.
    • [SPARK-42967] Oplossing voor SparkListenerTaskStart.stageAttemptId wanneer een taak wordt gestart nadat de fase is geannuleerd.
  • 29 maart 2023
    • [SPARK-42668] Uitzondering vangen tijdens het sluiten van de gecomprimeerde stream in HDFSStateStoreProvider stop
    • [SPARK-42635] Herstel de ...
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2023
    • [SPARK-41162] Anti- en semi-join corrigeren voor self-join met aggregaties
    • [SPARK-33206] Berekening van het gewicht van de cache in willekeurige volgorde herstellen voor kleine indexbestanden
    • [SPARK-42484] UnsafeRowUtils Het foutbericht is verbeterd
    • Diverse oplossingen.
  • 28 februari 2023
    • Ondersteuning gegenereerde kolom voor jjjj-MM-dd-date_format. Deze wijziging ondersteunt het verwijderen van partities voor jjjj-MM-dd als een date_format in gegenereerde kolommen.
    • Gebruikers kunnen nu specifieke Delta-tabellen lezen en schrijven waarvoor Lezer versie 3 en Writer versie 7 is vereist, met databricks Runtime 9.1 LTS of hoger. Als u wilt slagen, moeten tabelfuncties in het protocol van de tabellen worden ondersteund door de huidige versie van Databricks Runtime.
    • Ondersteuning gegenereerde kolom voor jjjj-MM-dd-date_format. Deze wijziging ondersteunt het verwijderen van partities voor jjjj-MM-dd als een date_format in gegenereerde kolommen.
    • Beveiligingsupdates van het besturingssysteem.
  • 16 februari 2023
    • [SPARK-30220] Inschakelen met behulp van Exists/In-subquery's buiten het filterknooppunt
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2023
    • Tabeltypen van JDBC-tabellen zijn nu standaard EXTERN.
  • 18 januari 2023
    • Azure Synapse-connector retourneert een meer beschrijvend foutbericht wanneer een kolomnaam ongeldige tekens bevat, zoals witruimten of puntkomma's. In dergelijke gevallen wordt het volgende bericht geretourneerd: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Schrijfbatch wissen na de doorvoer van de RocksDB-statusopslag
    • [SPARK-41199] Probleem met metrische gegevens oplossen wanneer de DSv1-streamingbron en de DSv2-streamingbron gezamenlijk worden gebruikt
    • [SPARK-41198] Metrische gegevens in streamingquery oplossen met CTE- en DSv1-streamingbron
    • [SPARK-41339] Een RocksDB-schrijfbatch sluiten en opnieuw maken in plaats van alleen te wissen
    • [SPARK-41732] Op structuurpatroon gebaseerde pruning toepassen voor de regel SessionWindowing
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2022
    • Gebruikers kunnen het gedrag van voorloop- en volgspaties configureren bij het schrijven van gegevens met behulp van de Redshift-connector. De volgende opties zijn toegevoegd om witruimteafhandeling te beheren:
      • csvignoreleadingwhitespace, indien ingesteld op true, verwijdert voorloopspaties uit waarden tijdens schrijfbewerkingen wanneer tempformat deze is ingesteld op CSV of CSV GZIP. Witruimten worden bewaard wanneer de configuratie is ingesteld op false. De waarde is standaard true.
      • csvignoretrailingwhitespace, indien ingesteld op true, verwijdert volgspaties uit waarden tijdens schrijfbewerkingen wanneer tempformat deze is ingesteld CSV op of CSV GZIP. Witruimten worden bewaard wanneer de configuratie is ingesteld op false. De waarde is standaard true.
    • Er is een probleem opgelost met JSON-parsering in Auto Loader wanneer alle kolommen werden achtergelaten als tekenreeksen (cloudFiles.inferColumnTypes niet ingesteld of ingesteld op false) en de JSON geneste objecten bevatte.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 november 2022
    • Apache commons-text bijgewerkt naar 1.10.0.
    • [SPARK-40646] JSON-parsering voor structs, toewijzingen en matrices is opgelost, dus wanneer een deel van een record niet overeenkomt met het schema, kan de rest van de record nog steeds correct worden geparseerd in plaats van null-waarden te retourneren. Als u zich wilt aanmelden voor het verbeterde gedrag, stelt u in op spark.sql.json.enablePartialResults true. De vlag is standaard uitgeschakeld om het oorspronkelijke gedrag te behouden.
    • [SPARK-40292] Kolomnamen in arrays_zip functie herstellen wanneer naar matrices wordt verwezen vanuit geneste structs
    • Beveiligingsupdates van het besturingssysteem.
  • 1 november 2022
    • Er is een probleem opgelost waarbij als een Delta-tabel een door de gebruiker gedefinieerde kolom met de naam _change_typehad, maar de gegevensfeed voor die tabel is uitgeschakeld, gegevens in die kolom onjuist zouden worden gevuld met NULL-waarden bij het uitvoeren MERGE.
    • Er is een probleem opgelost met automatische laadprogramma's waarbij een bestand in dezelfde microbatch kan worden gedupliceerd wanneer allowOverwrites dit is ingeschakeld
    • [SPARK-40697] Tekenopvulling aan de leeszijde toevoegen om externe gegevensbestanden te behandelen
    • [SPARK-40596] ExecutorDecommission vullen met berichten in ExecutorDecommissionInfo
    • Beveiligingsupdates van het besturingssysteem.
  • 18 oktober 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 5 oktober 2022
    • [SPARK-40468] Oplossing voor het verwijderen van kolommen in CSV wanneer _corrupt_record deze is geselecteerd.
    • Beveiligingsupdates van het besturingssysteem.
  • 22 september 2022
    • Gebruikers kunnen spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) instellen om de ingebouwde vermelding voor Automatische Loader op ADLS Gen2 opnieuw in te schakelen. Ingebouwde vermelding is eerder uitgeschakeld vanwege prestatieproblemen, maar kan hebben geleid tot hogere opslagkosten voor klanten.
    • [SPARK-40315] HashCode() toevoegen voor Literal of ArrayBasedMapData
    • [SPARK-40213] Ondersteuning voor ASCII-waardeconversie voor Latijns-1 tekens
    • [SPARK-40380] Constant vouwen van InvokeLike herstellen om te voorkomen dat niet-serialiseerbare letterlijke waarde in het plan is ingesloten
    • [SPARK-38404] CTE-resolutie verbeteren wanneer een geneste CTE verwijst naar een buitenste CTE
    • [SPARK-40089] Sorteren voor sommige decimale typen oplossen
    • [SPARK-39887] RemoveRedundantAliases moet aliassen behouden die de uitvoer van projectieknooppunten uniek maken
  • 6 september 2022
    • [SPARK-40235] Onderbreekbare vergrendeling gebruiken in plaats van gesynchroniseerd in Executor.updateDependencies()
    • [SPARK-40218] GROEPERINGSSETS moeten de groeperingskolommen behouden
    • [SPARK-39976] ArrayIntersect moet null in linkerexpressie correct verwerken
    • [SPARK-40053] Toevoegen assume aan dynamische annuleringscases waarvoor Python Runtime-omgeving is vereist
    • [SPARK-35542] Oplossing: Bucketizer gemaakt voor meerdere kolommen met parameters splitsArray, inputCols en outputCols kunnen niet worden geladen nadat deze zijn opgeslagen
    • [SPARK-40079] Imputer inputCols-validatie voor lege invoercase toevoegen
  • 24 augustus 2022
    • [SPARK-39983] Niet-geserialiseerde broadcastrelaties niet in de cache opslaan op het stuurprogramma
    • [SPARK-39775] Standaardwaarden valideren uitschakelen bij het parseren van Avro-schema's
    • [SPARK-39962] Projectie toepassen wanneer groepskenmerken leeg zijn
    • [SPARK-37643] wanneer charVarcharAsString waar is, moet voor tekengegevenstypepredicaatquery rpaddingregel overslaan
    • Beveiligingsupdates van het besturingssysteem.
  • 9 augustus 2022
    • [SPARK-39847] Racevoorwaarde herstellen in RocksDBLoader.loadLibrary() als de aanroeperthread wordt onderbroken
    • [SPARK-39731] Probleem opgelost in CSV- en JSON-gegevensbronnen bij het parseren van datums in de indeling 'yyyyMMdd' met gecorrigeerd tijdparserbeleid
    • Beveiligingsupdates van het besturingssysteem.
  • 27 juli 2022
    • [SPARK-39625] Dataset.as(StructType) toevoegen
    • [SPARK-39689]Ondersteuning voor twee tekens lineSep in csv-gegevensbron
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded moet thread-safe zijn
    • [SPARK-39570] Inlinetabel moet expressies met alias toestaan
    • [SPARK-39702] Geheugenoverhead van TransportCipher$EncryptedMessage verminderen met behulp van een gedeelde byteRawChannel
    • [SPARK-39575] byteBuffer#rewind na ByteBuffer#get in AvroDeserializer toevoegen
    • [SPARK-39476] Cast-uitpak optimaliseren uitschakelen bij het gieten van Long naar Float/Double of van Integer naar Float
    • [SPARK-38868] Uitzonderingen van filterpredicaat niet doorgeven bij het optimaliseren van outer joins
    • Beveiligingsupdates van het besturingssysteem.
  • 20 juli 2022
    • Zorg ervoor dat de Delta MERGE-bewerking consistent is wanneer de bron niet-deterministisch is.
    • [SPARK-39355] Eén kolom gebruikt aan citeren om UnresolvedAttribute samen te stellen
    • [SPARK-39548] CreateView Command with a window clause query press a wrong window definition not found issue
    • [SPARK-39419] MatrixSort herstellen om een uitzondering te genereren wanneer de comparator null retourneert
    • Automatisch laden is uitgeschakeld voor het gebruik van ingebouwde cloud-API's voor adreslijstvermelding in Azure.
    • Beveiligingsupdates van het besturingssysteem.
  • 5 juli 2022
    • [SPARK-39376] Dubbele kolommen verbergen in steruitbreiding van subqueryalias van NATURAL/USING JOIN
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2022
    • [SPARK-39283] Impasse tussen TaskMemoryManager en UnsafeExternalSorter.SpillableIterator oplossen
    • [SPARK-39285] Spark mag veldnamen niet controleren bij het lezen van bestanden
    • [SPARK-34096] Prestaties verbeteren voor nth_value null-waarden negeren via offsetvenster
    • [SPARK-36718] isExtractOnly De check-in CollapseProject herstellen
  • 2 juni 2022
    • [SPARK-39093] Vermijd compilatiefout in codegen bij het delen van intervallen van jaarmaanden of dagtijdintervallen door een integraal
    • [SPARK-38990] Vermijd NullPointerException bij het evalueren van date_trunc/trunc-indeling als afhankelijke verwijzing
    • Beveiligingsupdates van het besturingssysteem.
  • 18 mei 2022
    • Hiermee lost u een potentieel ingebouwd geheugenlek op in autolaadprogramma's.
    • [SPARK-38918] Geneste kolomsnoei moet kenmerken uitfilteren die niet tot de huidige relatie behoren
    • [SPARK-37593] Standaardpaginaformaat verkleinen door LONG_ARRAY_OFFSET als G1GC en ON_HEAP worden gebruikt
    • [SPARK-39084] df.rdd.isEmpty() herstellen met behulp van TaskContext om de iterator te stoppen bij het voltooien van de taak
    • [SPARK-32268] ColumnPruning toevoegen in injectBloomFilter
    • [SPARK-38974] Geregistreerde functies filteren met een bepaalde databasenaam in lijstfuncties
    • [SPARK-38931] Hoofdmap dfs maken voor RocksDBFileManager met een onbekend aantal sleutels op het eerste controlepunt
    • Beveiligingsupdates van het besturingssysteem.
  • 19 april 2022
    • Java AWS SDK bijgewerkt van versie 1.11.655 naar 1.12.1899.
    • Er is een probleem opgelost met notebookbibliotheken die niet werken in batchstreamingtaken.
    • [SPARK-38616] SQL-querytekst bijhouden in Catalyst TreeNode
    • Beveiligingsupdates van het besturingssysteem.
  • 6 april 2022
    • De volgende Spark SQL-functies zijn nu beschikbaar in deze release:
      • timestampadd() en dateadd(): Een tijdsduur in een opgegeven eenheid toevoegen aan een tijdstempelexpressie.
      • timestampdiff() en datediff(): bereken het tijdsverschil tussen expressies met twee tijdstempels in een opgegeven eenheid.
    • Parquet-MR is bijgewerkt naar 1.12.2
    • Verbeterde ondersteuning voor uitgebreide schema's in Parquet-bestanden
    • [SPARK-38631] Maakt gebruik van implementatie op basis van Java voor het opheffen van tarring bij Utils.unpack
    • [SPARK-38509][SPARK-38481] Kersenkie drie timestmapadd/diff wijzigingen.
    • [SPARK-38523] Oplossing die verwijst naar de beschadigde recordkolom van CSV
    • [SPARK-38237] Volledige ClusteredDistribution clusteringsleutels vereisen
    • [SPARK-38437] Lenient serialisatie van datum/tijd uit gegevensbron
    • [SPARK-38180] Veilige up-cast-expressies toestaan in gecorreleerde gelijkheidspredicaten
    • [SPARK-38155] Afzonderlijke statistische functies in laterale subquery's met niet-ondersteunde predicaten weigeren
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 9.1 LTS

Zie Databricks Runtime 9.1 LTS.

  • 29 november 2023
    • [SPARK-45859] UDF-objecten in ml.functions luie gemaakt.
    • [SPARK-45544] Geïntegreerde SSL-ondersteuning in TransportContext.
    • [SPARK-45730] Verbeterde tijdsbeperkingen voor ReloadingX509TrustManagerSuite.
    • Beveiligingsupdates van het besturingssysteem.
  • 14 november 2023
    • [SPARK-45545] SparkTransportConf SSLOptions neemt over bij het maken.
    • [SPARK-45429] Er zijn helperklassen toegevoegd voor SSL RPC-communicatie.
    • [SPARK-45427] RPC SSL-instellingen toegevoegd aan SSLOptions en SparkTransportConf.
    • [SPARK-45584] Er is een fout opgelost bij het uitvoeren van subquery's met TakeOrderedAndProjectExec.
    • [SPARK-45541] Toegevoegd SSLFactory.
    • [SPARK-42205] Logboekregistratieaccumulaties in fase- en taakstart-gebeurtenissen zijn verwijderd.
    • Beveiligingsupdates van het besturingssysteem.
  • 24 oktober 2023
    • [SPARK-45426] Er is ondersteuning toegevoegd voor ReloadingX509TrustManager.
    • Beveiligingsupdates van het besturingssysteem.
  • 13 oktober 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 10 september 2023
    • Diverse oplossingen.
  • 30 augustus 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 15 augustus 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 23 juni 2023
    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2023
    • [SPARK-43098] Corrigeer de fout AANTAL correctheid wanneer scalaire subquery een group by-component heeft
    • [SPARK-43156][SPARK-43098] Breid het aantal bugtests voor scalaire subquery's uit met decorrelateInnerQuery uitgeschakeld.
    • [SPARK-40862] Ondersteuning voor niet-geaggregeerde subquery's in RewriteCorrelatedScalarSubquery
    • Beveiligingsupdates van het besturingssysteem.
  • 2 juni 2023
    • De JSON-parser in failOnUnknownFields de modus verwijdert een record in DROPMALFORMED de modus en mislukt rechtstreeks in FAILFAST de modus.
    • Er is een probleem opgelost bij het parseren van gegevens in JSON om te voorkomen UnknownFieldException.
    • Er is een probleem opgelost in Auto Loader waarbij verschillende bronbestandsindelingen inconsistent waren toen het opgegeven schema geen uitgestelde partities had opgenomen. Dit probleem kan onverwachte fouten veroorzaken bij het lezen van bestanden met ontbrekende kolommen in het uitgestelde partitieschema.
    • [SPARK-37520] De startswith() functies en endswith() tekenreeksen toevoegen
    • [SPARK-43413] De null-baarheid van subquery ListQuery is opgelostIN.
    • Beveiligingsupdates van het besturingssysteem.
  • 17 mei 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 25 april 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 11 april 2023
    • Er is een probleem opgelost waarbij automatisch laden van schema's kan worden omgezet in een oneindige faillus wanneer een nieuwe kolom wordt gedetecteerd in het schema van een genest JSON-object.
    • [SPARK-42967] Oplossing voor SparkListenerTaskStart.stageAttemptId wanneer een taak wordt gestart nadat de fase is geannuleerd.
  • 29 maart 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 14 maart 2023
    • [SPARK-42484] Verbeterd foutbericht voor UnsafeRowUtils.
    • Diverse oplossingen.
  • 28 februari 2023
    • Gebruikers kunnen nu specifieke Delta-tabellen lezen en schrijven waarvoor Lezer versie 3 en Writer versie 7 is vereist, met databricks Runtime 9.1 LTS of hoger. Als u wilt slagen, moeten tabelfuncties in het protocol van de tabellen worden ondersteund door de huidige versie van Databricks Runtime.
    • Beveiligingsupdates van het besturingssysteem.
  • 16 februari 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2023
    • Tabeltypen van JDBC-tabellen zijn nu standaard EXTERN.
  • 18 januari 2023
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2022
    • Er is een probleem opgelost met JSON-parsering in Auto Loader wanneer alle kolommen werden achtergelaten als tekenreeksen (cloudFiles.inferColumnTypes niet ingesteld of ingesteld op false) en de JSON geneste objecten bevatte.
    • Beveiligingsupdates van het besturingssysteem.
  • 15 november 2022
    • Apache commons-text bijgewerkt naar 1.10.0.
    • Beveiligingsupdates van het besturingssysteem.
    • Diverse oplossingen.
  • 1 november 2022
    • Er is een probleem opgelost waarbij als een Delta-tabel een door de gebruiker gedefinieerde kolom met de naam _change_typehad, maar de gegevensfeed voor die tabel is uitgeschakeld, gegevens in die kolom onjuist zouden worden gevuld met NULL-waarden bij het uitvoeren MERGE.
    • Er is een probleem opgelost met automatische laadprogramma's waarbij een bestand in dezelfde microbatch kan worden gedupliceerd wanneer allowOverwrites dit is ingeschakeld
    • [SPARK-40596] ExecutorDecommission vullen met berichten in ExecutorDecommissionInfo
    • Beveiligingsupdates van het besturingssysteem.
  • 18 oktober 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 5 oktober 2022
    • Diverse oplossingen.
    • Beveiligingsupdates van het besturingssysteem.
  • 22 september 2022
    • Gebruikers kunnen spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") instellen om de ingebouwde vermelding voor Auto Loader op ADLS Gen2 opnieuw in te schakelen. Ingebouwde vermelding is eerder uitgeschakeld vanwege prestatieproblemen, maar kan hebben geleid tot hogere opslagkosten voor klanten.
    • [SPARK-40315] HashCode() toevoegen voor Literal of ArrayBasedMapData
    • [SPARK-40089] Sorteren voor sommige decimale typen oplossen
    • [SPARK-39887] RemoveRedundantAliases moet aliassen behouden die de uitvoer van projectieknooppunten uniek maken
  • 6 september 2022
    • [SPARK-40235] Onderbreekbare vergrendeling gebruiken in plaats van gesynchroniseerd in Executor.updateDependencies()
    • [SPARK-35542] Oplossing: Bucketizer gemaakt voor meerdere kolommen met parameters splitsArray, inputCols en outputCols kunnen niet worden geladen nadat deze zijn opgeslagen
    • [SPARK-40079] Imputer inputCols-validatie voor lege invoercase toevoegen
  • 24 augustus 2022
    • [SPARK-39666] OnveiligProjection.create gebruiken om te respecteren spark.sql.codegen.factoryMode in ExpressionEncoder
    • [SPARK-39962] Projectie toepassen wanneer groepskenmerken leeg zijn
    • Beveiligingsupdates van het besturingssysteem.
  • 9 augustus 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 27 juli 2022
    • Zorg ervoor dat de Delta MERGE-bewerking consistent is wanneer de bron niet-deterministisch is.
    • [SPARK-39689] Ondersteuning voor twee tekens lineSep in csv-gegevensbron
    • [SPARK-39575] Toegevoegd ByteBuffer#rewind na ByteBuffer#get in AvroDeserializer.
    • [SPARK-37392] De prestatiefout voor katalysatoroptimalisatie is opgelost.
    • Beveiligingsupdates van het besturingssysteem.
  • 13 juli 2022
    • [SPARK-39419] ArraySort genereert een uitzondering wanneer de comparator null retourneert.
    • Automatisch laden is uitgeschakeld voor het gebruik van ingebouwde cloud-API's voor adreslijstvermelding in Azure.
    • Beveiligingsupdates van het besturingssysteem.
  • 5 juli 2022
    • Beveiligingsupdates van het besturingssysteem.
    • Diverse oplossingen.
  • 15 juni 2022
    • [SPARK-39283] Impasse tussen TaskMemoryManager en UnsafeExternalSorter.SpillableIterator.
  • 2 juni 2022
    • [SPARK-34554] Implementeer de copy() methode in ColumnarMap.
    • Beveiligingsupdates van het besturingssysteem.
  • 18 mei 2022
    • Er is een mogelijk ingebouwd geheugenlek opgelost in de Auto Loader.
    • Voer een upgrade uit van AWS SDK-versie van 1.11.655 naar 1.11.678.
    • [SPARK-38918] Geneste kolomsnoei moet kenmerken uitfilteren die niet tot de huidige relatie behoren
    • [SPARK-39084] Oplossing df.rdd.isEmpty() door TaskContext iterator te stoppen bij het voltooien van de taak
    • Beveiligingsupdates van het besturingssysteem.
  • 19 april 2022
    • Beveiligingsupdates van het besturingssysteem.
    • Diverse oplossingen.
  • 6 april 2022
    • [SPARK-38631] Maakt gebruik van implementatie op basis van Java voor het opheffen van tarring bij Utils.unpack
    • Beveiligingsupdates van het besturingssysteem.
  • 22 maart 2022
    • De huidige werkmap van notebooks op clusters met hoge gelijktijdigheid gewijzigd, waarbij toegangsbeheer voor tabellen of referentiepassthrough is ingeschakeld voor de basismap van de gebruiker. Voorheen was /databricks/driverde Active Directory.
    • [SPARK-38437] Lenient serialisatie van datum/tijd uit gegevensbron
    • [SPARK-38180] Veilige up-cast-expressies toestaan in gecorreleerde gelijkheidspredicaten
    • [SPARK-38155] Afzonderlijke statistische functies in laterale subquery's met niet-ondersteunde predicaten weigeren
    • [SPARK-27442] Een controleveld verwijderd bij het lezen of schrijven van gegevens in een parquet.
  • 14 maart 2022
    • [SPARK-38236] Absolute bestandspaden die zijn opgegeven in de tabel maken/wijzigen, worden behandeld als relatief
    • [SPARK-34069] De taakthread onderbreken als de lokale eigenschap SPARK_JOB_INTERRUPT_ON_CANCEL is ingesteld op waar.
  • 23 februari 2022
    • [SPARK-37859] SQL-tabellen die zijn gemaakt met JDBC met Spark 3.1, kunnen niet worden gelezen met Spark 3.2.
  • 8 februari 2022
    • [SPARK-27442] Een controleveld verwijderd bij het lezen of schrijven van gegevens in een parquet.
    • Beveiligingsupdates van het besturingssysteem.
  • 1 februari 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 26 januari 2022
    • Er is een probleem opgelost waarbij gelijktijdige transacties in Delta-tabellen in een niet-serialiseerbare volgorde onder bepaalde zeldzame omstandigheden konden worden doorgevoerd.
    • Er is een probleem opgelost waarbij de OPTIMIZE opdracht kon mislukken wanneer het ANSI SQL-dialect werd ingeschakeld.
  • 19 januari 2022
    • Kleine oplossingen en beveiligingsverbeteringen.
    • Beveiligingsupdates van het besturingssysteem.
  • 4 november 2021
    • Er is een probleem opgelost waardoor Structured Streaming-streams mislukken met een ArrayIndexOutOfBoundsException.
    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: No FileSystem for scheme of waardoor wijzigingen sparkContext.hadoopConfiguration mogelijk niet van kracht worden in query's.
    • De Apache Spark Connector voor Delta Sharing is bijgewerkt naar 0.2.0.
  • 20 oktober 2021
    • BigQuery-connector bijgewerkt van 0.18.1 naar 0.22.2. Hiermee wordt ondersteuning toegevoegd voor het type BigNumeric.

Databricks Runtime 13.0 (EoS)

Zie Databricks Runtime 13.0 (EoS).

  • 13 oktober 2023

    • Snowflake-jdbc-afhankelijkheid is bijgewerkt van 3.13.29 naar 3.13.33.
    • [SPARK-42553][SQL] Zorg ervoor dat er ten minste één tijdseenheid na het interval is.
    • [SPARK-45178] Terugval naar het uitvoeren van één batch voor Trigger.AvailableNow niet-ondersteunde bronnen in plaats van wrapper te gebruiken.
    • [SPARK-44658][CORE] ShuffleStatus.getMapStatus retourneert None in plaats van Some(null).
    • [SPARK-42205][CORE] Verwijder logboekregistratie van accumulables in begin-/fase-gebeurtenissen in JsonProtocol.
    • Beveiligingsupdates van het besturingssysteem.

  • 12 september 2023

    • [SPARK-44485][SQL] Optimaliseren TreeNode.generateTreeString.
    • [SPARK-44718][SQL] De ColumnVector standaardconfiguratie van de geheugenmodus afstemmen op OffHeapMemoryMode de configuratiewaarde.
    • Diverse bugfixes.

  • 30 augustus 2023

    • [SPARK-44818][Backport] Vaste race voor taakonderbreeding in behandeling uitgegeven voordat taskThread deze wordt geïnitialiseerd.
    • [SPARK-44714] Beperking van LCA-resolutie met betrekking tot query's vereenvoudigen.
    • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() doctests is nu illustratief.
    • [SPARK-44871][11.3-13.0][SQL] Vast percentile_disc gedrag.
    • Beveiligingsupdates van het besturingssysteem.

  • 15 augustus 2023

    • [SPARK-44643][SQL][PYTHON] Oplossing Row.__repr__ wanneer de rij leeg is.
    • [SPARK-44504][Backport] Onderhoudstaak schoont geladen providers op bij stopfout.
    • [SPARK-44479][VERBINDING MAKEN][PYTHON] De conversie van een leeg structtype is opgelost protobuf .
    • [SPARK-44464][SS] Opgelost applyInPandasWithStatePythonRunner met uitvoerrijen met Null als eerste kolomwaarde.
    • Diverse bugfixes.

  • 29 juli 2023

    • Er is een fout opgelost waarbij dbutils.fs.ls() deze werd geretourneerd bij het aangeroepen INVALID_PARAMETER_VALUE.LOCATION_OVERLAP voor een opslaglocatiepad dat conflicteerde met een andere externe of beheerde opslaglocatie.
    • [SPARK-44199] CacheManager vernieuwt niet langer onnodig fileIndex .
    • Beveiligingsupdates van het besturingssysteem.

  • 24 juli 2023

    • [SPARK-44337][PROTOBUF] Er is een probleem opgelost waarbij een veld dat is ingesteld om parseringsfouten te Any.getDefaultInstance veroorzaken.
    • [SPARK-44136] [SS] Er is een probleem opgelost waarbij StateManager werd gerealiseerd in een uitvoerder in plaats van een stuurprogramma in FlatMapGroupsWithStateExec.
    • [SPARK-42323][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2332.
    • Beveiligingsupdates van het besturingssysteem.

  • 23 juni 2023

    • Beveiligingsupdates van het besturingssysteem.

  • 15 juni 2023

    • Gefotoniseerd approx_count_distinct.
    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • [SPARK-43156][SPARK-43098][SQL] De fouttest scalaire subquery uitbreiden met decorrelateInnerQuery uitgeschakeld
    • [SPARK-43779][SQL] ParseToDate laadt EvalMode nu in de hoofdthread.
    • [SPARK-42937][SQL] PlanSubqueries moet zijn ingesteld InSubqueryExec#shouldBroadcast op waar
    • Beveiligingsupdates van het besturingssysteem.

  • 2 juni 2023

    • De JSON-parser in failOnUnknownFields de modus verwijdert een record in DROPMALFORMED de modus en mislukt rechtstreeks in FAILFAST de modus.
    • Verbeter de prestaties van incrementele updates met SHALLOW CLONE Iceberg en Parquet.
    • Er is een probleem opgelost in Auto Loader waarbij verschillende bronbestandsindelingen inconsistent waren toen het opgegeven schema geen uitgestelde partities had opgenomen. Dit probleem kan onverwachte fouten veroorzaken bij het lezen van bestanden met ontbrekende kolommen in het uitgestelde partitieschema.
    • [SPARK-43404][Backport] Sla het opnieuw gebruiken van het sst-bestand voor dezelfde versie van rocksDB-statusopslag over om te voorkomen dat de id niet overeenkomt.
    • [SPARK-43340][CORE] Er is een probleem opgelost met ontbrekend stacktraceringsveld in gebeurtenislogboeken.
    • [SPARK-43300][CORE] NonFateSharingCache wrapper voor Guava Cache.
    • [SPARK-43378][CORE] Streamobjecten correct sluiten in deserializeFromChunkedBuffer.
    • [SPARK-16484][SQL] Gebruik 8-bits registers voor het weergeven van DataSketches.
    • [SPARK-43522][SQL] Er is een probleem opgelost met het maken van de naam van de structkolom met de index van de matrix.
    • [SPARK-43413][11.3-13.0][SQL] De null-baarheid van subquery ListQuery is opgelostIN.
    • [SPARK-43043][CORE] Verbeterde MapOutputTracker.updateMapOutput prestaties.
    • [SPARK-16484][SQL] Ondersteuning toegevoegd voor DataSketches HllSketch.
    • [SPARK-43123][SQL] Interne veldmetagegevens lekken niet meer naar catalogi.
    • [SPARK-42851][SQL] Wacht EquivalentExpressions.addExpr() met supportedExpression().
    • [SPARK-43336][SQL] Gieten tussen Timestamp en TimestampNTZ vereist tijdzone.
    • [SPARK-43286][SQL] De CBC-modus is bijgewerkt aes_encrypt om willekeurige IVs te genereren.
    • [SPARK-42852][SQL] Gerelateerde NamedLambdaVariable wijzigingen zijn teruggedraaid van EquivalentExpressions.
    • [SPARK-43541][SQL] Geef alle Project tags door bij het omzetten van expressies en ontbrekende kolommen.
    • [SPARK-43527][PYTHON] Opgelost catalog.listCatalogs in PySpark.
    • Beveiligingsupdates van het besturingssysteem.

  • 31 mei 2023

  • 17 mei 2023

    • Er is een regressie opgelost waarbij _metadata.file_path en _metadata.file_name onjuist opgemaakte tekenreeksen zouden retourneren. Nu wordt bijvoorbeeld een pad met spaties weergegeven als s3://test-bucket/some%20directory/some%20data.csv in plaats van s3://test-bucket/some directory/some data.csv.
    • Parquet-scans zijn nu robuust tegen OOM's bij het scannen van uitzonderlijk gestructureerde bestanden door de batchgrootte dynamisch aan te passen. Bestandsmetagegevens worden geanalyseerd naar een preventieve lagere batchgrootte en worden opnieuw verlaagd bij nieuwe pogingen van taken als een definitief veiligheidsnet.
      • Als een Avro-bestand is gelezen met alleen de failOnUnknownFields\ optie of met autolader in de modus voor schemaontwikkeling failOnNewColumns\ , worden kolommen met verschillende gegevenstypen gelezen, zoals null\ in plaats van een fout te genereren waarin wordt aangegeven dat het bestand niet kan worden gelezen. Deze leesbewerkingen mislukken en raden gebruikers aan om de rescuedDataColumn\ optie te gebruiken.
    • Automatisch laden doet nu het volgende.
      • Correct wordt gelezen en niet meer gered Integer, ShortByte typen als een van deze gegevenstypen zijn opgegeven, maar het Avro-bestand suggereert een van de andere twee typen.
      • Hiermee voorkomt u het lezen van intervaltypen als datum- of tijdstempeltypen om beschadigde datums te voorkomen.
      • Hiermee voorkomt u leestypen Decimal met lagere precisie.
    • [SPARK-43172] [VERBINDING MAKEN] Stelt de host en het token beschikbaar vanuit de Spark Connect-client.
    • [SPARK-43293][SQL] __qualified_access_only wordt genegeerd in normale kolommen.
    • [SPARK-43098][SQL] Er is een fout opgelost in COUNT de juistheid wanneer scalaire subquery wordt gegroepeerd op component.
    • [SPARK-43085][SQL] Ondersteuning voor kolomtoewijzing DEFAULT voor tabelnamen met meerdere onderdelen.
    • [SPARK-43190][SQL] ListQuery.childOutput is nu consistent met secundaire uitvoer.
    • [SPARK-43192] [VERBINDING MAKEN] Charsetvalidatie van gebruikersagent verwijderd.

  • 25 april 2023

    • U kunt een Delta-tabel wijzigen om ondersteuning toe te voegen voor een Delta-tabelfunctie met behulp van DeltaTable.addFeatureSupport(feature_name).
    • De SYNC opdracht ondersteunt nu verouderde indelingen voor gegevensbronnen.
    • Er is een fout opgelost waarbij het gebruik van de Python-formatter voordat andere opdrachten in een Python-notebook worden uitgevoerd, ertoe kon leiden dat het notebookpad ontbreekt in sys.path.
    • Azure Databricks ondersteunt nu het opgeven van standaardwaarden voor kolommen van Delta-tabellen. INSERT, , UPDATEDELETEen MERGE opdrachten kunnen verwijzen naar de standaardwaarde van een kolom met behulp van het expliciete DEFAULT trefwoord. Voor INSERT opdrachten met een expliciete lijst met minder kolommen dan de doeltabel worden de overeenkomende standaardwaarden voor kolommen vervangen door de resterende kolommen (of NULL als er geen standaardwaarde is opgegeven).

  • Lost een fout op waarbij de webterminal niet kan worden gebruikt voor toegang tot bestanden voor /Workspace sommige gebruikers.

    • Als een Parquet-bestand is gelezen met alleen de failOnUnknownFields optie of met automatisch laden in de modus voor schemaontwikkeling failOnNewColumns , worden kolommen met verschillende gegevenstypen gelezen, in null plaats van een fout te genereren waarin wordt aangegeven dat het bestand niet kan worden gelezen. Deze leesbewerkingen mislukken en raden gebruikers aan om de rescuedDataColumn optie te gebruiken.
    • Automatisch laadprogramma wordt nu correct gelezen en redt Integerniet meer , ShortByte typen als een van deze gegevenstypen zijn opgegeven. Het Parquet-bestand stelt een van de andere twee typen voor. Wanneer de opgeslagen gegevenskolom eerder werd ingeschakeld, zou het gegevenstype niet overeenkomen, ervoor zorgen dat kolommen worden gered, ook al waren ze leesbaar.
    • Er is een fout opgelost waarbij automatisch laden van schema's in een oneindige faillus kan worden uitgevoerd wanneer een nieuwe kolom wordt gedetecteerd in het schema van een geneste JSON-object.
    • [SPARK-42794][SS] Verhoog de lockAcquireTimeoutMs tot 2 minuten voor het verkrijgen van de RocksDB-statusopslag in Structuurstreaming.
    • [SPARK-39221][SQL] Zorg ervoor dat gevoelige informatie correct wordt bewerkt voor het tabblad Servertaak/fase.
    • [SPARK-42971][CORE] Wijzig deze optie om af te drukken workdir als appDirs null is wanneer de werkrol een gebeurtenis verwerkt WorkDirCleanup .
    • [SPARK-42936][SQL] Los de LCA-fout op wanneer de component rechtstreeks kan worden opgelost door de onderliggende statistische functie.
    • [SPARK-43018][SQL] Er is een fout opgelost voor INSERT opdrachten met letterlijke tijdstempels.
    • Herstel [SPARK-42754][SQL][UI] Los compatibiliteitsproblemen met eerdere versies op in geneste SQL-uitvoering.
    • [SPARK-41498] Metagegevens doorgeven via Union.
    • [SPARK-43038][SQL] Ondersteuning voor de CBC-modus per aes_encrypt()/aes_decrypt().
    • [SPARK-42928][SQL] resolvePersistentFunction Gesynchroniseerd maken.
    • [SPARK-42521][SQL] Voeg NULL waarden toe voor INSERT door de gebruiker opgegeven lijsten met minder kolommen dan de doeltabel.
    • [SPARK-41391][SQL] De naam van groupBy.agg(count_distinct) de uitvoerkolom is onjuist.
    • [SPARK-42548][SQL] Toevoegen ReferenceAllColumns om herschrijfkenmerken over te slaan.
    • [SPARK-42423][SQL] Voeg begin- en lengte van kolomblok met metagegevens toe.
    • [SPARK-42796][SQL] Ondersteuning voor het openen van TimestampNTZ kolommen in CachedBatch.
    • [SPARK-42266][PYTHON] Verwijder de bovenliggende map in shell.py wordt uitgevoerd wanneer IPython wordt gebruikt.
    • [SPARK-43011][SQL] array_insert moet mislukken met 0 index.
    • [SPARK-41874][VERBINDING MAKEN][PYTHON] Ondersteuning SameSemantics in Spark Connect.
    • [SPARK-42702][SPARK-42623][SQL] Ondersteuning voor geparameteriseerde query's in subquery en CTE.
    • [SPARK-42967][CORE] Oplossing SparkListenerTaskStart.stageAttemptId wanneer een taak wordt gestart nadat de fase is geannuleerd.
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 12.1 (EoS)

Zie Databricks Runtime 12.1 (EoS).

  • 23 juni 2023

    • Beveiligingsupdates van het besturingssysteem.

  • 15 juni 2023

    • Gefotoniseerd approx_count_distinct.
    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • [SPARK-43779][SQL] ParseToDate laadt EvalMode nu in de hoofdthread.
    • [SPARK-43156][SPARK-43098][SQL] De fouttest scalaire subquery uitbreiden met decorrelateInnerQuery uitgeschakeld
    • Beveiligingsupdates van het besturingssysteem.

  • 2 juni 2023

    • De JSON-parser in failOnUnknownFields de modus verwijdert een record in DROPMALFORMED de modus en mislukt rechtstreeks in FAILFAST de modus.
    • Verbeter de prestaties van incrementele updates met SHALLOW CLONE Iceberg en Parquet.
    • Er is een probleem opgelost in Auto Loader waarbij verschillende bronbestandsindelingen inconsistent waren toen het opgegeven schema geen uitgestelde partities had opgenomen. Dit probleem kan onverwachte fouten veroorzaken bij het lezen van bestanden met ontbrekende kolommen in het uitgestelde partitieschema.
    • [SPARK-43404][Backport] Sla het opnieuw gebruiken van het sst-bestand voor dezelfde versie van rocksDB-statusopslag over om te voorkomen dat de id niet overeenkomt.
    • [SPARK-43413][11.3-13.0][SQL] De null-baarheid van subquery ListQuery is opgelostIN.
    • [SPARK-43522][SQL] Er is een probleem opgelost met het maken van de naam van de structkolom met de index van de matrix.
    • [SPARK-42444][PYTHON] DataFrame.drop verwerkt nu dubbele kolommen correct.
    • [SPARK-43541][SQL] Geef alle Project tags door bij het omzetten van expressies en ontbrekende kolommen.
    • [SPARK-43340][CORE] Er is een probleem opgelost met ontbrekend stacktraceringsveld in gebeurtenislogboeken.
    • [SPARK-42937][SQL] PlanSubqueries wordt nu ingesteld InSubqueryExec#shouldBroadcast op waar.
    • [SPARK-43527][PYTHON] Opgelost catalog.listCatalogs in PySpark.
    • [SPARK-43378][CORE] Streamobjecten correct sluiten in deserializeFromChunkedBuffer.

  • 17 mei 2023

    • Parquet-scans zijn nu robuust tegen OOM's bij het scannen van uitzonderlijk gestructureerde bestanden door de batchgrootte dynamisch aan te passen. Bestandsmetagegevens worden geanalyseerd naar een preventieve lagere batchgrootte en worden opnieuw verlaagd bij nieuwe pogingen van taken als een definitief veiligheidsnet.
    • Als een Avro-bestand is gelezen met alleen de failOnUnknownFields\ optie of met autolader in de modus voor schemaontwikkeling failOnNewColumns\ , worden kolommen met verschillende gegevenstypen gelezen, zoals null\ in plaats van een fout te genereren waarin wordt aangegeven dat het bestand niet kan worden gelezen. Deze leesbewerkingen mislukken en raden gebruikers aan om de rescuedDataColumn\ optie te gebruiken.
    • Automatisch laden doet nu het volgende.
      • Correct wordt gelezen en niet meer gered Integer, ShortByte typen als een van deze gegevenstypen zijn opgegeven, maar het Avro-bestand suggereert een van de andere twee typen.
      • Hiermee voorkomt u het lezen van intervaltypen als datum- of tijdstempeltypen om beschadigde datums te voorkomen.
      • Hiermee voorkomt u leestypen Decimal met lagere precisie.
    • [SPARK-43098][SQL] Er is een fout opgelost in COUNT de juistheid wanneer scalaire subquery wordt gegroepeerd op component.
    • [SPARK-43190][SQL] ListQuery.childOutput is nu consistent met secundaire uitvoer.
    • Beveiligingsupdates van het besturingssysteem.

  • 25 april 2023

    • Als een Parquet-bestand is gelezen met alleen de failOnUnknownFields optie of met automatisch laden in de modus voor schemaontwikkeling failOnNewColumns , worden kolommen met verschillende gegevenstypen gelezen, in null plaats van een fout te genereren waarin wordt aangegeven dat het bestand niet kan worden gelezen. Deze leesbewerkingen mislukken en raden gebruikers aan om de rescuedDataColumn optie te gebruiken.
    • Automatisch laadprogramma wordt nu correct gelezen en redt Integerniet meer , ShortByte typen als een van deze gegevenstypen zijn opgegeven. Het Parquet-bestand stelt een van de andere twee typen voor. Wanneer de opgeslagen gegevenskolom eerder werd ingeschakeld, zou het gegevenstype niet overeenkomen, ervoor zorgen dat kolommen worden gered, ook al waren ze leesbaar.
    • [SPARK-43009][SQL] Geparameteriseerd sql() met Any constanten.
    • [SPARK-42971][CORE] Wijzig deze optie om af te drukken workdir als appDirs null is wanneer de werkrol een gebeurtenis verwerkt WorkDirCleanup .
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 11 april 2023

    • Ondersteuning voor verouderde gegevensbronindelingen in de opdracht SYNC.
    • Lost een fout op in het gedrag %autoreload in notebooks die zich buiten een opslagplaats bevinden.
    • Er is een fout opgelost waarbij automatisch laden van schema's in een oneindige faillus kan worden uitgevoerd wanneer een nieuwe kolom wordt gedetecteerd in het schema van een geneste JSON-object.
    • [SPARK-42928][SQL] Wordt resolvePersistentFunction gesynchroniseerd.
    • [SPARK-42967][CORE] SparkListenerTaskStart.stageAttemptId Oplossingen wanneer een taak wordt gestart nadat de fase is geannuleerd.
    • Beveiligingsupdates van het besturingssysteem.

  • 29 maart 2023

    • Auto Loader activeert nu ten minste één synchrone RocksDB-logboekopruiming voor Trigger.AvailableNow streams om ervoor te zorgen dat het controlepunt regelmatig kan worden opgeschoond voor snellopende Automatische laadprogramma's. Dit kan ertoe leiden dat sommige streams langer duren voordat ze worden afgesloten, maar u bespaart de opslagkosten en verbetert de ervaring van het automatisch laden in toekomstige uitvoeringen.
    • U kunt nu een Delta-tabel wijzigen om ondersteuning toe te voegen aan tabelfuncties met behulp van DeltaTable.addFeatureSupport(feature_name).
    • [SPARK-42702][SPARK-42623][SQL] Ondersteuning voor geparameteriseerde query's in subquery en CTE
    • [SPARK-41162][SQL] Anti- en semi-join corrigeren voor self-join met aggregaties
    • [SPARK-42403][CORE] JsonProtocol moet null-JSON-tekenreeksen verwerken
    • [SPARK-42668][SS] Uitzondering vangen tijdens het sluiten van gecomprimeerde stream in HDFSStateStoreProvider afbreken
    • [SPARK-42794][SS] Verhoog de lockAcquireTimeoutMs tot 2 minuten voor het verkrijgen van de RocksDB-statusopslag in Structuurstreaming

  • 14 maart 2023

    • Er is een terminologiewijziging voor het toevoegen van functies aan een Delta-tabel met behulp van de tabeleigenschap. De voorkeurssyntaxis is nu 'delta.feature.featureName'='supported' in plaats van 'delta.feature.featureName'='enabled'. Voor compatibiliteit met eerdere versies werkt het gebruik 'delta.feature.featureName'='enabled' van nog steeds en blijft het werken.
    • [SPARK-42622][CORE] Vervanging in waarden uitschakelen
    • [SPARK-42534][SQL] Db2Dialect Limit-component herstellen
    • [SPARK-42635][SQL] Corrigeer de TimestampAdd-expressie.
    • [SPARK-42516][SQL] De configuratie van de sessietijdzone altijd vastleggen tijdens het maken van weergaven
    • [SPARK-42484] [SQL] Beter foutbericht OnveiligeRowUtils
    • [SPARK-41793][SQL] Onjuist resultaat voor vensterframes gedefinieerd door een bereikcomponent op grote decimalen
    • Beveiligingsupdates van het besturingssysteem.

  • 24 februari 2023

    • U kunt nu een uniforme set opties (host, port, database, , user) passwordgebruiken om verbinding te maken met de gegevensbronnen die worden ondersteund in Query Federation (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Opmerking: port dit is optioneel en gebruikt het standaardpoortnummer voor elke gegevensbron, indien niet opgegeven.

    Voorbeeld van configuratie van PostgreSQL-verbinding

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Voorbeeld van de configuratie van de Snowflake-verbinding

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PYTHON] Voorkom dat de configuratie van logboekregistratie van pyspark.pandas wordt onderbroken
    • [SPARK-42346][SQL] Afzonderlijke aggregaties herschrijven na samenvoegen van subquery
    • [SPARK-41990][SQL] Gebruiken FieldReference.column in plaats van apply in V1 naar V2-filterconversie
    • Herstellen [SPARK-41848][CORE] Taak over-gepland herstellen met TaskResourceProfile
    • [SPARK-42162] MultiCommutativeOp-expressie introduceren als geheugenoptimalisatie voor het canonicaliseren van grote structuren van commutatieve expressies
    • Beveiligingsupdates van het besturingssysteem.

  • 16 februari 2023

    • Sync-opdracht ondersteunt het synchroniseren van opnieuw gemaakte Hive Metastore-tabellen. Als een HMS-tabel eerder is synced naar Unity Catalog, maar vervolgens is verwijderd en opnieuw gemaakt, werkt een volgende hersynchronisatie in plaats van TABLE_ALREADY_EXISTS statuscode te genereren.
    • [SPARK-41219][SQL] IntegralDivide gebruikt decimal(1, 0) om 0 weer te geven
    • [SPARK-36173][CORE] Ondersteuning voor het ophalen van CPU-nummer in TaskContext
    • [SPARK-41848][CORE] Taak boven gepland herstellen met TaskResourceProfile
    • [SPARK-42286][SQL] Terugval naar het vorige codegen-codepad voor complexe expr met CAST

  • 31 januari 2023

    • Voor het maken van een schema met een gedefinieerde locatie moet de gebruiker nu SELECT- en MODIFY-bevoegdheden hebben voor ELK BESTAND.
    • [SPARK-41581][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1230
    • [SPARK-41996][SQL][SS] Kafka-test herstellen om verloren partities te verifiëren voor trage Kafka-bewerkingen
    • [SPARK-41580][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2137
    • [SPARK-41666][PYTHON] Ondersteuning voor geparameteriseerde SQL by sql()
    • [SPARK-41579][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1249
    • [SPARK-41573][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2136
    • [SPARK-41574][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2009
    • [SPARK-41049][Opvolgen] Een codesynchronisatieregressie voor ConvertToLocalRelation herstellen
    • [SPARK-41576][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2051
    • [SPARK-41572][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2149
    • [SPARK-41575][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2054
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 12.0 (EoS)

Zie Databricks Runtime 12.0 (EoS).

  • 15 juni 2023

    • Gefotoniseerd approx_count_distinct.
    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • [SPARK-43156][SPARK-43098][SQL] De fouttest scalaire subquery uitbreiden met decorrelateInnerQuery uitgeschakeld
    • [SPARK-43779][SQL] ParseToDate laadt EvalMode nu in de hoofdthread.
    • Beveiligingsupdates van het besturingssysteem.

  • 2 juni 2023

    • De JSON-parser in failOnUnknownFields de modus verwijdert een record in DROPMALFORMED de modus en mislukt rechtstreeks in FAILFAST de modus.
    • Verbeter de prestaties van incrementele updates met SHALLOW CLONE Iceberg en Parquet.
    • Er is een probleem opgelost in Auto Loader waarbij verschillende bronbestandsindelingen inconsistent waren toen het opgegeven schema geen uitgestelde partities had opgenomen. Dit probleem kan onverwachte fouten veroorzaken bij het lezen van bestanden met ontbrekende kolommen in het uitgestelde partitieschema.
    • [SPARK-42444][PYTHON] DataFrame.drop verwerkt nu dubbele kolommen correct.
    • [SPARK-43404][Backport] Sla het opnieuw gebruiken van het sst-bestand voor dezelfde versie van rocksDB-statusopslag over om te voorkomen dat de id niet overeenkomt.
    • [SPARK-43413][11.3-13.0][SQL] De null-baarheid van subquery ListQuery is opgelostIN.
    • [SPARK-43527][PYTHON] Opgelost catalog.listCatalogs in PySpark.
    • [SPARK-43522][SQL] Er is een probleem opgelost met het maken van de naam van de structkolom met de index van de matrix.
    • [SPARK-43541][SQL] Geef alle Project tags door bij het omzetten van expressies en ontbrekende kolommen.
    • [SPARK-43340][CORE] Er is een probleem opgelost met ontbrekend stacktraceringsveld in gebeurtenislogboeken.
    • [SPARK-42937][SQL] PlanSubqueries ingesteld op InSubqueryExec#shouldBroadcast waar.

  • 17 mei 2023

    • Parquet-scans zijn nu robuust tegen OOM's bij het scannen van uitzonderlijk gestructureerde bestanden door de batchgrootte dynamisch aan te passen. Bestandsmetagegevens worden geanalyseerd naar een preventieve lagere batchgrootte en worden opnieuw verlaagd bij nieuwe pogingen van taken als een definitief veiligheidsnet.
    • Als een Avro-bestand is gelezen met alleen de failOnUnknownFields\ optie of met autolader in de modus voor schemaontwikkeling failOnNewColumns\ , worden kolommen met verschillende gegevenstypen gelezen, zoals null\ in plaats van een fout te genereren waarin wordt aangegeven dat het bestand niet kan worden gelezen. Deze leesbewerkingen mislukken en raden gebruikers aan om de rescuedDataColumn\ optie te gebruiken.
    • Automatisch laden doet nu het volgende.
      • Correct wordt gelezen en niet meer gered Integer, ShortByte typen als een van deze gegevenstypen zijn opgegeven, maar het Avro-bestand suggereert een van de andere twee typen.
      • Hiermee voorkomt u het lezen van intervaltypen als datum- of tijdstempeltypen om beschadigde datums te voorkomen.
      • Hiermee voorkomt u leestypen Decimal met lagere precisie.
    • [SPARK-43172] [VERBINDING MAKEN] Stelt de host en het token beschikbaar vanuit de Spark Connect-client.
    • [SPARK-41520][SQL] Structuurpatroon AND_OR splitsen om te scheiden AND en OR.
    • [SPARK-43098][SQL] Er is een fout opgelost in COUNT de juistheid wanneer scalaire subquery wordt gegroepeerd op component.
    • [SPARK-43190][SQL] ListQuery.childOutput is nu consistent met secundaire uitvoer.
    • Beveiligingsupdates van het besturingssysteem.

  • 25 april 2023

    • Als een Parquet-bestand is gelezen met alleen de failOnUnknownFields optie of met automatisch laden in de modus voor schemaontwikkeling failOnNewColumns , worden kolommen met verschillende gegevenstypen gelezen, in null plaats van een fout te genereren waarin wordt aangegeven dat het bestand niet kan worden gelezen. Deze leesbewerkingen mislukken en raden gebruikers aan om de rescuedDataColumn optie te gebruiken.
    • Automatisch laadprogramma wordt nu correct gelezen en redt Integerniet meer , ShortByte typen als een van deze gegevenstypen zijn opgegeven. Het Parquet-bestand stelt een van de andere twee typen voor. Wanneer de opgeslagen gegevenskolom eerder werd ingeschakeld, zou het gegevenstype niet overeenkomen, ervoor zorgen dat kolommen worden gered, ook al waren ze leesbaar.
    • [SPARK-42971][CORE] Wijzigen om af te drukken workdir of appDirs null is wanneer werkrol een gebeurtenis verwerkt WorkDirCleanup
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 11 april 2023

    • Ondersteuning voor verouderde gegevensbronindelingen in SYNC opdracht.
    • Lost een fout op in het gedrag %autoreload in notebooks die zich buiten een opslagplaats bevinden.
    • Er is een fout opgelost waarbij automatisch laden van schema's in een oneindige faillus kan worden uitgevoerd wanneer een nieuwe kolom wordt gedetecteerd in het schema van een geneste JSON-object.
    • [SPARK-42928][SQL] Wordt resolvePersistentFunction gesynchroniseerd.
    • [SPARK-42967][CORE] SparkListenerTaskStart.stageAttemptId Oplossingen wanneer een taak wordt gestart nadat de fase is geannuleerd.
    • Beveiligingsupdates van het besturingssysteem.

  • 29 maart 2023

    • [SPARK-42794][SS] Verhoog de lockAcquireTimeoutMs tot 2 minuten voor het verkrijgen van de RocksDB-statusopslag in Structuurstreaming
    • [SPARK-41162][SQL] Anti- en semi-join corrigeren voor self-join met aggregaties
    • [SPARK-42403][CORE] JsonProtocol moet null-JSON-tekenreeksen verwerken
    • [SPARK-42668][SS] Uitzondering vangen tijdens het sluiten van gecomprimeerde stream in HDFSStateStoreProvider afbreken
    • Diverse bugfixes.

  • 14 maart 2023

    • [SPARK-42534][SQL] Db2Dialect Limit-component herstellen
    • [SPARK-42622][CORE] Vervanging in waarden uitschakelen
    • [SPARK-41793][SQL] Onjuist resultaat voor vensterframes gedefinieerd door een bereikcomponent op grote decimalen
    • [SPARK-42484] [SQL] Beter foutbericht OnveiligeRowUtils
    • [SPARK-42635][SQL] Corrigeer de TimestampAdd-expressie.
    • [SPARK-42516][SQL] De configuratie van de sessietijdzone altijd vastleggen tijdens het maken van weergaven
    • Beveiligingsupdates van het besturingssysteem.

  • 24 februari 2023

    • Gestandaardiseerde verbindingsopties voor queryfederatie

      U kunt nu een uniforme set opties (host, port, database, , user) passwordgebruiken om verbinding te maken met de gegevensbronnen die worden ondersteund in Query Federation (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Houd er rekening mee dat port dit optioneel is en dat het standaardpoortnummer voor elke gegevensbron wordt gebruikt als deze niet is opgegeven.

      Voorbeeld van configuratie van PostgreSQL-verbinding

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Voorbeeld van de configuratie van de Snowflake-verbinding

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • Herstellen [SPARK-41848][CORE] Taak over-gepland herstellen met TaskResourceProfile

    • [SPARK-42162] MultiCommutativeOp-expressie introduceren als geheugenoptimalisatie voor het canonicaliseren van grote structuren van commutatieve expressies

    • [SPARK-41990][SQL] Gebruiken FieldReference.column in plaats van apply in V1 naar V2-filterconversie

    • [SPARK-42346][SQL] Afzonderlijke aggregaties herschrijven na samenvoegen van subquery

    • Beveiligingsupdates van het besturingssysteem.

  • 16 februari 2023

    • Gebruikers kunnen nu bepaalde Delta-tabellen lezen en schrijven waarvoor Lezer versie 3 en Writer versie 7 is vereist, met behulp van Databricks Runtime 9.1 of hoger. Als u wilt slagen, moeten tabelfuncties in het protocol van de tabellen worden ondersteund door de huidige versie van Databricks Runtime.
    • Sync-opdracht ondersteunt het synchroniseren van opnieuw gemaakte Hive Metastore-tabellen. Als een HMS-tabel eerder is synced naar Unity Catalog, maar vervolgens is verwijderd en opnieuw gemaakt, werkt een volgende hersynchronisatie in plaats van TABLE_ALREADY_EXISTS statuscode te genereren.
    • [SPARK-36173][CORE] Ondersteuning voor het ophalen van CPU-nummer in TaskContext
    • [SPARK-42286][SQL] Terugval naar het vorige codegen-codepad voor complexe expr met CAST
    • [SPARK-41848][CORE] Taak boven gepland herstellen met TaskResourceProfile
    • [SPARK-41219][SQL] IntegralDivide gebruikt decimal(1, 0) om 0 weer te geven

  • 25 jan. 2023

    • [SPARK-41660][SQL] Metagegevenskolommen alleen doorgeven als ze worden gebruikt
    • [SPARK-41379][SS][PYTHON] Geef een gekloonde Spark-sessie op in DataFrame in de gebruikersfunctie voor foreachBatch-sink in PySpark
    • [SPARK-41669][SQL] Vroeg snoeien in canCollapseExpressions
    • Beveiligingsupdates van het besturingssysteem.

  • 18 januari 2023

    • REFRESH FUNCTION Sql-opdracht ondersteunt nu SQL-functies en SQL Table-functies. De opdracht kan bijvoorbeeld worden gebruikt om een permanente SQL-functie te vernieuwen die in een andere SQL-sessie is bijgewerkt.
    • De JDBC-gegevensbron (Java Database Connectivity) v1 biedt nu ondersteuning voor pushdown van LIMIT-componenten om de prestaties in query's te verbeteren. Deze functie is standaard ingeschakeld en kan worden uitgeschakeld met spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled ingesteld op false.
    • In clusters met verouderde tabel-ACL's hebt u nu de MODIFY_CLASSPATH bevoegdheid nodig om functies te maken die verwijzen naar JVM-klassen.
    • De JDBC-gegevensbron (Java Database Connectivity) v1 biedt nu ondersteuning voor pushdown van LIMIT-componenten om de prestaties in query's te verbeteren. Deze functie is standaard ingeschakeld en kan worden uitgeschakeld met spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled ingesteld op false.
    • Azure Synapse-connector retourneert nu een meer beschrijvend foutbericht wanneer een kolomnaam ongeldige tekens bevat, zoals witruimten of puntkomma's. In dergelijke gevallen wordt het volgende bericht geretourneerd: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • Spark structured streaming werkt nu met indeling ('deltasharing') in een deltadelingstabel als bron.
    • [SPARK-38277][SS] Schrijfbatch wissen na de doorvoer van de RocksDB-statusopslag
    • [SPARK-41733][SQL][SS] Op structuurpatroon gebaseerde pruning toepassen voor de regel ResolveWindowTime
    • [SPARK-39591][SS] Asynchroon bijhouden van voortgang
    • [SPARK-41339][SQL] Een RocksDB-schrijfbatch sluiten en opnieuw maken in plaats van alleen te wissen
    • [SPARK-41198][SS] Metrische gegevens in streamingquery oplossen met CTE- en DSv1-streamingbron
    • [SPARK-41539][SQL] Statistieken en beperkingen opnieuw toewijzen aan de hand van uitvoer in logisch plan voor LogicalRDD
    • [SPARK-41732][SQL][SS] Op structuurpatroon gebaseerde pruning toepassen voor de regel SessionWindowing
    • [SPARK-41862][SQL] Correctiefout met betrekking tot STANDAARDwaarden in Orc-lezer oplossen
    • [SPARK-41199][SS] Probleem met metrische gegevens oplossen wanneer de DSv1-streamingbron en de DSv2-streamingbron gezamenlijk worden gebruikt
    • [SPARK-41261][PYTHON][SS] Probleem opgelost voor applyInPandasWithState wanneer de kolommen met groeperingssleutels niet in volgorde van vroegste worden geplaatst
    • Beveiligingsupdates van het besturingssysteem.

  • 17 mei 2023

    • Parquet-scans zijn nu robuust tegen OOM's bij het scannen van uitzonderlijk gestructureerde bestanden door de batchgrootte dynamisch aan te passen. Bestandsmetagegevens worden geanalyseerd naar een preventieve lagere batchgrootte en worden opnieuw verlaagd bij nieuwe pogingen van taken als een definitief veiligheidsnet.
    • Er is een regressie opgelost waardoor Azure Databricks-taken behouden blijven nadat er geen verbinding is gemaakt met de metastore tijdens de initialisatie van het cluster.
    • [SPARK-41520][SQL] Structuurpatroon AND_OR splitsen om te scheiden AND en OR.
    • [SPARK-43190][SQL] ListQuery.childOutput is nu consistent met secundaire uitvoer.
    • Beveiligingsupdates van het besturingssysteem.

  • 25 april 2023

    • Als een Parquet-bestand is gelezen met alleen de failOnUnknownFields optie of met automatisch laden in de modus voor schemaontwikkeling failOnNewColumns , worden kolommen met verschillende gegevenstypen gelezen, in null plaats van een fout te genereren waarin wordt aangegeven dat het bestand niet kan worden gelezen. Deze leesbewerkingen mislukken en raden gebruikers aan om de rescuedDataColumn optie te gebruiken.
    • Automatisch laadprogramma wordt nu correct gelezen en redt Integerniet meer , ShortByte typen als een van deze gegevenstypen zijn opgegeven. Het Parquet-bestand stelt een van de andere twee typen voor. Wanneer de opgeslagen gegevenskolom eerder werd ingeschakeld, zou het gegevenstype niet overeenkomen, ervoor zorgen dat kolommen worden gered, ook al waren ze leesbaar.
    • [SPARK-42937][SQL] PlanSubqueries wordt nu ingesteld InSubqueryExec#shouldBroadcast op waar.
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 11 april 2023

    • Ondersteuning voor verouderde gegevensbronindelingen in de opdracht SYNC.
    • Lost een fout op in het gedrag %autoreload in notebooks die zich buiten een opslagplaats bevinden.
    • Er is een fout opgelost waarbij automatisch laden van schema's in een oneindige faillus kan worden uitgevoerd wanneer een nieuwe kolom wordt gedetecteerd in het schema van een geneste JSON-object.
    • [SPARK-42928][SQL] Zet resolvePersistentFunction gesynchroniseerd.
    • [SPARK-42967][CORE] Oplossing voor SparkListenerTaskStart.stageAttemptId wanneer een taak wordt gestart nadat de fase is geannuleerd.

  • 29 maart 2023

    • [SPARK-42794][SS] Verhoog de lockAcquireTimeoutMs tot 2 minuten voor het verkrijgen van de RocksDB-statusopslag in Structuurstreaming
    • [SPARK-42403][CORE] JsonProtocol moet null-JSON-tekenreeksen verwerken
    • [SPARK-42668][SS] Uitzondering vangen tijdens het sluiten van gecomprimeerde stream in HDFSStateStoreProvider afbreken
    • Beveiligingsupdates van het besturingssysteem.

  • 14 maart 2023

    • [SPARK-42635][SQL] Corrigeer de TimestampAdd-expressie.
    • [SPARK-41793][SQL] Onjuist resultaat voor vensterframes gedefinieerd door een bereikcomponent op grote decimalen
    • [SPARK-42484] [SQL] Beter foutbericht OnveiligeRowUtils
    • [SPARK-42534][SQL] Db2Dialect Limit-component herstellen
    • [SPARK-41162][SQL] Anti- en semi-join corrigeren voor self-join met aggregaties
    • [SPARK-42516][SQL] De configuratie van de sessietijdzone altijd vastleggen tijdens het maken van weergaven
    • Diverse bugfixes.

  • 28 februari 2023

    • Gestandaardiseerde verbindingsopties voor queryfederatie

      U kunt nu een uniforme set opties (host, port, database, , user) passwordgebruiken om verbinding te maken met de gegevensbronnen die worden ondersteund in Query Federation (PostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Opmerking: port dit is optioneel en gebruikt het standaardpoortnummer voor elke gegevensbron, indien niet opgegeven.

      Voorbeeld van configuratie van PostgreSQL-verbinding

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Voorbeeld van de configuratie van de Snowflake-verbinding

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL] Terugval naar het vorige codegen-codepad voor complexe expr met CAST

    • [SPARK-41989][PYTHON] Voorkom dat de configuratie van logboekregistratie van pyspark.pandas wordt onderbroken

    • [SPARK-42346][SQL] Afzonderlijke aggregaties herschrijven na samenvoegen van subquery

    • [SPARK-41360][CORE] Voorkom dat BlockManager opnieuw wordt geregistreerd als de uitvoerder verloren is gegaan

    • [SPARK-42162] MultiCommutativeOp-expressie introduceren als geheugenoptimalisatie voor het canonicaliseren van grote structuren van commutatieve expressies

    • [SPARK-41990][SQL] Gebruiken FieldReference.column in plaats van apply in V1 naar V2-filterconversie

    • Beveiligingsupdates van het besturingssysteem.

  • 16 februari 2023

    • Gebruikers kunnen nu bepaalde Delta-tabellen lezen en schrijven waarvoor Lezer versie 3 en Writer versie 7 is vereist, met behulp van Databricks Runtime 9.1 of hoger. Als u wilt slagen, moeten tabelfuncties in het protocol van de tabellen worden ondersteund door de huidige versie van Databricks Runtime.
    • Sync-opdracht ondersteunt het synchroniseren van opnieuw gemaakte Hive Metastore-tabellen. Als een HMS-tabel eerder is synced naar Unity Catalog, maar vervolgens is verwijderd en opnieuw gemaakt, werkt een volgende hersynchronisatie in plaats van TABLE_ALREADY_EXISTS statuscode te genereren.
    • [SPARK-41219][SQL] IntegralDivide gebruikt decimal(1, 0) om 0 weer te geven
    • [SPARK-40382][SQL] Afzonderlijke statistische expressies groeperen op semantisch equivalente onderliggende elementen in RewriteDistinctAggregates
    • Beveiligingsupdates van het besturingssysteem.

  • 25 jan. 2023

    • [SPARK-41379][SS][PYTHON] Geef een gekloonde Spark-sessie op in DataFrame in de gebruikersfunctie voor foreachBatch-sink in PySpark
    • [SPARK-41660][SQL] Metagegevenskolommen alleen doorgeven als ze worden gebruikt
    • [SPARK-41669][SQL] Vroeg snoeien in canCollapseExpressions
    • Diverse bugfixes.

  • 18 januari 2023

    • REFRESH FUNCTION Sql-opdracht ondersteunt nu SQL-functies en SQL Table-functies. De opdracht kan bijvoorbeeld worden gebruikt om een permanente SQL-functie te vernieuwen die in een andere SQL-sessie is bijgewerkt.
    • De JDBC-gegevensbron (Java Database Connectivity) v1 biedt nu ondersteuning voor pushdown van LIMIT-componenten om de prestaties in query's te verbeteren. Deze functie is standaard ingeschakeld en kan worden uitgeschakeld met spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled ingesteld op false.
    • De JDBC-gegevensbron (Java Database Connectivity) v1 biedt nu ondersteuning voor pushdown van LIMIT-componenten om de prestaties in query's te verbeteren. Deze functie is standaard ingeschakeld en kan worden uitgeschakeld met spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled ingesteld op false.
    • Azure Synapse-connector retourneert nu een meer beschrijvend foutbericht wanneer een kolomnaam ongeldige tekens bevat, zoals witruimten of puntkomma's. In dergelijke gevallen wordt het volgende bericht geretourneerd: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Metrische gegevens in streamingquery oplossen met CTE- en DSv1-streamingbron
    • [SPARK-41862][SQL] Correctiefout met betrekking tot STANDAARDwaarden in Orc-lezer oplossen
    • [SPARK-41539][SQL] Statistieken en beperkingen opnieuw toewijzen aan de hand van uitvoer in logisch plan voor LogicalRDD
    • [SPARK-39591][SS] Asynchroon bijhouden van voortgang
    • [SPARK-41199][SS] Probleem met metrische gegevens oplossen wanneer de DSv1-streamingbron en de DSv2-streamingbron gezamenlijk worden gebruikt
    • [SPARK-41261][PYTHON][SS] Probleem opgelost voor applyInPandasWithState wanneer de kolommen met groeperingssleutels niet in volgorde van vroegste worden geplaatst
    • [SPARK-41339][SQL] Een RocksDB-schrijfbatch sluiten en opnieuw maken in plaats van alleen te wissen
    • [SPARK-41732][SQL][SS] Op structuurpatroon gebaseerde pruning toepassen voor de regel SessionWindowing
    • [SPARK-38277][SS] Schrijfbatch wissen na de doorvoer van de RocksDB-statusopslag
    • Beveiligingsupdates van het besturingssysteem.

  • 29 november 2022

    • Gebruikers kunnen het gedrag van voorloop- en volgspaties configureren bij het schrijven van gegevens met behulp van de Redshift-connector. De volgende opties zijn toegevoegd voor het afhandelen van witruimten:
      • csvignoreleadingwhitespace, indien ingesteld op true, verwijdert voorloopspaties uit waarden tijdens schrijfbewerkingen wanneer tempformat deze is ingesteld CSV op of CSV GZIP. Witruimten worden bewaard wanneer de configuratie is ingesteld op false. De waarde is standaard true.
      • csvignoretrailingwhitespace, indien ingesteld op true, verwijdert volgspaties uit waarden tijdens schrijfbewerkingen wanneer tempformat deze is ingesteld op CSV of CSV GZIP. Witruimten worden bewaard wanneer de configuratie is ingesteld op false. De waarde is standaard true.
    • Er is een fout opgelost met JSON-parsering in Auto Loader wanneer alle kolommen werden achtergelaten als tekenreeksen (cloudFiles.inferColumnTypes was niet ingesteld of ingesteld op false) en de JSON geneste objecten bevatte.
    • Upgrade snowflake-jdbc van afhankelijkheid naar versie 3.13.22.
    • Tabeltypen van JDBC-tabellen zijn nu standaard EXTERN.
    • [SPARK-40906][SQL] Mode moet sleutels kopiëren voordat u in Kaart invoegt
    • Beveiligingsupdates van het besturingssysteem.

  • 15 november 2022

    • Tabel-ACL's en UC Shared-clusters staan nu de methode Dataset.toJSON toe vanuit Python.
    • [SPARK-40646] JSON-parsering voor structs, toewijzingen en matrices is opgelost, dus wanneer een deel van een record niet overeenkomt met het schema, kan de rest van de record nog steeds correct worden geparseerd in plaats van null-waarden te retourneren. Als u zich wilt aanmelden voor de verbeterde gedragsset spark.sql.json.enablePartialResults voor true. De vlag is standaard uitgeschakeld om het oorspronkelijke gedrag te behouden
    • [SPARK-40903][SQL] Vermijd het opnieuw ordenen van decimaal toevoegen voor canonicalisatie als het gegevenstype wordt gewijzigd
    • [SPARK-40618][SQL] Fout opgelost in de regel MergeScalarSubqueries met geneste subquery's met behulp van verwijzingstracering
    • [SPARK-40697][SQL] Tekenopvulling aan de leeszijde toevoegen om externe gegevensbestanden te behandelen
    • Beveiligingsupdates van het besturingssysteem.

  • 1 november 2022

    • Structured Streaming in Unity Catalog biedt nu ondersteuning voor het vernieuwen van tijdelijke toegangstokens. Streamingworkloads die worden uitgevoerd met Unity Catalog, mislukken niet meer na het verstrijken van het initiële token.
    • Er is een probleem opgelost waarbij als een Delta-tabel een door de gebruiker gedefinieerde kolom had met de naam _change_type, maar de gegevensfeed voor die tabel is uitgeschakeld, gegevens in die kolom onjuist zouden vullen met NULL-waarden bij het uitvoeren MERGE.
    • Er is een probleem opgelost waarbij het uitvoeren MERGE en gebruiken van exact 99 kolommen uit de bron in de voorwaarde tot gevolg kon hebben java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Er is een probleem opgelost met automatische laadprogramma's waarbij een bestand in dezelfde microbatch kan worden gedupliceerd wanneer allowOverwrites dit is ingeschakeld.
    • Apache commons-text bijgewerkt naar 1.10.0.
    • [SPARK-38881][DSTREAMS][KINESIS][PYSPARK] Ondersteuning toegevoegd voor CloudWatch MetricsLevel Config
    • [SPARK-40596][CORE] ExecutorDecommission vullen met berichten in ExecutorDecommissionInfo
    • [SPARK-40670][SS][PYTHON] NPE in applyInPandasWithState herstellen wanneer het invoerschema een of meer kolommen bevat die niet nullable zijn
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 11.2 (EoS)

Zie Databricks Runtime 11.2 (EoS).

  • 28 februari 2023
    • [SPARK-42286][SQL] Terugval naar het vorige codegen-codepad voor complexe expr met CAST
    • [SPARK-42346][SQL] Afzonderlijke aggregaties herschrijven na samenvoegen van subquery
    • Beveiligingsupdates van het besturingssysteem.
  • 16 februari 2023
    • Gebruikers kunnen nu bepaalde Delta-tabellen lezen en schrijven waarvoor Lezer versie 3 en Writer versie 7 is vereist, met behulp van Databricks Runtime 9.1 of hoger. Als u wilt slagen, moeten tabelfuncties in het protocol van de tabellen worden ondersteund door de huidige versie van Databricks Runtime.
    • Sync-opdracht ondersteunt het synchroniseren van opnieuw gemaakte Hive Metastore-tabellen. Als een HMS-tabel eerder is synced naar Unity Catalog, maar vervolgens is verwijderd en opnieuw gemaakt, werkt een volgende hersynchronisatie in plaats van TABLE_ALREADY_EXISTS statuscode te genereren.
    • [SPARK-41219][SQL] IntegralDivide gebruikt decimal(1, 0) om 0 weer te geven
    • Beveiligingsupdates van het besturingssysteem.
  • 31 januari 2023
    • Tabeltypen van JDBC-tabellen zijn nu standaard EXTERN.
    • [SPARK-41379][SS][PYTHON] Geef een gekloonde Spark-sessie op in DataFrame in de gebruikersfunctie voor foreachBatch-sink in PySpark
  • 18 januari 2023
    • Azure Synapse-connector retourneert nu een meer beschrijvend foutbericht wanneer een kolomnaam ongeldige tekens bevat, zoals witruimten of puntkomma's. In dergelijke gevallen wordt het volgende bericht geretourneerd: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Metrische gegevens in streamingquery oplossen met CTE- en DSv1-streamingbron
    • [SPARK-41862][SQL] Correctiefout met betrekking tot STANDAARDwaarden in Orc-lezer oplossen
    • [SPARK-41539][SQL] Statistieken en beperkingen opnieuw toewijzen aan de hand van uitvoer in logisch plan voor LogicalRDD
    • [SPARK-41199][SS] Probleem met metrische gegevens oplossen wanneer de DSv1-streamingbron en de DSv2-streamingbron gezamenlijk worden gebruikt
    • [SPARK-41339][SQL] Een RocksDB-schrijfbatch sluiten en opnieuw maken in plaats van alleen te wissen
    • [SPARK-41732][SQL][SS] Op structuurpatroon gebaseerde pruning toepassen voor de regel SessionWindowing
    • [SPARK-38277][SS] Schrijfbatch wissen na de doorvoer van de RocksDB-statusopslag
    • Beveiligingsupdates van het besturingssysteem.
  • 29 november 2022
    • Gebruikers kunnen het gedrag van voorloop- en volgspaties configureren bij het schrijven van gegevens met behulp van de Redshift-connector. De volgende opties zijn toegevoegd voor het afhandelen van witruimten:
      • csvignoreleadingwhitespace, indien ingesteld op true, verwijdert voorloopspaties uit waarden tijdens schrijfbewerkingen wanneer tempformat deze is ingesteld CSV op of CSV GZIP. Witruimten worden bewaard wanneer de configuratie is ingesteld op false. De waarde is standaard true.
      • csvignoretrailingwhitespace, indien ingesteld op true, verwijdert volgspaties uit waarden tijdens schrijfbewerkingen wanneer tempformat deze is ingesteld op CSV of CSV GZIP. Witruimten worden bewaard wanneer de configuratie is ingesteld op false. De waarde is standaard true.
    • Er is een fout opgelost met JSON-parsering in Auto Loader wanneer alle kolommen werden achtergelaten als tekenreeksen (cloudFiles.inferColumnTypes was niet ingesteld of ingesteld op false) en de JSON geneste objecten bevatte.
    • [SPARK-40906][SQL] Mode moet sleutels kopiëren voordat u in Kaart invoegt
    • Beveiligingsupdates van het besturingssysteem.
  • 15 november 2022
    • [SPARK-40646] JSON-parsering voor structs, toewijzingen en matrices is opgelost, dus wanneer een deel van een record niet overeenkomt met het schema, kan de rest van de record nog steeds correct worden geparseerd in plaats van null-waarden te retourneren. Als u zich wilt aanmelden voor het verbeterde gedrag, stelt u in op spark.sql.json.enablePartialResults true. De vlag is standaard uitgeschakeld om het oorspronkelijke gedrag te behouden
    • [SPARK-40618][SQL] Fout opgelost in de regel MergeScalarSubqueries met geneste subquery's met behulp van verwijzingstracering
    • [SPARK-40697][SQL] Tekenopvulling aan de leeszijde toevoegen om externe gegevensbestanden te behandelen
    • Beveiligingsupdates van het besturingssysteem.
  • 1 november 2022
    • Apache commons-text bijgewerkt naar 1.10.0.
    • Er is een probleem opgelost waarbij als een Delta-tabel een door de gebruiker gedefinieerde kolom had met de naam _change_type, maar de gegevensfeed voor die tabel is uitgeschakeld, gegevens in die kolom onjuist zouden vullen met NULL-waarden bij het uitvoeren MERGE.
    • Er is een probleem opgelost waarbij het uitvoeren MERGE en gebruiken van exact 99 kolommen uit de bron in de voorwaarde tot gevolg kon hebben java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Er is een probleem opgelost met automatische laadprogramma's waarbij een bestand in dezelfde microbatch kan worden gedupliceerd wanneer allowOverwrites dit is ingeschakeld
    • [SPARK-40596][CORE] ExecutorDecommission vullen met berichten in ExecutorDecommissionInfo
    • Beveiligingsupdates van het besturingssysteem.
  • 19 oktober 2022
    • Er is een probleem opgelost met COPY INTO-gebruik met tijdelijke referenties op clusters/magazijnen met Unity Catalog.
    • [SPARK-40213][SQL] Ondersteuning voor ASCII-waardeconversie voor Latijns-1 tekens
    • Beveiligingsupdates van het besturingssysteem.
  • 5 oktober 2022
    • Gebruikers kunnen spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") instellen om systeemeigen vermeldingen voor Automatisch laden in ADLS Gen2 opnieuw in te schakelen. Systeemeigen vermelding is eerder uitgeschakeld vanwege prestatieproblemen, maar heeft mogelijk geleid tot een toename van de opslagkosten voor klanten. Deze wijziging is geïmplementeerd in DBR 10.4 en 9.1 in de vorige onderhoudsupdate.
    • [SPARK-40315][SQL]Ondersteuning voor URL-codering/decoderen als ingebouwde functie en opsnijdende URL-gerelateerde functies
    • [SPARK-40156][SQL]url_decode() moet de foutklasse retourneren
    • [SPARK-40169] Push Parquet-filters niet zonder verwijzing naar het gegevensschema
    • [SPARK-40460][SS] Metrische streaminggegevens herstellen bij het selecteren _metadata
    • [SPARK-40468][SQL] Kolomsnoeien in CSV herstellen wanneer _corrupt_record is geselecteerd
    • [SPARK-40055][SQL] listCatalogs moet ook spark_catalog retourneren, zelfs wanneer spark_catalog implementatie standaardSessionCatalog is
    • Beveiligingsupdates van het besturingssysteem.
  • 22 september 2022
    • [SPARK-40315][SQL] HashCode() toevoegen voor Literal of ArrayBasedMapData
    • [SPARK-40389][SQL] Decimalen kunnen niet worden geopcast als integrale typen als de cast overloop kan uitvoeren
    • [SPARK-40380][SQL] Constant vouwen van InvokeLike herstellen om te voorkomen dat niet-serialiseerbare letterlijke waarde in het plan is ingesloten
    • [SPARK-40066][SQL][OPVOLGEN] Controleer of ElementAt is opgelost voordat het bijbehorende dataType wordt opgehaald
    • [SPARK-40109][SQL] Nieuwe SQL-functie: get()
    • [SPARK-40066][SQL] ANSI-modus: retourneer altijd null voor ongeldige toegang tot de kaartkolom
    • [SPARK-40089][SQL] Sorteren voor sommige decimale typen oplossen
    • [SPARK-39887][SQL] RemoveRedundantAliases moet aliassen behouden die de uitvoer van projectieknooppunten uniek maken
    • [SPARK-40152][SQL] Probleem met compilatie van split_part codegen oplossen
    • [SPARK-40235][CORE] Onderbreekbare vergrendeling gebruiken in plaats van gesynchroniseerd in Executor.updateDependencies()
    • [SPARK-40212][SQL] SparkSQL castPartValue verwerkt byte, short of float niet goed
    • [SPARK-40218][SQL] GROEPERINGSSETS moeten de groeperingskolommen behouden
    • [SPARK-35542][ML] Oplossing: Bucketizer gemaakt voor meerdere kolommen met parameters
    • [SPARK-40079] Imputer inputCols-validatie voor lege invoercase toevoegen
    • [SPARK-39912]SPARK-39828[SQL] CatalogImpl verfijnen

Databricks Runtime 11.1 (EoS)

Zie Databricks Runtime 11.1 (EoS).

  • 31 januari 2023

    • [SPARK-41379][SS][PYTHON] Geef een gekloonde Spark-sessie op in DataFrame in de gebruikersfunctie voor foreachBatch-sink in PySpark
    • Diverse bugfixes.

  • 18 januari 2023

    • Azure Synapse-connector retourneert nu een meer beschrijvend foutbericht wanneer een kolomnaam ongeldige tekens bevat, zoals witruimten of puntkomma's. In dergelijke gevallen wordt het volgende bericht geretourneerd: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace.
    • [SPARK-41198][SS] Metrische gegevens in streamingquery oplossen met CTE- en DSv1-streamingbron
    • [SPARK-41862][SQL] Correctiefout met betrekking tot STANDAARDwaarden in Orc-lezer oplossen
    • [SPARK-41199][SS] Probleem met metrische gegevens oplossen wanneer de DSv1-streamingbron en de DSv2-streamingbron gezamenlijk worden gebruikt
    • [SPARK-41339][SQL] Een RocksDB-schrijfbatch sluiten en opnieuw maken in plaats van alleen te wissen
    • [SPARK-41732][SQL][SS] Op structuurpatroon gebaseerde pruning toepassen voor de regel SessionWindowing
    • [SPARK-38277][SS] Schrijfbatch wissen na de doorvoer van de RocksDB-statusopslag
    • Beveiligingsupdates van het besturingssysteem.

  • 29 november 2022

    • Gebruikers kunnen het gedrag van voorloop- en volgspaties configureren bij het schrijven van gegevens met behulp van de Redshift-connector. De volgende opties zijn toegevoegd voor het afhandelen van witruimten:
      • csvignoreleadingwhitespace, indien ingesteld op true, verwijdert voorloopspaties uit waarden tijdens schrijfbewerkingen wanneer tempformat deze is ingesteld CSV op of CSV GZIP. Witruimten worden bewaard wanneer de configuratie is ingesteld op false. De waarde is standaard true.
      • csvignoretrailingwhitespace, indien ingesteld op true, verwijdert volgspaties uit waarden tijdens schrijfbewerkingen wanneer tempformat deze is ingesteld op CSV of CSV GZIP. Witruimten worden bewaard wanneer de configuratie is ingesteld op false. De waarde is standaard true.
    • Er is een fout opgelost met JSON-parsering in Auto Loader wanneer alle kolommen werden achtergelaten als tekenreeksen (cloudFiles.inferColumnTypes was niet ingesteld of ingesteld op false) en de JSON geneste objecten bevatte.
    • [SPARK-39650][SS] Een onjuist waardeschema corrigeren in streamingontdubbeling met compatibiliteit met eerdere versies
    • Beveiligingsupdates van het besturingssysteem.

  • 15 november 2022

    • [SPARK-40646] JSON-parsering voor structs, toewijzingen en matrices is opgelost, dus wanneer een deel van een record niet overeenkomt met het schema, kan de rest van de record nog steeds correct worden geparseerd in plaats van null-waarden te retourneren. Als u zich wilt aanmelden voor het verbeterde gedrag, stelt u in op spark.sql.json.enablePartialResults true. De vlag is standaard uitgeschakeld om het oorspronkelijke gedrag te behouden
    • Beveiligingsupdates van het besturingssysteem.

  • 1 november 2022

    • Apache commons-text bijgewerkt naar 1.10.0.
    • Er is een probleem opgelost waarbij als een Delta-tabel een door de gebruiker gedefinieerde kolom had met de naam _change_type, maar de gegevensfeed voor die tabel is uitgeschakeld, gegevens in die kolom onjuist zouden vullen met NULL-waarden bij het uitvoeren MERGE.
    • Er is een probleem opgelost waarbij het uitvoeren MERGE en gebruiken van exact 99 kolommen uit de bron in de voorwaarde tot gevolg kon hebben java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow.
    • Er is een probleem opgelost met automatische laadprogramma's waarbij een bestand in dezelfde microbatch kan worden gedupliceerd wanneer allowOverwrites dit is ingeschakeld
    • [SPARK-40697][SQL] Tekenopvulling aan de leeszijde toevoegen om externe gegevensbestanden te behandelen
    • [SPARK-40596][CORE] ExecutorDecommission vullen met berichten in ExecutorDecommissionInfo
    • Beveiligingsupdates van het besturingssysteem.

  • 18 oktober 2022

    • Er is een probleem opgelost met COPY INTO-gebruik met tijdelijke referenties op clusters/magazijnen met Unity Catalog.
    • [SPARK-40213][SQL] Ondersteuning voor ASCII-waardeconversie voor Latijns-1 tekens
    • Beveiligingsupdates van het besturingssysteem.

  • woensdag 5 oktober 2022

    • Gebruikers kunnen spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") instellen om systeemeigen vermeldingen voor Automatisch laden in ADLS Gen2 opnieuw in te schakelen. Systeemeigen vermelding is eerder uitgeschakeld vanwege prestatieproblemen, maar heeft mogelijk geleid tot een toename van de opslagkosten voor klanten. Deze wijziging is geïmplementeerd in DBR 10.4 en 9.1 in de vorige onderhoudsupdate.
    • [SPARK-40169] Push Parquet-filters niet zonder verwijzing naar het gegevensschema
    • [SPARK-40460][SS] Metrische streaminggegevens herstellen bij het selecteren _metadata
    • [SPARK-40468][SQL] Kolomsnoeien in CSV herstellen wanneer _corrupt_record is geselecteerd
    • [SPARK-40055][SQL] listCatalogs moet ook spark_catalog retourneren, zelfs wanneer spark_catalog implementatie standaardSessionCatalog is
    • Beveiligingsupdates van het besturingssysteem.

  • 22 september 2022

    • [SPARK-40315][SQL] HashCode() toevoegen voor Literal of ArrayBasedMapData
    • [SPARK-40380][SQL] Constant vouwen van InvokeLike herstellen om te voorkomen dat niet-serialiseerbare letterlijke waarde in het plan is ingesloten
    • [SPARK-40089][SQL] Sorteren voor sommige decimale typen oplossen
    • [SPARK-39887][SQL] RemoveRedundantAliases moet aliassen behouden die de uitvoer van projectieknooppunten uniek maken
    • [SPARK-40152][SQL] Probleem met compilatie van split_part codegen oplossen

  • 6 september 2022

    • We hebben het machtigingsmodel bijgewerkt in Table Access Controls (Table ACL's), zodat alleen DE machtigingen WIJZIGEN nodig zijn om het schema of de tabeleigenschappen van een tabel te wijzigen met ALTER TABLE. Voorheen vereisten deze bewerkingen een gebruiker om eigenaar te zijn van de tabel. Eigendom is nog steeds vereist om machtigingen voor een tabel te verlenen, de eigenaar te wijzigen, de locatie te wijzigen of de naam ervan te wijzigen. Door deze wijziging wordt het machtigingsmodel voor tabel-ACL's consistenter met Unity Catalog.
    • [SPARK-40235][CORE] Onderbreekbare vergrendeling gebruiken in plaats van gesynchroniseerd in Executor.updateDependencies()
    • [SPARK-40212][SQL] SparkSQL castPartValue verwerkt byte, short of float niet goed
    • [SPARK-40218][SQL] GROEPERINGSSETS moeten de groeperingskolommen behouden
    • [SPARK-39976][SQL] ArrayIntersect moet null in linkerexpressie correct verwerken
    • [SPARK-40053][CORE][SQL][TESTS] Toevoegen assume aan dynamische annuleringscases waarvoor python-runtimeomgeving is vereist
    • [SPARK-35542][CORE][ML] Oplossing: Bucketizer gemaakt voor meerdere kolommen met parameters splitsArray, inputCols en outputCols kunnen niet worden geladen nadat deze zijn opgeslagen
    • [SPARK-40079][CORE] Imputer inputCols-validatie voor lege invoercase toevoegen

  • 24 augustus 2022

    • Shares, providers en ontvangers ondersteunen nu SQL-opdrachten om eigenaren te wijzigen, opmerkingen te maken, de naam te wijzigen
    • [SPARK-39983][CORE][SQL] Niet-geserialiseerde broadcastrelaties niet in de cache opslaan op het stuurprogramma
    • [SPARK-39912][SPARK-39828][SQL] CatalogImpl verfijnen
    • [SPARK-39775][CORE][AVRO] Standaardwaarden valideren uitschakelen bij het parseren van Avro-schema's
    • [SPARK-39806] Het probleem opgelost bij query's die toegang hebben tot het vastlopen van metagegevens in gepartitioneerde tabellen
    • [SPARK-39867][SQL] Globale limiet mag OrderPreservingUnaryNode niet overnemen
    • [SPARK-39962][PYTHON][SQL] Projectie toepassen wanneer groepskenmerken leeg zijn
    • [SPARK-39839][SQL] Speciale case van null-variabele lengte decimaal met niet-nul offsetAndSize in de structurele integriteitscontrole Van OnveiligRow verwerken
    • [SPARK-39713][SQL] ANSI-modus: suggesties toevoegen voor het gebruik van try_element_at voor INVALID_ARRAY_INDEX fout
    • [SPARK-39847][SS] Racevoorwaarde herstellen in RocksDBLoader.loadLibrary() als de aanroeperthread wordt onderbroken
    • [SPARK-39731][SQL] Probleem opgelost in CSV- en JSON-gegevensbronnen bij het parseren van datums in de indeling 'yyyyMMdd' met gecorrigeerd tijdparserbeleid
    • Beveiligingsupdates van het besturingssysteem.

  • 10 augustus 2022

    • Voor Delta-tabellen met toegangsbeheer voor tabellen, automatische schemaontwikkeling via DML-instructies, zoals INSERT en MERGE is deze nu beschikbaar voor alle gebruikers met MODIFY machtigingen voor dergelijke tabellen. Daarnaast worden machtigingen die nodig zijn om de evolutie COPY INTO van het schema uit te voeren, nu verlaagd van OWNER naar voor MODIFY consistentie met andere opdrachten. Deze wijzigingen zorgen ervoor dat het ACL-beveiligingsmodel van de tabel consistenter is met het Unity Catalog-beveiligingsmodel en met andere bewerkingen, zoals het vervangen van een tabel.
    • [SPARK-39889] Het foutbericht van deling verbeteren door 0
    • [SPARK-39795] [SQL] Nieuwe SQL-functie: try_to_timestamp
    • [SPARK-39749] Gebruik altijd tekenreeksweergave zonder opmaak voor het casten van decimalen als tekenreeks onder de ANSI-modus
    • [SPARK-39625] Naam van df.as wijzigen in df.to
    • [SPARK-39787] [SQL] Foutklasse gebruiken in de parseringsfout van functie to_timestamp
    • [SPARK-39625] [SQL] Dataset.as(StructType) toevoegen
    • [SPARK-39689] Ondersteuning voor twee tekens lineSep in CSV-gegevensbron
    • [SPARK-39579] [SQL][PYTHON][R] ListFunctions/getFunction/functionExists compatibel maken met 3 laagnaamruimte
    • [SPARK-39702] [CORE] Geheugenoverhead van TransportCipher$EncryptedMessage verminderen met behulp van een gedeelde byteRawChannel
    • [SPARK-39575] [AVRO] ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39265] [SQL] Testfout oplossen wanneer SPARK_ANSI_SQL_MODE is ingeschakeld
    • [SPARK-39441] [SQL] DeduplicateRelations versnellen
    • [SPARK-39497] [SQL] De analyse-uitzondering van ontbrekende kaartsleutelkolom verbeteren
    • [SPARK-39476] [SQL] Cast-uitpak optimaliseren uitschakelen bij het gieten van Long naar Float/Double of van Integer naar Float
    • [SPARK-39434] [SQL] Runtimefoutquerycontext opgeven wanneer de matrixindex buiten de grenzen valt

Databricks Runtime 11.0 (EoS)

Zie Databricks Runtime 11.0 (EoS).

  • 29 november 2022
    • Gebruikers kunnen het gedrag van voorloop- en volgspaties configureren bij het schrijven van gegevens met behulp van de Redshift-connector. De volgende opties zijn toegevoegd voor het afhandelen van witruimten:
      • csvignoreleadingwhitespace, indien ingesteld op true, verwijdert voorloopspaties uit waarden tijdens schrijfbewerkingen wanneer tempformat deze is ingesteld CSV op of CSV GZIP. Witruimten worden bewaard wanneer de configuratie is ingesteld op false. De waarde is standaard true.
      • csvignoretrailingwhitespace, indien ingesteld op true, verwijdert volgspaties uit waarden tijdens schrijfbewerkingen wanneer tempformat deze is ingesteld op CSV of CSV GZIP. Witruimten worden bewaard wanneer de configuratie is ingesteld op false. De waarde is standaard true.
    • Er is een fout opgelost met JSON-parsering in Auto Loader wanneer alle kolommen werden achtergelaten als tekenreeksen (cloudFiles.inferColumnTypes was niet ingesteld of ingesteld op false) en de JSON geneste objecten bevatte.
    • [SPARK-39650][SS] Een onjuist waardeschema corrigeren in streamingontdubbeling met compatibiliteit met eerdere versies
    • Beveiligingsupdates van het besturingssysteem.
  • 15 november 2022
    • [SPARK-40646] JSON-parsering voor structs, toewijzingen en matrices is opgelost, dus wanneer een deel van een record niet overeenkomt met het schema, kan de rest van de record nog steeds correct worden geparseerd in plaats van null-waarden te retourneren. Als u zich wilt aanmelden voor het verbeterde gedrag, stelt u in op spark.sql.json.enablePartialResults true. De vlag is standaard uitgeschakeld om het oorspronkelijke gedrag te behouden.
  • 1 november 2022
    • Apache commons-text bijgewerkt naar 1.10.0.
    • Er is een probleem opgelost waarbij als een Delta-tabel een door de gebruiker gedefinieerde kolom had met de naam _change_type, maar de gegevensfeed voor die tabel is uitgeschakeld, gegevens in die kolom onjuist zouden vullen met NULL-waarden bij het uitvoeren MERGE.
    • Er is een probleem opgelost met automatische laadprogramma's waarbij een bestand in dezelfde microbatch kan worden gedupliceerd wanneer allowOverwrites dit is ingeschakeld
    • [SPARK-40697][SQL] Tekenopvulling aan de leeszijde toevoegen om externe gegevensbestanden te behandelen
    • [SPARK-40596][CORE] ExecutorDecommission vullen met berichten in ExecutorDecommissionInfo
    • Beveiligingsupdates van het besturingssysteem.
  • 18 oktober 2022
    • [SPARK-40213][SQL] Ondersteuning voor ASCII-waardeconversie voor Latijns-1 tekens
    • Beveiligingsupdates van het besturingssysteem.
  • 5 oktober 2022
    • Gebruikers kunnen spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") instellen om systeemeigen vermeldingen voor Automatisch laden in ADLS Gen2 opnieuw in te schakelen. Systeemeigen vermelding is eerder uitgeschakeld vanwege prestatieproblemen, maar heeft mogelijk geleid tot een toename van de opslagkosten voor klanten. Deze wijziging is geïmplementeerd in DBR 10.4 en 9.1 in de vorige onderhoudsupdate.
    • [SPARK-40169] Push Parquet-filters niet zonder verwijzing naar het gegevensschema
    • [SPARK-40460][SS] Metrische streaminggegevens herstellen bij het selecteren _metadata
    • [SPARK-40468][SQL] Kolomsnoeien in CSV herstellen wanneer _corrupt_record is geselecteerd
    • Beveiligingsupdates van het besturingssysteem.
  • 22 september 2022
    • [SPARK-40315][SQL] HashCode() toevoegen voor Literal of ArrayBasedMapData
    • [SPARK-40380][SQL] Constant vouwen van InvokeLike herstellen om te voorkomen dat niet-serialiseerbare letterlijke waarde in het plan is ingesloten
    • [SPARK-40089][SQL] Sorteren voor sommige decimale typen oplossen
    • [SPARK-39887][SQL] RemoveRedundantAliases moet aliassen behouden die de uitvoer van projectieknooppunten uniek maken
    • [SPARK-40152][SQL] Probleem met compilatie van split_part codegen oplossen
  • 6 september 2022
    • [SPARK-40235][CORE] Onderbreekbare vergrendeling gebruiken in plaats van gesynchroniseerd in Executor.updateDependencies()
    • [SPARK-40212][SQL] SparkSQL castPartValue verwerkt byte, short of float niet goed
    • [SPARK-40218][SQL] GROEPERINGSSETS moeten de groeperingskolommen behouden
    • [SPARK-39976][SQL] ArrayIntersect moet null in linkerexpressie correct verwerken
    • [SPARK-40053][CORE][SQL][TESTS] Toevoegen assume aan dynamische annuleringscases waarvoor python-runtimeomgeving is vereist
    • [SPARK-35542][CORE][ML] Oplossing: Bucketizer gemaakt voor meerdere kolommen met parameters splitsArray, inputCols en outputCols kunnen niet worden geladen nadat deze zijn opgeslagen
    • [SPARK-40079][CORE] Imputer inputCols-validatie voor lege invoercase toevoegen
  • 24 augustus 2022
    • [SPARK-39983][CORE][SQL] Niet-geserialiseerde broadcastrelaties niet in de cache opslaan op het stuurprogramma
    • [SPARK-39775][CORE][AVRO] Standaardwaarden valideren uitschakelen bij het parseren van Avro-schema's
    • [SPARK-39806] Het probleem opgelost bij query's die toegang hebben tot het vastlopen van metagegevens in gepartitioneerde tabellen
    • [SPARK-39867][SQL] Globale limiet mag OrderPreservingUnaryNode niet overnemen
    • [SPARK-39962][PYTHON][SQL] Projectie toepassen wanneer groepskenmerken leeg zijn
    • Beveiligingsupdates van het besturingssysteem.
  • 9 augustus 2022
    • [SPARK-39713][SQL] ANSI-modus: suggesties toevoegen voor het gebruik van try_element_at voor INVALID_ARRAY_INDEX fout
    • [SPARK-39847] Racevoorwaarde herstellen in RocksDBLoader.loadLibrary() als de aanroeperthread wordt onderbroken
    • [SPARK-39731][SQL] Probleem opgelost in CSV- en JSON-gegevensbronnen bij het parseren van datums in de indeling 'yyyyMMdd' met gecorrigeerd tijdparserbeleid
    • [SPARK-39889] Het foutbericht van deling verbeteren door 0
    • [SPARK-39795][SQL] Nieuwe SQL-functie: try_to_timestamp
    • [SPARK-39749] Gebruik altijd tekenreeksweergave zonder opmaak voor het casten van decimalen als tekenreeks onder de ANSI-modus
    • [SPARK-39625][SQL] Dataset.to(StructType) toevoegen
    • [SPARK-39787][SQL] Foutklasse gebruiken in de parseringsfout van functie to_timestamp
    • Beveiligingsupdates van het besturingssysteem.
  • 27 juli 2022
    • [SPARK-39689]Ondersteuning voor twee tekens lineSep in CSV-gegevensbron
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded moet thread-safe zijn
    • [SPARK-39702][CORE] Geheugenoverhead van TransportCipher$EncryptedMessage verminderen met behulp van een gedeelde byteRawChannel
    • [SPARK-39575][AVRO] ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39497][SQL] De analyse-uitzondering van ontbrekende kaartsleutelkolom verbeteren
    • [SPARK-39441][SQL] DeduplicateRelations versnellen
    • [SPARK-39476][SQL] Cast-uitpak optimaliseren uitschakelen bij het gieten van Long naar Float/Double of van Integer naar Float
    • [SPARK-39434][SQL] Runtimefoutquerycontext opgeven wanneer de matrixindex buiten de grenzen valt
    • [SPARK-39570][SQL] Inlinetabel moet expressies met alias toestaan
    • Beveiligingsupdates van het besturingssysteem.
  • 13 juli 2022
    • Zorg ervoor dat de Delta MERGE-bewerking consistent is wanneer de bron niet-deterministisch is.
    • Er is een probleem opgelost voor de cloud_files_state TVF bij uitvoering op niet-DBFS-paden.
    • Het gebruik van systeemeigen cloud-API's voor adreslijstvermelding in Azure is uitgeschakeld.
    • [SPARK-38796][SQL] Functies voor to_number en try_to_number bijwerken om pull-aanvraag met positieve getallen toe te staan
    • [SPARK-39272][SQL] De beginpositie van de querycontext verhogen met 1
    • [SPARK-39419][SQL] MatrixSort herstellen om een uitzondering te genereren wanneer de comparator null retourneert
    • Beveiligingsupdates van het besturingssysteem.
  • 5 juli 2022
    • Verbetering van foutberichten voor een reeks foutklassen.
    • [SPARK-39451][SQL] Ondersteuning voor cast-intervallen naar integralen in ANSI-modus
    • [SPARK-39361] Gebruik het uitgebreide conversiepatroon van Log4J2 niet in standaardconfiguraties voor logboekregistratie
    • [SPARK-39354][SQL] Zorg ervoor dat deze wordt weergegevenTable or view not found, zelfs als er tegelijkertijd aan is dataTypeMismatchError gerelateerd Filter
    • [SPARK-38675][CORE] Race herstellen tijdens ontgrendelen in BlockInfoManager
    • [SPARK-39392][SQL] ANSI-foutberichten verfijnen voor try_* functiehints
    • [SPARK-39214][SQL][3.3] Fouten met betrekking tot CAST verbeteren
    • [SPARK-37939][SQL] Foutklassen gebruiken in de parseringsfouten van eigenschappen
    • [SPARK-39085][SQL] Het foutbericht INCONSISTENT_BEHAVIOR_CROSS_VERSION naar error-classes.json verplaatsen
    • [SPARK-39376][SQL] Dubbele kolommen verbergen in steruitbreiding van subqueryalias van NATURAL/USING JOIN
    • [SPARK-39283][CORE] Impasse tussen TaskMemoryManager en UnsafeExternalSorter.SpillableIterator oplossen
    • [SPARK-39285][SQL] Spark mag veldnamen niet controleren bij het lezen van bestanden
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 10.5 (EoS)

Zie Databricks Runtime 10.5 (EoS).

  • 1 november 2022
    • Er is een probleem opgelost waarbij als een Delta-tabel een door de gebruiker gedefinieerde kolom had met de naam _change_type, maar de gegevensfeed voor die tabel is uitgeschakeld, gegevens in die kolom onjuist zouden vullen met NULL-waarden bij het uitvoeren MERGE.
    • [SPARK-40697][SQL] Tekenopvulling aan de leeszijde toevoegen om externe gegevensbestanden te behandelen
    • [SPARK-40596][CORE] ExecutorDecommission vullen met berichten in ExecutorDecommissionInfo
    • Beveiligingsupdates van het besturingssysteem.
  • 18 oktober 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 5 oktober 2022
    • Gebruikers kunnen spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") instellen om systeemeigen vermeldingen voor Automatisch laden in ADLS Gen2 opnieuw in te schakelen. Systeemeigen vermelding is eerder uitgeschakeld vanwege prestatieproblemen, maar heeft mogelijk geleid tot een toename van de opslagkosten voor klanten. Deze wijziging is geïmplementeerd in DBR 10.4 en 9.1 in de vorige onderhoudsupdate.
    • reload4j is bijgewerkt naar 1.2.19 om beveiligingsproblemen op te lossen.
    • [SPARK-40460][SS] Metrische streaminggegevens herstellen bij het selecteren _metadata
    • [SPARK-40468][SQL] Kolomsnoeien in CSV herstellen wanneer _corrupt_record is geselecteerd
    • Beveiligingsupdates van het besturingssysteem.
  • 22 september 2022
    • [SPARK-40315][SQL] HashCode() toevoegen voor Literal of ArrayBasedMapData
    • [SPARK-40213][SQL] Ondersteuning voor ASCII-waardeconversie voor Latijns-1 tekens
    • [SPARK-40380][SQL] Constant vouwen van InvokeLike herstellen om te voorkomen dat niet-serialiseerbare letterlijke waarde in het plan is ingesloten
    • [SPARK-38404][SQL] CTE-resolutie verbeteren wanneer een geneste CTE verwijst naar een buitenste CTE
    • [SPARK-40089][SQL] Sorteren voor sommige decimale typen oplossen
    • [SPARK-39887][SQL] RemoveRedundantAliases moet aliassen behouden die de uitvoer van projectieknooppunten uniek maken
    • Beveiligingsupdates van het besturingssysteem.
  • 6 september 2022
    • [SPARK-40235][CORE] Onderbreekbare vergrendeling gebruiken in plaats van gesynchroniseerd in Executor.updateDependencies()
    • [SPARK-39976][SQL] ArrayIntersect moet null in linkerexpressie correct verwerken
    • [SPARK-40053][CORE][SQL][TESTS] Toevoegen assume aan dynamische annuleringscases waarvoor python-runtimeomgeving is vereist
    • [SPARK-35542][CORE][ML] Oplossing: Bucketizer gemaakt voor meerdere kolommen met parameters splitsArray, inputCols en outputCols kunnen niet worden geladen nadat deze zijn opgeslagen
    • [SPARK-40079][CORE] Imputer inputCols-validatie voor lege invoercase toevoegen
  • 24 augustus 2022
    • [SPARK-39983][CORE][SQL] Niet-geserialiseerde broadcastrelaties niet in de cache opslaan op het stuurprogramma
    • [SPARK-39775][CORE][AVRO] Standaardwaarden valideren uitschakelen bij het parseren van Avro-schema's
    • [SPARK-39806] Het probleem opgelost bij query's die toegang hebben tot het vastlopen van metagegevens in gepartitioneerde tabellen
    • [SPARK-39962][PYTHON][SQL] Projectie toepassen wanneer groepskenmerken leeg zijn
    • [SPARK-37643][SQL] wanneer charVarcharAsString waar is, moet voor tekengegevenstypepredicaatquery rpaddingsregel overslaan
    • Beveiligingsupdates van het besturingssysteem.
  • 9 augustus 2022
    • [SPARK-39847] Racevoorwaarde herstellen in RocksDBLoader.loadLibrary() als de aanroeperthread wordt onderbroken
    • [SPARK-39731][SQL] Probleem opgelost in CSV- en JSON-gegevensbronnen bij het parseren van datums in de indeling 'yyyyMMdd' met gecorrigeerd tijdparserbeleid
    • Beveiligingsupdates van het besturingssysteem.
  • 27 juli 2022
    • [SPARK-39625][SQL] Dataset.as(StructType) toevoegen
    • [SPARK-39689]Ondersteuning voor twee tekens lineSep in CSV-gegevensbron
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded moet thread-safe zijn
    • [SPARK-39570][SQL] Inlinetabel moet expressies met alias toestaan
    • [SPARK-39702][CORE] Geheugenoverhead van TransportCipher$EncryptedMessage verminderen met behulp van een gedeelde byteRawChannel
    • [SPARK-39575][AVRO] ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
    • [SPARK-39476][SQL] Cast-uitpak optimaliseren uitschakelen bij het gieten van Long naar Float/Double of van Integer naar Float
    • Beveiligingsupdates van het besturingssysteem.
  • 13 juli 2022
    • Zorg ervoor dat de Delta MERGE-bewerking consistent is wanneer de bron niet-deterministisch is.
    • [SPARK-39355][SQL] Eén kolom gebruikt aan citeren om UnresolvedAttribute samen te stellen
    • [SPARK-39548][SQL] CreateView Command with a window clause query hit a wrong window definition not found issue
    • [SPARK-39419][SQL] MatrixSort herstellen om een uitzondering te genereren wanneer de comparator null retourneert
    • Het gebruik van systeemeigen cloud-API's voor adreslijstvermelding in Azure is uitgeschakeld.
    • Beveiligingsupdates van het besturingssysteem.
  • 5 juli 2022
    • [SPARK-39376][SQL] Dubbele kolommen verbergen in steruitbreiding van subqueryalias van NATURAL/USING JOIN
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2022
    • [SPARK-39283][CORE] Impasse tussen TaskMemoryManager en UnsafeExternalSorter.SpillableIterator oplossen
    • [SPARK-39285][SQL] Spark mag veldnamen niet controleren bij het lezen van bestanden
    • [SPARK-34096][SQL] Prestaties verbeteren voor nth_value null-waarden negeren via offsetvenster
    • [SPARK-36718][SQL][OPVOLGEN] isExtractOnly De check-in CollapseProject herstellen
  • 2 juni 2022
    • [SPARK-39166][SQL] Geef runtimefoutquerycontext op voor binaire rekenkundige bewerkingen wanneer WSCG is uitgeschakeld
    • [SPARK-39093][SQL] Vermijd compilatiefout in codegen bij het delen van intervallen van jaarmaanden of dagtijdintervallen door een integraal
    • [SPARK-38990][SQL] Vermijd NullPointerException bij het evalueren van date_trunc/trunc-indeling als afhankelijke verwijzing
    • Beveiligingsupdates van het besturingssysteem.
  • 18 mei 2022
    • Lost een potentieel systeemeigen geheugenlek op in autolaadprogramma's.
    • [SPARK-38868][SQL]Uitzonderingen van filterpredicaat niet doorgeven bij het optimaliseren van outer joins
    • [SPARK-38796][SQL] De to_number- en try_to_number SQL-functies implementeren volgens een nieuwe specificatie
    • [SPARK-38918][SQL] Geneste kolomsnoei moet kenmerken uitfilteren die niet tot de huidige relatie behoren
    • [SPARK-38929][SQL] Foutberichten verbeteren voor cast-fouten in ANSI
    • [SPARK-38926][SQL] Uitvoertypen in foutberichten in SQL-stijl
    • [SPARK-39084][PYSPARK] df.rdd.isEmpty() herstellen met behulp van TaskContext om de iterator te stoppen bij het voltooien van de taak
    • [SPARK-32268][SQL] ColumnPruning toevoegen in injectBloomFilter
    • [SPARK-38908][SQL] Querycontext opgeven in runtimefout van Casten van tekenreeks naar getal/datum/tijdstempel/Booleaanse waarde
    • [SPARK-39046][SQL] Retourneert een lege contexttekenreeks als TreeNode.origin onjuist is ingesteld
    • [SPARK-38974][SQL] Geregistreerde functies filteren met een bepaalde databasenaam in lijstfuncties
    • [SPARK-38762][SQL] Querycontext opgeven in decimale overloopfouten
    • [SPARK-38931][SS] Hoofdmap dfs maken voor RocksDBFileManager met onbekend aantal sleutels op het eerste controlepunt
    • [SPARK-38992][CORE] Vermijd het gebruik van bash -c in ShellBasedGroupsMappingProvider
    • [SPARK-38716][SQL] De querycontext opgeven in de toewijzingssleutel bestaat niet
    • [SPARK-38889][SQL] Booleaanse kolomfilters compileren om het bittype voor MSSQL-gegevensbron te gebruiken
    • [SPARK-38698][SQL] Querycontext opgeven in runtimefout van Divide/Div/Reminder/Pmod
    • [SPARK-38823][SQL] Probleem NewInstance met beschadigde aggregatiebuffers oplossen
    • [SPARK-38809][SS] Optie implementeren om null-waarden over te slaan in symmetrische hash-implementatie van stream-stream-joins
    • [SPARK-38676][SQL] Geef sql-querycontext op in runtime-foutbericht over optellen/aftrekken/vermenigvuldigen
    • [SPARK-38677][PYSPARK] Python MonitorThread moet een impasse detecteren vanwege blokkerende I/O
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 10.3 (EoS)

Zie Databricks Runtime 10.3 (EoS).

  • 27 juli 2022
    • [SPARK-39689]Ondersteuning voor twee tekens lineSep in CSV-gegevensbron
    • [SPARK-39104][SQL] InMemoryRelation#isCachedColumnBuffersLoaded moet thread-safe zijn
    • [SPARK-39702][CORE] Geheugenoverhead van TransportCipher$EncryptedMessage verminderen met behulp van een gedeelde byteRawChannel
    • Beveiligingsupdates van het besturingssysteem.
  • 20 juli 2022
    • Zorg ervoor dat de Delta MERGE-bewerking consistent is wanneer de bron niet-deterministisch is.
    • [SPARK-39476][SQL] Cast-uitpak optimaliseren uitschakelen bij het gieten van Long naar Float/Double of van Integer naar Float
    • [SPARK-39548][SQL] CreateView Command with a window clause query hit a wrong window definition not found issue
    • [SPARK-39419][SQL] MatrixSort herstellen om een uitzondering te genereren wanneer de comparator null retourneert
    • Beveiligingsupdates van het besturingssysteem.
  • 5 juli 2022
    • [SPARK-39376][SQL] Dubbele kolommen verbergen in steruitbreiding van subqueryalias van NATURAL/USING JOIN
    • Beveiligingsupdates van het besturingssysteem.
  • 15 juni 2022
    • [SPARK-39283][CORE] Impasse tussen TaskMemoryManager en UnsafeExternalSorter.SpillableIterator oplossen
    • [SPARK-39285][SQL] Spark mag veldnamen niet controleren bij het lezen van bestanden
    • [SPARK-34096][SQL] Prestaties verbeteren voor nth_value null-waarden negeren via offsetvenster
    • [SPARK-36718][SQL][OPVOLGEN] isExtractOnly De check-in CollapseProject herstellen
  • 2 juni 2022
    • [SPARK-38990][SQL] Vermijd NullPointerException bij het evalueren van date_trunc/trunc-indeling als afhankelijke verwijzing
    • Beveiligingsupdates van het besturingssysteem.
  • 18 mei 2022
    • Lost een potentieel systeemeigen geheugenlek op in autolaadprogramma's.
    • [SPARK-38918][SQL] Geneste kolomsnoei moet kenmerken uitfilteren die niet tot de huidige relatie behoren
    • [SPARK-37593][CORE] Standaardpaginaformaat verkleinen door LONG_ARRAY_OFFSET als G1GC en ON_HEAP worden gebruikt
    • [SPARK-39084][PYSPARK] df.rdd.isEmpty() herstellen met behulp van TaskContext om de iterator te stoppen bij het voltooien van de taak
    • [SPARK-32268][SQL] ColumnPruning toevoegen in injectBloomFilter
    • [SPARK-38974][SQL] Geregistreerde functies filteren met een bepaalde databasenaam in lijstfuncties
    • [SPARK-38889][SQL] Booleaanse kolomfilters compileren om het bittype voor MSSQL-gegevensbron te gebruiken
    • Beveiligingsupdates van het besturingssysteem.
  • 4 mei 2022
    • Java AWS SDK bijgewerkt van versie 1.11.655 naar 1.12.1899.
  • 19 april 2022
    • [SPARK-38616][SQL] SQL-querytekst bijhouden in Catalyst TreeNode
    • Beveiligingsupdates van het besturingssysteem.
  • 6 april 2022
    • [SPARK-38631][CORE] Maakt gebruik van implementatie op basis van Java voor het opheffen van tarring bij Utils.unpack
    • Beveiligingsupdates van het besturingssysteem.
  • 22 maart 2022
    • De huidige werkmap van notebooks op clusters met hoge gelijktijdigheid gewijzigd, waarbij toegangsbeheer voor tabellen of referentiepassthrough is ingeschakeld voor de basismap van de gebruiker. Voorheen was /databricks/driverde werkmap .
    • [SPARK-38437][SQL] Lenient serialisatie van datum/tijd uit gegevensbron
    • [SPARK-38180][SQL] Veilige up-cast-expressies toestaan in gecorreleerde gelijkheidspredicaten
    • [SPARK-38155][SQL] Afzonderlijke statistische functies in laterale subquery's met niet-ondersteunde predicaten weigeren
    • [SPARK-38325][SQL] ANSI-modus: mogelijke runtimefout voorkomen in HashJoin.extractKeyExprAt()
  • 14 maart 2022
    • Verbeterde detectie van transactieconflicten voor lege transacties in Delta Lake.
    • [SPARK-38185][SQL] Gegevens onjuist herstellen als de statistische functie leeg is
    • [SPARK-38318][SQL] regressie bij het vervangen van een gegevenssetweergave
    • [SPARK-38236][SQL] Absolute bestandspaden die zijn opgegeven in de tabel maken/wijzigen, worden behandeld als relatief
    • [SPARK-35937][SQL] Het datumveld extraheren uit tijdstempel moet werken in de ANSI-modus
    • [SPARK-34069][SQL] Kill barrier tasks should respect SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Archieftoewijzing toestaan tussen timestampNTZ en datum/tijdstempel
  • 23 februari 2022
    • [SPARK-27442][SQL] Naam van controleveld verwijderen bij het lezen/schrijven van gegevens in Parquet

Databricks Runtime 10.2 (EoS)

Zie Databricks Runtime 10.2 (EoS).

  • 15 juni 2022
    • [SPARK-39283][CORE] Impasse tussen TaskMemoryManager en UnsafeExternalSorter.SpillableIterator oplossen
    • [SPARK-39285][SQL] Spark mag veldnamen niet controleren bij het lezen van bestanden
    • [SPARK-34096][SQL] Prestaties verbeteren voor nth_value null-waarden negeren via offsetvenster
  • 2 juni 2022
    • [SPARK-38918][SQL] Geneste kolomsnoei moet kenmerken uitfilteren die niet tot de huidige relatie behoren
    • [SPARK-38990][SQL] Vermijd NullPointerException bij het evalueren van date_trunc/trunc-indeling als afhankelijke verwijzing
    • Beveiligingsupdates van het besturingssysteem.
  • 18 mei 2022
    • Lost een potentieel systeemeigen geheugenlek op in autolaadprogramma's.
    • [SPARK-39084][PYSPARK] df.rdd.isEmpty() herstellen met behulp van TaskContext om de iterator te stoppen bij het voltooien van de taak
    • [SPARK-38889][SQL] Booleaanse kolomfilters compileren om het bittype voor MSSQL-gegevensbron te gebruiken
    • [SPARK-38931][SS] Hoofdmap dfs maken voor RocksDBFileManager met onbekend aantal sleutels op het eerste controlepunt
    • Beveiligingsupdates van het besturingssysteem.
  • 4 mei 2022
    • Java AWS SDK bijgewerkt van versie 1.11.655 naar 1.12.1899.
  • 19 april 2022
    • Beveiligingsupdates van het besturingssysteem.
    • Diverse bugfixes.
  • 6 april 2022
    • [SPARK-38631][CORE] Maakt gebruik van implementatie op basis van Java voor het opheffen van tarring bij Utils.unpack
    • Beveiligingsupdates van het besturingssysteem.
  • 22 maart 2022
    • De huidige werkmap van notebooks op clusters met hoge gelijktijdigheid gewijzigd, waarbij toegangsbeheer voor tabellen of referentiepassthrough is ingeschakeld voor de basismap van de gebruiker. Voorheen was /databricks/driverde werkmap .
    • [SPARK-38437][SQL] Lenient serialisatie van datum/tijd uit gegevensbron
    • [SPARK-38180][SQL] Veilige up-cast-expressies toestaan in gecorreleerde gelijkheidspredicaten
    • [SPARK-38155][SQL] Afzonderlijke statistische functies in laterale subquery's met niet-ondersteunde predicaten weigeren
    • [SPARK-38325][SQL] ANSI-modus: mogelijke runtimefout voorkomen in HashJoin.extractKeyExprAt()
  • 14 maart 2022
    • Verbeterde detectie van transactieconflicten voor lege transacties in Delta Lake.
    • [SPARK-38185][SQL] Gegevens onjuist herstellen als de statistische functie leeg is
    • [SPARK-38318][SQL] regressie bij het vervangen van een gegevenssetweergave
    • [SPARK-38236][SQL] Absolute bestandspaden die zijn opgegeven in de tabel maken/wijzigen, worden behandeld als relatief
    • [SPARK-35937][SQL] Het datumveld extraheren uit tijdstempel moet werken in de ANSI-modus
    • [SPARK-34069][SQL] Kill barrier tasks should respect SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Archieftoewijzing toestaan tussen timestampNTZ en datum/tijdstempel
  • 23 februari 2022
    • [SPARK-37577][SQL] Fix ClassCastException: ArrayType kan niet worden gecast naar StructType voor het genereren van pruning
  • 8 februari 2022
    • [SPARK-27442][SQL] Verwijder de veldnaam van de controle bij het lezen/schrijven van gegevens in Parquet.
    • Beveiligingsupdates van het besturingssysteem.
  • 1 februari 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 26 januari 2022
    • Er is een fout opgelost waarbij gelijktijdige transacties in Delta-tabellen in een niet-serialiseerbare volgorde onder bepaalde zeldzame omstandigheden konden worden doorgevoerd.
    • Er is een fout opgelost waarbij de opdracht OPTIMIZE kon mislukken wanneer het ANSI SQL-dialect werd ingeschakeld.
  • 19 januari 2022
    • Er is ondersteuning geïntroduceerd voor het inlijnen van tijdelijke referenties om TE KOPIËREN NAAR voor het laden van de brongegevens zonder sql-ANY_FILE-machtigingen
    • Opgeloste fouten en beveiligingsverbeteringen.
  • 20 december 2021
    • Er is een zeldzame fout opgelost met filteren op basis van parquet-kolomindexen.

Databricks Runtime 10.1 (EoS)

Zie Databricks Runtime 10.1 (EoS).

  • 15 juni 2022
    • [SPARK-39283][CORE] Impasse tussen TaskMemoryManager en UnsafeExternalSorter.SpillableIterator oplossen
    • [SPARK-39285][SQL] Spark mag veldnamen niet controleren bij het lezen van bestanden
    • [SPARK-34096][SQL] Prestaties verbeteren voor nth_value null-waarden negeren via offsetvenster
  • 2 juni 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 18 mei 2022
    • Lost een potentieel systeemeigen geheugenlek op in autolaadprogramma's.
    • [SPARK-39084][PYSPARK] df.rdd.isEmpty() herstellen met behulp van TaskContext om de iterator te stoppen bij het voltooien van de taak
    • [SPARK-38889][SQL] Booleaanse kolomfilters compileren om het bittype voor MSSQL-gegevensbron te gebruiken
    • Beveiligingsupdates van het besturingssysteem.
  • 19 april 2022
    • [SPARK-37270][SQL] Push vouwbaar in CaseWhen-vertakkingen herstellen als elseValue leeg is
    • Beveiligingsupdates van het besturingssysteem.
  • 6 april 2022
    • [SPARK-38631][CORE] Maakt gebruik van implementatie op basis van Java voor het opheffen van tarring bij Utils.unpack
    • Beveiligingsupdates van het besturingssysteem.
  • 22 maart 2022
    • [SPARK-38437][SQL] Lenient serialisatie van datum/tijd uit gegevensbron
    • [SPARK-38180][SQL] Veilige up-cast-expressies toestaan in gecorreleerde gelijkheidspredicaten
    • [SPARK-38155][SQL] Afzonderlijke statistische functies in laterale subquery's met niet-ondersteunde predicaten weigeren
    • [SPARK-38325][SQL] ANSI-modus: mogelijke runtimefout voorkomen in HashJoin.extractKeyExprAt()
  • 14 maart 2022
    • Verbeterde detectie van transactieconflicten voor lege transacties in Delta Lake.
    • [SPARK-38185][SQL] Gegevens onjuist herstellen als de statistische functie leeg is
    • [SPARK-38318][SQL] regressie bij het vervangen van een gegevenssetweergave
    • [SPARK-38236][SQL] Absolute bestandspaden die zijn opgegeven in de tabel maken/wijzigen, worden behandeld als relatief
    • [SPARK-35937][SQL] Het datumveld extraheren uit tijdstempel moet werken in de ANSI-modus
    • [SPARK-34069][SQL] Kill barrier tasks should respect SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Archieftoewijzing toestaan tussen timestampNTZ en datum/tijdstempel
  • 23 februari 2022
    • [SPARK-37577][SQL] Fix ClassCastException: ArrayType kan niet worden gecast naar StructType voor het genereren van pruning
  • 8 februari 2022
    • [SPARK-27442][SQL] Verwijder de veldnaam van de controle bij het lezen/schrijven van gegevens in Parquet.
    • Beveiligingsupdates van het besturingssysteem.
  • 1 februari 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 26 januari 2022
    • Er is een fout opgelost waarbij gelijktijdige transacties in Delta-tabellen in een niet-serialiseerbare volgorde onder bepaalde zeldzame omstandigheden konden worden doorgevoerd.
    • Er is een fout opgelost waarbij de opdracht OPTIMIZE kon mislukken wanneer het ANSI SQL-dialect werd ingeschakeld.
  • 19 januari 2022
    • Er is ondersteuning geïntroduceerd voor het inlijnen van tijdelijke referenties om TE KOPIËREN NAAR voor het laden van de brongegevens zonder sql-ANY_FILE-machtigingen
    • Er is een probleem met onvoldoende geheugen opgelost met het opslaan van queryresultaten in cache onder bepaalde omstandigheden.
    • Er is een probleem opgelost waarbij USE DATABASE een gebruiker de huidige catalogus overschakelt naar een niet-standaardcatalogus.
    • Opgeloste fouten en beveiligingsverbeteringen.
    • Beveiligingsupdates van het besturingssysteem.
  • 20 december 2021
    • Er is een zeldzame fout opgelost met filteren op basis van parquet-kolomindexen.

Databricks Runtime 10.0 (EoS)

Zie Databricks Runtime 10.0 (EoS).

  • 19 april 2022
    • [SPARK-37270][SQL] Push vouwbaar in CaseWhen-vertakkingen herstellen als elseValue leeg is
    • Beveiligingsupdates van het besturingssysteem.
  • 6 april 2022
    • [SPARK-38631][CORE] Maakt gebruik van implementatie op basis van Java voor het opheffen van tarring bij Utils.unpack
    • Beveiligingsupdates van het besturingssysteem.
  • 22 maart 2022
    • [SPARK-38437][SQL] Lenient serialisatie van datum/tijd uit gegevensbron
    • [SPARK-38180][SQL] Veilige up-cast-expressies toestaan in gecorreleerde gelijkheidspredicaten
    • [SPARK-38155][SQL] Afzonderlijke statistische functies in laterale subquery's met niet-ondersteunde predicaten weigeren
    • [SPARK-38325][SQL] ANSI-modus: mogelijke runtimefout voorkomen in HashJoin.extractKeyExprAt()
  • 14 maart 2022
    • Verbeterde detectie van transactieconflicten voor lege transacties in Delta Lake.
    • [SPARK-38185][SQL] Gegevens onjuist herstellen als de statistische functie leeg is
    • [SPARK-38318][SQL] regressie bij het vervangen van een gegevenssetweergave
    • [SPARK-38236][SQL] Absolute bestandspaden die zijn opgegeven in de tabel maken/wijzigen, worden behandeld als relatief
    • [SPARK-35937][SQL] Het datumveld extraheren uit tijdstempel moet werken in de ANSI-modus
    • [SPARK-34069][SQL] Kill barrier tasks should respect SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL] Archieftoewijzing toestaan tussen timestampNTZ en datum/tijdstempel
  • 23 februari 2022
    • [SPARK-37577][SQL] Fix ClassCastException: ArrayType kan niet worden gecast naar StructType voor het genereren van pruning
  • 8 februari 2022
    • [SPARK-27442][SQL] Verwijder de veldnaam van de controle bij het lezen/schrijven van gegevens in Parquet.
    • [SPARK-36905][SQL] Problemen met het lezen van hive-weergaven zonder expliciete kolomnamen oplossen
    • [SPARK-37859][SQL] Probleem opgelost waarbij SQL-tabellen die zijn gemaakt met JDBC met Spark 3.1, niet leesbaar zijn met 3.2
    • Beveiligingsupdates van het besturingssysteem.
  • 1 februari 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 26 januari 2022
    • Er is een fout opgelost waarbij gelijktijdige transacties in Delta-tabellen in een niet-serialiseerbare volgorde onder bepaalde zeldzame omstandigheden konden worden doorgevoerd.
    • Er is een fout opgelost waarbij de opdracht OPTIMIZE kon mislukken wanneer het ANSI SQL-dialect werd ingeschakeld.
  • 19 januari 2022
    • Opgeloste fouten en beveiligingsverbeteringen.
    • Beveiligingsupdates van het besturingssysteem.
  • 20 december 2021
    • Er is een zeldzame fout opgelost met filteren op basis van parquet-kolomindexen.
  • 9 november 2021
    • Aanvullende configuratievlagmen geïntroduceerd om gedetailleerde controle over ANSI-gedrag mogelijk te maken.
  • 4 november 2021
    • Er is een fout opgelost waardoor Structured Streaming-streams mislukken met een ArrayIndexOutOfBoundsException
    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: No FileSystem for scheme of waardoor wijzigingen sparkContext.hadoopConfiguration mogelijk niet van kracht worden in query's.
    • De Apache Spark Connector voor Delta Sharing is bijgewerkt naar 0.2.0.
  • 30 november 2021
    • Er is een probleem opgelost met het parseren van tijdstempels waarbij een tijdzonetekenreeks zonder dubbele punt als ongeldig werd beschouwd.
    • Er is een probleem met onvoldoende geheugen opgelost met het opslaan van queryresultaten in cache onder bepaalde omstandigheden.
    • Er is een probleem opgelost waarbij USE DATABASE een gebruiker de huidige catalogus overschakelt naar een niet-standaardcatalogus.

Databricks Runtime 9.0 (EoS)

Zie Databricks Runtime 9.0 (EoS).

  • 8 februari 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 1 februari 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 26 januari 2022
    • Er is een fout opgelost waarbij de opdracht OPTIMIZE kon mislukken wanneer het ANSI SQL-dialect werd ingeschakeld.
  • 19 januari 2022
    • Opgeloste fouten en beveiligingsverbeteringen.
    • Beveiligingsupdates van het besturingssysteem.
  • 4 november 2021
    • Er is een fout opgelost waardoor Structured Streaming-streams mislukken met een ArrayIndexOutOfBoundsException
    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: No FileSystem for scheme of waardoor wijzigingen sparkContext.hadoopConfiguration mogelijk niet van kracht worden in query's.
    • De Apache Spark Connector voor Delta Sharing is bijgewerkt naar 0.2.0.
  • 22 september 2021
    • Er is een fout opgelost in cast Spark-matrix met null naar tekenreeks
  • 15 september 2021
    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • 8 september 2021
    • Ondersteuning toegevoegd voor schemanaam (databaseName.schemaName.tableName indeling) als de naam van de doeltabel voor Azure Synapse Connector.
    • Ondersteuning voor JDBC-typen geometrie en geografie toegevoegd voor Spark SQL.
    • [SPARK-33527][SQL] De functie van decoderen uitgebreid zodat deze consistent is met basisdatabases.
    • [SPARK-36532][CORE][3.1] Er is een impasse opgelost CoarseGrainedExecutorBackend.onDisconnected om te voorkomen dat executorsconnected de uitschakeling van de uitvoerder vastloopt.
  • 25 augustus 2021
    • Sql Server-stuurprogrammabibliotheek is bijgewerkt naar 9.2.1.jre8.
    • Snowflake-connector is bijgewerkt naar 2.9.0.
    • Er is een verbroken koppeling naar het beste proefnotitieblok opgelost op de Pagina van het AutoML-experiment.

Databricks Runtime 8.4 (EoS)

Zie Databricks Runtime 8.4 (EoS).

  • 19 januari 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 4 november 2021
    • Er is een fout opgelost waardoor Structured Streaming-streams mislukken met een ArrayIndexOutOfBoundsException
    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: No FileSystem for scheme of waardoor wijzigingen sparkContext.hadoopConfiguration mogelijk niet van kracht worden in query's.
    • De Apache Spark Connector voor Delta Sharing is bijgewerkt naar 0.2.0.
  • 22 september 2021
    • Spark JDBC-stuurprogramma is bijgewerkt naar 2.6.19.1030
    • [SPARK-36734][SQL] ORC upgraden naar 1.5.1
  • 15 september 2021
    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Beveiligingsupdates van het besturingssysteem.
  • 8 september 2021
    • [SPARK-36532][CORE][3.1] Er is een impasse opgelost CoarseGrainedExecutorBackend.onDisconnected om te voorkomen dat executorsconnected de uitschakeling van de uitvoerder vastloopt.
  • 25 augustus 2021
    • Sql Server-stuurprogrammabibliotheek is bijgewerkt naar 9.2.1.jre8.
    • Snowflake-connector is bijgewerkt naar 2.9.0.
    • Lost een fout op in referentiepassthrough die wordt veroorzaakt door de nieuwe Parquet prefetch-optimalisatie, waarbij de passthrough-referentie van de gebruiker mogelijk niet wordt gevonden tijdens bestandstoegang.
  • 11 augustus 2021
    • Lost een incompatibiliteitsprobleem met RocksDB op waardoor oudere Databricks Runtime 8.4 wordt voorkomen. Hiermee wordt de compatibiliteit voor automatisch laden en COPY INTOstateful streamingtoepassingen opgelost.
    • Lost een fout op bij het gebruik van Automatisch laden om CSV-bestanden met niet-overeenkomende headerbestanden te lezen. Als kolomnamen niet overeenkomen, wordt de kolom ingevuld met null-waarden. Als er nu een schema wordt opgegeven, wordt ervan uitgegaan dat het schema hetzelfde is en alleen kolomfouten worden opgeslagen als geredde gegevenskolommen zijn ingeschakeld.
    • Voegt een nieuwe optie toe die wordt aangeroepen externalDataSource in de Azure Synapse-connector om de CONTROL machtigingsvereiste voor de database voor PolyBase-leesinformatie te verwijderen.
  • 29 juli 2021
    • [SPARK-36034][BUILD] Datum/tijd opnieuw baseeren in gepushte filters naar Parquet
    • [SPARK-36163][BUILD] Juiste JDBC-eigenschappen doorgeven in JDBC-connectorprovider en optie toevoegen connectionProvider

Databricks Runtime 8.3 (EoS)

Zie Databricks Runtime 8.3 (EoS).

  • 19 januari 2022
    • Beveiligingsupdates van het besturingssysteem.
  • 4 november 2021
    • Er is een fout opgelost waardoor Structured Streaming-streams mislukken met een ArrayIndexOutOfBoundsException
    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: No FileSystem for scheme of waardoor wijzigingen sparkContext.hadoopConfiguration mogelijk niet van kracht worden in query's.
  • 22 september 2021
    • Spark JDBC-stuurprogramma is bijgewerkt naar 2.6.19.1030
  • 15 september 2021
    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Beveiligingsupdates van het besturingssysteem.
  • 8 september 2021
    • [SPARK-35700][SQL][WARMFIX] Lees de teken-/varchar-orctabel bij het maken en schrijven van externe systemen.
    • [SPARK-36532][CORE][3.1] Er is een impasse opgelost CoarseGrainedExecutorBackend.onDisconnected om te voorkomen dat executorsconnected de uitschakeling van de uitvoerder vastloopt.
  • 25 augustus 2021
    • Sql Server-stuurprogrammabibliotheek is bijgewerkt naar 9.2.1.jre8.
    • Snowflake-connector is bijgewerkt naar 2.9.0.
    • Lost een fout op in referentiepassthrough die wordt veroorzaakt door de nieuwe Parquet prefetch-optimalisatie, waarbij de passthrough-referentie van de gebruiker mogelijk niet wordt gevonden tijdens bestandstoegang.
  • 11 augustus 2021
    • Lost een fout op bij het gebruik van Automatisch laden om CSV-bestanden met niet-overeenkomende headerbestanden te lezen. Als kolomnamen niet overeenkomen, wordt de kolom ingevuld met null-waarden. Als er nu een schema wordt opgegeven, wordt ervan uitgegaan dat het schema hetzelfde is en alleen kolomfouten worden opgeslagen als geredde gegevenskolommen zijn ingeschakeld.
  • 29 juli 2021
    • Databricks Snowflake Spark-connector upgraden naar 2.9.0-spark-3.1
    • [SPARK-36034][BUILD] Datum/tijd opnieuw baseeren in gepushte filters naar Parquet
    • [SPARK-36163][BUILD] Juiste JDBC-eigenschappen doorgeven in JDBC-connectorprovider en optie toevoegen connectionProvider
  • 14 juli 2021
    • Er is een probleem opgelost bij het gebruik van kolomnamen met puntjes in de Azure Synapse-connector.
    • Geïntroduceerde database.schema.table indeling voor Synapse Connector.
    • Er is ondersteuning toegevoegd voor het opgeven databaseName.schemaName.tableName van opmaak als doeltabel in plaats van alleen schemaName.tableName of tableName.
  • 15 juni 2021
    • Er is een NoSuchElementException fout opgelost in door Delta Lake geoptimaliseerde schrijfbewerkingen die kunnen optreden bij het schrijven van grote hoeveelheden gegevens en het tegenkomen van uitvoerdersverlies
    • Hiermee voegt u SQLCREATE GROUP- , DROP GROUP, , ALTER GROUPen SHOW GROUPSSHOW USERS opdrachten toe. Zie Beveiligingsinstructies en Show-instructies voor meer informatie.

Databricks Runtime 8.2 (EoS)

Zie Databricks Runtime 8.2 (EoS).

  • 22 september 2021

    • Beveiligingsupdates van het besturingssysteem.

  • 15 september 2021

    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 september 2021

    • [SPARK-35700][SQL][WARMFIX] Lees de teken-/varchar-orctabel bij het maken en schrijven van externe systemen.
    • [SPARK-36532][CORE][3.1] Er is een impasse opgelost CoarseGrainedExecutorBackend.onDisconnected om te voorkomen dat executorsconnected de uitschakeling van de uitvoerder vastloopt.

  • 25 augustus 2021

    • Snowflake-connector is bijgewerkt naar 2.9.0.

  • 11 augustus 2021

    • [SPARK-36034][SQL] Datum/tijd opnieuw baseeren in gepushte filters naar Parquet.

  • 29 juli 2021

    • Databricks Snowflake Spark-connector upgraden naar 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Juiste JDBC-eigenschappen doorgeven in JDBC-connectorprovider en optie toevoegen connectionProvider

  • 14 juli 2021

    • Er is een probleem opgelost bij het gebruik van kolomnamen met puntjes in de Azure Synapse-connector.
    • Geïntroduceerde database.schema.table indeling voor Synapse Connector.
    • Er is ondersteuning toegevoegd voor het opgeven databaseName.schemaName.tableName van opmaak als doeltabel in plaats van alleen schemaName.tableName of tableName.
    • Er is een fout opgelost waardoor gebruikers niet naar oudere beschikbare versies met Delta-tabellen kunnen reizen.

  • 15 juni 2021

    • Lost een NoSuchElementException fout op in geoptimaliseerde schrijfbewerkingen van Delta Lake die kunnen optreden bij het schrijven van grote hoeveelheden gegevens en het tegenkomen van uitvoerdersverlies

  • 26 mei 2021

    • Python bijgewerkt met beveiligingspatch om beveiligingsprobleem met Python op te lossen (CVE-2021-3177).

  • 30 april 2021

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-35227][BUILD] De resolver voor spark-packages in SparkSubmit bijwerken
    • [SPARK-34245][CORE] Controleren of master uitvoerders verwijderen die de voltooide status niet hebben verzonden
    • Er is een OOM-probleem opgelost bij het melden van metrische gegevens over gestructureerde streamingvoortgang.

Databricks Runtime 8.1 (EoS)

Zie Databricks Runtime 8.1 (EoS).

  • 22 september 2021

    • Beveiligingsupdates van het besturingssysteem.

  • 15 september 2021

    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 8 september 2021

    • [SPARK-35700][SQL][WARMFIX] Lees de teken-/varchar-orctabel bij het maken en schrijven van externe systemen.
    • [SPARK-36532][CORE][3.1] Er is een impasse opgelost CoarseGrainedExecutorBackend.onDisconnected om te voorkomen dat executorsconnected de uitschakeling van de uitvoerder vastloopt.

  • 25 augustus 2021

    • Snowflake-connector is bijgewerkt naar 2.9.0.

  • 11 augustus 2021

    • [SPARK-36034][SQL] Datum/tijd opnieuw baseeren in gepushte filters naar Parquet.

  • 29 juli 2021

    • Databricks Snowflake Spark-connector upgraden naar 2.9.0-spark-3.1
    • [SPARK-36163][BUILD] Juiste JDBC-eigenschappen doorgeven in JDBC-connectorprovider en optie toevoegen connectionProvider

  • 14 juli 2021

    • Er is een probleem opgelost bij het gebruik van kolomnamen met puntjes in de Azure Synapse-connector.
    • Er is een fout opgelost waardoor gebruikers niet naar oudere beschikbare versies met Delta-tabellen kunnen reizen.

  • 15 juni 2021

    • Lost een NoSuchElementException fout op in geoptimaliseerde schrijfbewerkingen van Delta Lake die kunnen optreden bij het schrijven van grote hoeveelheden gegevens en het tegenkomen van uitvoerdersverlies

  • 26 mei 2021

    • Python bijgewerkt met beveiligingspatch om beveiligingsprobleem met Python op te lossen (CVE-2021-3177).

  • 30 april 2021

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-35227][BUILD] De resolver voor spark-packages in SparkSubmit bijwerken
    • Er is een OOM-probleem opgelost bij het melden van metrische gegevens over gestructureerde streamingvoortgang.

  • 27 april 2021

    • [SPARK-34245][CORE] Controleren of master uitvoerders verwijderen die de voltooide status niet hebben verzonden
    • [SPARK-34856][SQL] ANSI-modus: Het casten van complexe typen toestaan als tekenreekstype
    • [SPARK-35014] Het PhysicalAggregation-patroon herstellen om vouwbare expressies niet opnieuw te schrijven
    • [SPARK-34769][SQL] AnsiTypeCoercion: retourneert het smalste converteerbare type onder TypeCollection
    • [SPARK-34614][SQL] ANSI-modus: Cast-tekenreeks naar Booleaanse waarde genereert uitzondering bij parseringsfout
    • [SPARK-33794][SQL] ANSI-modus: Fix NextDay-expressie om runtime IllegalArgumentException te gooien bij het ontvangen van ongeldige invoer onder

Databricks Runtime 8.0 (EoS)

Zie Databricks Runtime 8.0 (EoS).

  • 15 september 2021

    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

  • 25 augustus 2021

    • Snowflake-connector is bijgewerkt naar 2.9.0.

  • 11 augustus 2021

    • [SPARK-36034][SQL] Datum/tijd opnieuw baseeren in gepushte filters naar Parquet.

  • 29 juli 2021

    • [SPARK-36163][BUILD] Juiste JDBC-eigenschappen doorgeven in JDBC-connectorprovider en optie toevoegen connectionProvider

  • 14 juli 2021

    • Er is een probleem opgelost bij het gebruik van kolomnamen met puntjes in de Azure Synapse-connector.
    • Er is een fout opgelost waardoor gebruikers niet naar oudere beschikbare versies met Delta-tabellen kunnen reizen.

  • 26 mei 2021

    • Python bijgewerkt met beveiligingspatch om beveiligingsprobleem met Python op te lossen (CVE-2021-3177).

  • 30 april 2021

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-35227][BUILD] De resolver voor spark-packages in SparkSubmit bijwerken
    • [SPARK-34245][CORE] Controleren of master uitvoerders verwijderen die de voltooide status niet hebben verzonden

  • 24 maart 2021

    • [SPARK-34681][SQL] Fout opgelost voor volledige outer shuffled hash join bij het bouwen aan de linkerkant met een niet-gelijke voorwaarde
    • [SPARK-34534] BlockIds-volgorde herstellen bij gebruik van FetchShuffleBlocks om blokken op te halen
    • [SPARK-34613][SQL] Oplossingsweergave legt de configuratie van hints niet vast

  • dinsdag 9 maart 2021

    • [SPARK-34543][SQL] Respecteer de configuratie tijdens het spark.sql.caseSensitive oplossen van partitiespecificaties in v1 SET LOCATION
    • [SPARK-34392][SQL] Ondersteuning voor ZoneOffset +h:mm in DateTimeUtils. getZoneId
    • [UI] De href-koppeling van Spark DAG-visualisatie herstellen
    • [SPARK-34436][SQL] DPP ondersteunt LIKE ANY/ALL-expressie

Databricks Runtime 7.6 (EoS)

Zie Databricks Runtime 7.6 (EoS).

  • 11 augustus 2021
    • [SPARK-36034][SQL] Datum/tijd opnieuw baseeren in gepushte filters naar Parquet.
  • 29 juli 2021
    • [SPARK-32998][BUILD] Mogelijkheid toevoegen om standaard externe opslagplaatsen te overschrijven met alleen interne opslagplaatsen
  • 14 juli 2021
    • Er is een fout opgelost waardoor gebruikers niet naar oudere beschikbare versies met Delta-tabellen kunnen reizen.
  • 26 mei 2021
    • Python bijgewerkt met beveiligingspatch om beveiligingsprobleem met Python op te lossen (CVE-2021-3177).
  • 30 april 2021
    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-35227][BUILD] De resolver voor spark-packages in SparkSubmit bijwerken
    • [SPARK-34245][CORE] Controleren of master uitvoerders verwijderen die de voltooide status niet hebben verzonden
  • 24 maart 2021
    • [SPARK-34768][SQL] Respecteer de standaardgrootte van de invoerbuffer in Univocity
    • [SPARK-34534] BlockIds-volgorde herstellen bij gebruik van FetchShuffleBlocks om blokken op te halen
  • 9 maart 2021
    • (alleen Azure) Er is een fout opgelost met een automatisch laadprogramma dat NullPointerException kan veroorzaken bij het gebruik van Databricks Runtime 7.6 om een oude AutoLoader-stroom uit te voeren die is gemaakt in Databricks Runtime 7.2
    • [UI] De href-koppeling van Spark DAG-visualisatie herstellen
    • Onbekend leaf-node SparkPlan wordt niet correct verwerkt in SizeInBytesOnlyStatsSparkPlanVisitor
    • Het uitvoerschema van SHOW DATABASES
    • [Delta][8.0, 7.6] Er is een fout opgelost in de logica voor automatisch afstemmen van de bestandsgrootte
    • Verouderingscontrole uitschakelen voor Delta-tabelbestanden in schijfcache
    • [SQL] De juiste dynamische pruning-buildsleutel gebruiken wanneer hint voor bereikdeelname aanwezig is
    • Ondersteuning voor tekentypen uitschakelen in niet-SQL-codepad
    • NPE vermijden in DataFrameReader.schema
    • NPE herstellen wanneer het EventGridClient-antwoord geen entiteit heeft
    • Een fout met een lees-gesloten stream in Azure Auto Loader oplossen
    • [SQL] Genereer geen advies over willekeurige partitienummers wanneer AOS is ingeschakeld
  • 24 februari 2021
    • Upgrade van de Spark BigQuery-connector naar v0.18, waarin verschillende bugfixes en ondersteuning voor Arrow- en Avro-iterators worden geïntroduceerd.
    • Er is een probleem opgelost waarbij Spark onjuiste resultaten retourneert wanneer de decimale precisie en schaal van het Parquet-bestand verschillen van het Spark-schema.
    • Er is een probleem opgelost met leesfouten in Microsoft SQL Server-tabellen die ruimtelijke gegevenstypen bevatten, door ondersteuning voor JDBC-typen geometrie en geografie toe te voegen voor Spark SQL.
    • Er is een nieuwe configuratie geïntroduceerd spark.databricks.hive.metastore.init.reloadFunctions.enabled. Deze configuratie bepaalt de ingebouwde Hive-initialisatie. Wanneer deze optie is ingesteld op waar, laadt Azure Databricks alle functies opnieuw van alle databases die gebruikers hebben.FunctionRegistry Dit is het standaardgedrag in Hive Metastore. Als deze optie is ingesteld op false, schakelt Azure Databricks dit proces voor optimalisatie uit.
    • [SPARK-34212] Er zijn problemen opgelost met betrekking tot het lezen van decimale gegevens uit Parquet-bestanden.
    • [SPARK-34260][SQL] Los UnresolvedException op bij het tweemaal maken van de tijdelijke weergave.

Databricks Runtime 7.5 (EoS)

Zie Databricks Runtime 7.5 (EoS).

  • 26 mei 2021
    • Python bijgewerkt met beveiligingspatch om beveiligingsprobleem met Python op te lossen (CVE-2021-3177).
  • 30 april 2021
    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-35227][BUILD] De resolver voor spark-packages in SparkSubmit bijwerken
    • [SPARK-34245][CORE] Controleren of master uitvoerders verwijderen die de voltooide status niet hebben verzonden
  • 24 maart 2021
    • [SPARK-34768][SQL] Respecteer de standaardgrootte van de invoerbuffer in Univocity
    • [SPARK-34534] BlockIds-volgorde herstellen bij gebruik van FetchShuffleBlocks om blokken op te halen
  • 9 maart 2021
    • (alleen Azure) Er is een fout opgelost met een automatisch laadprogramma dat NullPointerException kan veroorzaken bij het gebruik van Databricks Runtime 7.5 om een oude AutoLoader-stroom uit te voeren die is gemaakt in Databricks Runtime 7.2.
    • [UI] De href-koppeling van Spark DAG-visualisatie herstellen
    • Onbekend leaf-node SparkPlan wordt niet correct verwerkt in SizeInBytesOnlyStatsSparkPlanVisitor
    • Het uitvoerschema van SHOW DATABASES
    • Verouderingscontrole uitschakelen voor Delta-tabelbestanden in schijfcache
    • [SQL] De juiste dynamische pruning-buildsleutel gebruiken wanneer hint voor bereikdeelname aanwezig is
    • Ondersteuning voor tekentypen uitschakelen in niet-SQL-codepad
    • NPE vermijden in DataFrameReader.schema
    • NPE herstellen wanneer het EventGridClient-antwoord geen entiteit heeft
    • Een fout met een lees-gesloten stream in Azure Auto Loader oplossen
  • 24 februari 2021
    • Upgrade van de Spark BigQuery-connector naar v0.18, waarin verschillende bugfixes en ondersteuning voor Arrow- en Avro-iterators worden geïntroduceerd.
    • Er is een probleem opgelost waarbij Spark onjuiste resultaten retourneert wanneer de decimale precisie en schaal van het Parquet-bestand verschillen van het Spark-schema.
    • Er is een probleem opgelost met leesfouten in Microsoft SQL Server-tabellen die ruimtelijke gegevenstypen bevatten, door ondersteuning voor JDBC-typen geometrie en geografie toe te voegen voor Spark SQL.
    • Er is een nieuwe configuratie geïntroduceerd spark.databricks.hive.metastore.init.reloadFunctions.enabled. Deze configuratie bepaalt de ingebouwde Hive-initialisatie. Wanneer deze optie is ingesteld op waar, laadt Azure Databricks alle functies opnieuw van alle databases die gebruikers hebben.FunctionRegistry Dit is het standaardgedrag in Hive Metastore. Als deze optie is ingesteld op false, schakelt Azure Databricks dit proces voor optimalisatie uit.
    • [SPARK-34212] Er zijn problemen opgelost met betrekking tot het lezen van decimale gegevens uit Parquet-bestanden.
    • [SPARK-34260][SQL] Los UnresolvedException op bij het tweemaal maken van de tijdelijke weergave.
  • 4 februari 2021
    • Er is een regressie opgelost waardoor de incrementele uitvoering van een query waarmee een globale limiet wordt ingesteld, zoals SELECT * FROM table LIMIT nrows. De regressie is ervaren door gebruikers die query's uitvoeren via ODBC/JDBC, waarbij serialisatie van pijlen is ingeschakeld.
    • Er zijn schrijftijdcontroles geïntroduceerd voor de Hive-client om beschadiging van metagegevens in de Hive-metastore voor Delta-tabellen te voorkomen.
    • Er is een regressie opgelost waardoor DBFS FUSE niet kan worden gestart wanneer configuraties van clusteromgevingsvariabelen ongeldige bash-syntaxis bevatten.
  • 20 januari 2021
    • Er is een regressie opgelost in de onderhoudsrelease van 12 januari 2021 die een onjuiste AnalysisException kan veroorzaken en zegt dat de kolom dubbelzinnig is in een zelfdeelname. Deze regressie treedt op wanneer een gebruiker een DataFrame koppelt aan het afgeleide DataFrame (een zogenaamde self-join) met de volgende voorwaarden:
      • Deze twee DataFrames hebben gemeenschappelijke kolommen, maar de uitvoer van de self-join heeft geen gemeenschappelijke kolommen. Bijvoorbeeld df.join(df.select($"col" as "new_col"), cond)
      • Het afgeleide DataFrame sluit sommige kolommen uit via select, groupBy of window.
      • De joinvoorwaarde of de volgende transformatie nadat het gekoppelde Dataframe verwijst naar de niet-gemeenschappelijke kolommen. Bijvoorbeeld df.join(df.drop("a"), df("a") === 1)
  • 12 januari 2021
    • Voer een upgrade uit van de Azure Storage-SDK van 2.3.8 naar 2.3.9.
    • [SPARK-33593][SQL] Vectorlezer kreeg onjuiste gegevens met binaire partitiewaarde
    • [SPARK-33480][SQL] werkt het foutbericht bij van de lengtecontrole voor teken-/varchar-tabellen

Databricks Runtime 7.3 LTS (EoS)

Zie Databricks Runtime 7.3 LTS (EoS).

  • 10 september 2023

    • Diverse bugfixes.

  • 30 augustus 2023

    • Beveiligingsupdates van het besturingssysteem.

  • 15 augustus 2023

    • Beveiligingsupdates van het besturingssysteem.

  • 23 juni 2023

    • Snowflake-jdbc-bibliotheek wordt bijgewerkt naar 3.13.29 om een beveiligingsprobleem op te lossen.
    • Beveiligingsupdates van het besturingssysteem.

  • 15 juni 2023

    • [SPARK-43413][SQL] Corrigeer IN de null-waarde van subquery ListQuery .
    • Beveiligingsupdates van het besturingssysteem.

  • 2 juni 2023

    • Er is een probleem opgelost in Auto Loader waarbij verschillende bronbestandsindelingen inconsistent waren toen het opgegeven schema geen uitgestelde partities had opgenomen. Dit probleem kan onverwachte fouten veroorzaken bij het lezen van bestanden met ontbrekende kolommen in het uitgestelde partitieschema.

  • 17 mei 2023

    • Beveiligingsupdates van het besturingssysteem.

  • 25 april 2023

    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 11 april 2023

    • [SPARK-42967][CORE] Oplossing voor SparkListenerTaskStart.stageAttemptId wanneer een taak wordt gestart nadat de fase is geannuleerd.
    • Diverse bugfixes.

  • 29 maart 2023

    • Beveiligingsupdates van het besturingssysteem.

  • 14 maart 2023

    • Diverse bugfixes.

  • 28 februari 2023

    • Beveiligingsupdates van het besturingssysteem.

  • 16 februari 2023

    • Beveiligingsupdates van het besturingssysteem.

  • 31 januari 2023

    • Tabeltypen van JDBC-tabellen zijn nu standaard EXTERN.

  • 18 januari 2023

    • Beveiligingsupdates van het besturingssysteem.

  • 29 november 2022

    • Diverse bugfixes.

  • 15 november 2022

    • Apache commons-text bijgewerkt naar 1.10.0.
    • Beveiligingsupdates van het besturingssysteem.
    • Diverse bugfixes.

  • 1 november 2022

    • [SPARK-38542][SQL] OnveiligeHashedRelation moet numKeys serialiseren

  • 18 oktober 2022

    • Beveiligingsupdates van het besturingssysteem.

  • woensdag 5 oktober 2022

    • Diverse bugfixes.
    • Beveiligingsupdates van het besturingssysteem.

  • 22 september 2022

    • [SPARK-40089][SQL] Sorteren voor sommige decimale typen oplossen

  • 6 september 2022

    • [SPARK-35542][CORE][ML] Oplossing: Bucketizer gemaakt voor meerdere kolommen met parameters splitsArray, inputCols en outputCols kunnen niet worden geladen nadat deze zijn opgeslagen
    • [SPARK-40079][CORE] Imputer inputCols-validatie voor lege invoercase toevoegen

  • 24 augustus 2022

    • [SPARK-39962][PYTHON][SQL] Projectie toepassen wanneer groepskenmerken leeg zijn
    • Beveiligingsupdates van het besturingssysteem.

  • 9 augustus 2022

    • Beveiligingsupdates van het besturingssysteem.

  • 27 juli 2022

    • Zorg ervoor dat de Delta MERGE-bewerking consistent is wanneer de bron niet-deterministisch is.
    • Beveiligingsupdates van het besturingssysteem.
    • Diverse bugfixes.

  • 13 juli 2022

    • [SPARK-32680][SQL] V2 CTAS niet vooraf verwerken met niet-opgeloste query
    • Het gebruik van systeemeigen cloud-API's voor adreslijstvermelding in Azure is uitgeschakeld.
    • Beveiligingsupdates van het besturingssysteem.

  • 5 juli 2022

    • Beveiligingsupdates van het besturingssysteem.
    • Diverse bugfixes.

  • 2 juni 2022

    • [SPARK-38918][SQL] Geneste kolomsnoei moet kenmerken uitfilteren die niet tot de huidige relatie behoren
    • Beveiligingsupdates van het besturingssysteem.

  • 18 mei 2022

    • Voer een upgrade uit van AWS SDK-versie van 1.11.655 naar 1.11.678.
    • Beveiligingsupdates van het besturingssysteem.
    • Diverse bugfixes.

  • 19 april 2022

    • Beveiligingsupdates van het besturingssysteem.
    • Diverse bugfixes.

  • 6 april 2022

    • Beveiligingsupdates van het besturingssysteem.
    • Diverse bugfixes.

  • 14 maart 2022

    • Verwijder kwetsbare klassen uit log4j 1.2.17 jar
    • Diverse bugfixes.

  • 23 februari 2022

    • [SPARK-37859][SQL] Controleer niet op metagegevens tijdens schemavergelijking

  • 8 februari 2022

    • Upgrade Ubuntu JDK naar 1.8.0.312.
    • Beveiligingsupdates van het besturingssysteem.

  • 1 februari 2022

    • Beveiligingsupdates van het besturingssysteem.

  • 26 januari 2022

    • Er is een fout opgelost waarbij de opdracht OPTIMIZE kon mislukken wanneer het ANSI SQL-dialect werd ingeschakeld.

  • 19 januari 2022

    • Conda-standaardkanaal wordt verwijderd uit 7.3 ML LTS
    • Beveiligingsupdates van het besturingssysteem.

  • 7 december 2021

    • Beveiligingsupdates van het besturingssysteem.

  • 4 november 2021

    • Er is een fout opgelost waardoor Structured Streaming-streams mislukken met een ArrayIndexOutOfBoundsException
    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: No FileSystem for scheme of waardoor wijzigingen sparkContext.hadoopConfiguration mogelijk niet van kracht worden in query's.

  • 15 september 2021

    • Er is een racevoorwaarde opgelost die een queryfout kan veroorzaken met een IOException zoals java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
    • Beveiligingsupdates van het besturingssysteem.

  • 8 september 2021

    • [SPARK-35700][SQL][WARMFIX] Lees de teken-/varchar-orctabel bij het maken en schrijven van externe systemen.
    • [SPARK-36532][CORE][3.1] Er is een impasse opgelost CoarseGrainedExecutorBackend.onDisconnected om te voorkomen dat executorsconnected de uitschakeling van de uitvoerder vastloopt.

  • 25 augustus 2021

    • Snowflake-connector is bijgewerkt naar 2.9.0.

  • 29 juli 2021

    • [SPARK-36034][BUILD] Datum/tijd opnieuw baseeren in gepushte filters naar Parquet
    • [SPARK-34508][BUILD] Overslaan HiveExternalCatalogVersionsSuite als het netwerk niet beschikbaar is

  • 14 juli 2021

    • Er database.schema.table is een indeling geïntroduceerd voor de Azure Synapse-connector.
    • Er is ondersteuning toegevoegd voor het opgeven databaseName.schemaName.tableName van opmaak als doeltabel in plaats van alleen schemaName.tableName of tableName.
    • Er is een fout opgelost waardoor gebruikers niet naar oudere beschikbare versies met Delta-tabellen kunnen reizen.

  • 15 juni 2021

    • Lost een NoSuchElementException fout op in geoptimaliseerde schrijfbewerkingen van Delta Lake die kunnen optreden bij het schrijven van grote hoeveelheden gegevens en het tegenkomen van uitvoerdersverlies
    • Python bijgewerkt met beveiligingspatch om beveiligingsprobleem met Python op te lossen (CVE-2021-3177).

  • 30 april 2021

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-35227][BUILD] De resolver voor spark-packages in SparkSubmit bijwerken
    • [SPARK-34245][CORE] Controleren of master uitvoerders verwijderen die de voltooide status niet hebben verzonden
    • [SPARK-35045][SQL] Een interne optie toevoegen om de invoerbuffer in onvoorzichtigheid te beheren

  • 24 maart 2021

    • [SPARK-34768][SQL] Respecteer de standaardgrootte van de invoerbuffer in Univocity
    • [SPARK-34534] BlockIds-volgorde herstellen bij gebruik van FetchShuffleBlocks om blokken op te halen
    • [SPARK-33118][SQL]TIJDELIJKE TABEL MAKEN mislukt met locatie

  • dinsdag 9 maart 2021

    • Het bijgewerkte stuurprogramma van het Azure Blob-bestandssysteem voor Azure Data Lake Storage Gen2 is nu standaard ingeschakeld. Het brengt meerdere stabiliteitsverbeteringen met zich mee.
    • Padscheidingsteken in Windows herstellen voor databricks-connect get-jar-dir
    • [UI] De href-koppeling van Spark DAG-visualisatie herstellen
    • [DBCONNECT] Ondersteuning voor FlatMapCoGroupsInPandas toevoegen in Databricks Connect 7.3
    • Het uitvoerschema van SHOW DATABASES
    • [SQL] De juiste dynamische pruning-buildsleutel gebruiken wanneer hint voor bereikdeelname aanwezig is
    • Verouderingscontrole uitschakelen voor Delta-tabelbestanden in schijfcache
    • [SQL] Genereer geen advies over willekeurige partitienummers wanneer AOS is ingeschakeld

  • 24 februari 2021

    • Upgrade van de Spark BigQuery-connector naar v0.18, waarin verschillende bugfixes en ondersteuning voor Arrow- en Avro-iterators worden geïntroduceerd.
    • Er is een probleem opgelost waarbij Spark onjuiste resultaten retourneert wanneer de decimale precisie en schaal van het Parquet-bestand verschillen van het Spark-schema.
    • Er is een probleem opgelost met leesfouten in Microsoft SQL Server-tabellen die ruimtelijke gegevenstypen bevatten, door ondersteuning voor JDBC-typen geometrie en geografie toe te voegen voor Spark SQL.
    • Er is een nieuwe configuratie geïntroduceerd spark.databricks.hive.metastore.init.reloadFunctions.enabled. Deze configuratie bepaalt de ingebouwde Hive-initialisatie. Wanneer deze optie is ingesteld op waar, laadt Azure Databricks alle functies opnieuw van alle databases die gebruikers hebben.FunctionRegistry Dit is het standaardgedrag in Hive Metastore. Als deze optie is ingesteld op false, schakelt Azure Databricks dit proces voor optimalisatie uit.
    • [SPARK-34212] Er zijn problemen opgelost met betrekking tot het lezen van decimale gegevens uit Parquet-bestanden.
    • [SPARK-33579][UI] Los de lege pagina van de uitvoerprogramma achter de proxy op.
    • [SPARK-20044][UI] Ondersteuning voor Spark-gebruikersinterface achter omgekeerde front-endproxy met behulp van een padvoorvoegsel.
    • [SPARK-33277][PYSPARK][SQL] Gebruik ContextAwareIterator om te stoppen met verbruik nadat de taak is beëindigd.

  • 4 februari 2021

    • Er is een regressie opgelost waardoor de incrementele uitvoering van een query waarmee een globale limiet wordt ingesteld, zoals SELECT * FROM table LIMIT nrows. De regressie is ervaren door gebruikers die query's uitvoeren via ODBC/JDBC, waarbij serialisatie van pijlen is ingeschakeld.
    • Er is een regressie opgelost waardoor DBFS FUSE niet kan worden gestart wanneer configuraties van clusteromgevingsvariabelen ongeldige bash-syntaxis bevatten.

  • 20 januari 2021

    • Er is een regressie opgelost in de onderhoudsrelease van 12 januari 2021 die een onjuiste AnalysisException kan veroorzaken en zegt dat de kolom dubbelzinnig is in een zelfdeelname. Deze regressie treedt op wanneer een gebruiker een DataFrame koppelt aan het afgeleide DataFrame (een zogenaamde self-join) met de volgende voorwaarden:
      • Deze twee DataFrames hebben gemeenschappelijke kolommen, maar de uitvoer van de self-join heeft geen gemeenschappelijke kolommen. Bijvoorbeeld df.join(df.select($"col" as "new_col"), cond)
      • Het afgeleide DataFrame sluit sommige kolommen uit via select, groupBy of window.
      • De joinvoorwaarde of de volgende transformatie nadat het gekoppelde Dataframe verwijst naar de niet-gemeenschappelijke kolommen. Bijvoorbeeld df.join(df.drop("a"), df("a") === 1)

  • 12 januari 2021

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-33593][SQL] Vectorlezer kreeg onjuiste gegevens met binaire partitiewaarde
    • [SPARK-33677][SQL] LikeSimplification-regel overslaan als het patroon escapeChar bevat
    • [SPARK-33592][ML][PYTHON] Pyspark ML Validator-params in estimatorParamMaps kunnen verloren gaan na het opslaan en opnieuw laden
    • [SPARK-33071][SPARK-33536][SQL] Vermijd het wijzigen van dataset_id van LogicalPlan in join() om DetectAmbiguousSelfJoin niet te verbreken

  • dinsdag 8 december 2020

    • [SPARK-33587][CORE] De uitvoerder doden bij geneste fatale fouten
    • [SPARK-27421][SQL] Filter opgelost voor int-kolom- en waardeklasse java.lang.String bij het verwijderen van de partitiekolom
    • [SPARK-33316][SQL] Ondersteuningsgebruiker heeft nullable Avro-schema geleverd voor niet-nullable katalysatorschema in Avro-schrijven
    • Spark-taken die zijn gestart met Databricks Connect, kunnen voor onbepaalde tijd vastlopen in Executor$TaskRunner.$anonfun$copySessionState executorstacktracering
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 1 december 2020

    • [SPARK-33404][SQL][3.0] Onjuiste resultaten in date_trunc expressies corrigeren
    • [SPARK-33339][PYTHON] De Pyspark-toepassing loopt vast vanwege een fout zonder uitzondering
    • [SPARK-33183][SQL][HOTFIX] Optimizer-regel ElimineertSorts en voegt een fysieke regel toe om redundante sorteringen te verwijderen
    • [SPARK-33371][PYTHON][3.0] Update setup.py en tests voor Python 3.9
    • [SPARK-33391][SQL] element_at met CreateArray niet één gebaseerde index respecteren.
    • [SPARK-33306][SQL]Tijdzone is nodig wanneer cast-datum naar tekenreeks is vereist
    • [SPARK-33260][SQL] Onjuiste resultaten van SortExec corrigeren wanneer sortOrder Stream is

  • 5 november 2020

    • ABFS- en WASB-vergrendeling met betrekking tot UserGroupInformation.getCurrentUser().
    • Los een oneindige lusfout op wanneer de Avro-lezer de MAGIC-bytes leest.
    • Voeg ondersteuning toe voor de bevoegdheid USAGE.
    • Prestatieverbeteringen voor het controleren van bevoegdheden in toegangsbeheer voor tabellen.

  • 13 oktober 2020

    • Beveiligingsupdates van het besturingssysteem.
    • U kunt dbFS lezen en schrijven met behulp van de FUSE-koppeling op /dbfs/ wanneer op een cluster met een hoge gelijktijdigheidsreferentie passthrough is ingeschakeld. Reguliere koppelingen worden ondersteund, maar koppelingen die passthrough-referenties nodig hebben, worden nog niet ondersteund.
    • [SPARK-32999][SQL] Gebruik Utils.getSimpleName om te voorkomen dat u een ongeldige klassenaam in TreeNode raakt
    • [SPARK-32585][SQL] Scala-inventarisatie in ScalaReflection ondersteunen
    • Probleem opgelost met vermelding van mappen in FUSE-koppeling die bestandsnamen met ongeldige XML-tekens bevatten
    • FUSE-koppeling maakt niet langer gebruik van ListMultipartUploads

  • 29 september 2020

    • [SPARK-32718][SQL] Overbodige trefwoorden voor intervaleenheden verwijderen
    • [SPARK-32635][SQL] Vouwbare doorgifte herstellen
    • Voeg een nieuwe configuratie spark.shuffle.io.decoder.consolidateThresholdtoe. Stel de configuratiewaarde in om Long.MAX_VALUE de samenvoeging van netty FrameBuffers over te slaan, waardoor in hoekgevallen wordt voorkomen java.lang.IndexOutOfBoundsException .

  • 25 april 2023

    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 11 april 2023

    • Diverse bugfixes.

  • 29 maart 2023

    • Diverse bugfixes.

  • 14 maart 2023

    • Beveiligingsupdates van het besturingssysteem.

  • 28 februari 2023

    • Beveiligingsupdates van het besturingssysteem.

  • 16 februari 2023

    • Beveiligingsupdates van het besturingssysteem.

  • 31 januari 2023

    • Diverse bugfixes.

  • 18 januari 2023

    • Beveiligingsupdates van het besturingssysteem.

  • 29 november 2022

    • Beveiligingsupdates van het besturingssysteem.

  • 15 november 2022

    • Beveiligingsupdates van het besturingssysteem.
    • Diverse bugfixes.

  • 1 november 2022

    • Beveiligingsupdates van het besturingssysteem.

  • 18 oktober 2022

    • Beveiligingsupdates van het besturingssysteem.
    • 5 oktober 2022
      • Beveiligingsupdates van het besturingssysteem.
    • 24 augustus 2022
      • Beveiligingsupdates van het besturingssysteem.
    • 9 augustus 2022
      • Beveiligingsupdates van het besturingssysteem.
    • 27 juli 2022
      • Beveiligingsupdates van het besturingssysteem.
    • 5 juli 2022
      • Beveiligingsupdates van het besturingssysteem.
    • 2 juni 2022
      • Beveiligingsupdates van het besturingssysteem.
    • 18 mei 2022
      • Beveiligingsupdates van het besturingssysteem.
    • 19 april 2022
      • Beveiligingsupdates van het besturingssysteem.
      • Diverse bugfixes.
    • 6 april 2022
      • Beveiligingsupdates van het besturingssysteem.
      • Diverse bugfixes.
    • 14 maart 2022
      • Diverse bugfixes.
    • 23 februari 2022
      • Diverse bugfixes.
    • 8 februari 2022
      • Upgrade Ubuntu JDK naar 1.8.0.312.
      • Beveiligingsupdates van het besturingssysteem.
    • 1 februari 2022
      • Beveiligingsupdates van het besturingssysteem.
    • 19 januari 2022
      • Beveiligingsupdates van het besturingssysteem.
    • 22 september 2021
      • Beveiligingsupdates van het besturingssysteem.
    • 30 april 2021
      • Beveiligingsupdates van het besturingssysteem.
      • [SPARK-35227][BUILD] De resolver voor spark-packages in SparkSubmit bijwerken
    • 12 januari 2021
      • Beveiligingsupdates van het besturingssysteem.
    • 8 december 2020
      • [SPARK-27421][SQL] Filter opgelost voor int-kolom- en waardeklasse java.lang.String bij het verwijderen van de partitiekolom
      • Beveiligingsupdates van het besturingssysteem.
    • dinsdag 1 december 2020
    • [SPARK-33260][SQL] Onjuiste resultaten van SortExec corrigeren wanneer sortOrder Stream is
    • 3 november 2020
      • Java-versie bijgewerkt van 1.8.0_252 naar 1.8.0_265.
      • ABFS- en WASB-vergrendeling met betrekking tot UserGroupInformation.getCurrentUser() herstellen
    • 13 oktober 2020
      • Beveiligingsupdates van het besturingssysteem.

Uitgebreide ondersteuning voor Databricks Runtime 6.4 (EoS)

Zie Databricks Runtime 6.4 (EoS) en Databricks Runtime 6.4 Extended Support (EoS).

  • 5 juli 2022

    • Beveiligingsupdates van het besturingssysteem.
    • Diverse bugfixes.

  • 2 juni 2022

    • Beveiligingsupdates van het besturingssysteem.

  • 18 mei 2022

    • Beveiligingsupdates van het besturingssysteem.

  • 19 april 2022

    • Beveiligingsupdates van het besturingssysteem.
    • Diverse bugfixes.

  • 6 april 2022

    • Beveiligingsupdates van het besturingssysteem.
    • Diverse bugfixes.

  • 14 maart 2022

    • Verwijder kwetsbare klassen uit log4j 1.2.17 jar
    • Diverse bugfixes.

  • 23 februari 2022

    • Diverse bugfixes.

  • 8 februari 2022

    • Upgrade Ubuntu JDK naar 1.8.0.312.
    • Beveiligingsupdates van het besturingssysteem.

  • 1 februari 2022

    • Beveiligingsupdates van het besturingssysteem.

  • 26 januari 2022

    • Er is een fout opgelost waarbij de opdracht OPTIMIZE kon mislukken wanneer het ANSI SQL-dialect werd ingeschakeld.

  • 19 januari 2022

    • Beveiligingsupdates van het besturingssysteem.

  • 8 december 2021

    • Beveiligingsupdates van het besturingssysteem.

  • 22 september 2021

    • Beveiligingsupdates van het besturingssysteem.

  • 15 juni 2021

    • [SPARK-35576][SQL] De gevoelige informatie in het resultaat van de opdracht Set redact

  • 7 juni 2021

    • Voeg een nieuwe configuratie toe met de naam spark.sql.maven.additionalRemoteRepositories, een door komma's gescheiden tekenreeksconfiguratie van de optionele extra externe maven-spiegel. De waarde wordt standaard ingesteld op https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 april 2021

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-35227][BUILD] De resolver voor spark-packages in SparkSubmit bijwerken

  • dinsdag 9 maart 2021

    • Poort HADOOP-17215 naar het Stuurprogramma van het Azure Blob-bestandssysteem (ondersteuning voor voorwaardelijke overschrijven).
    • Padscheidingsteken in Windows herstellen voor databricks-connect get-jar-dir
    • Ondersteuning toegevoegd voor Hive-metastore-versies 2.3.5, 2.3.6 en 2.3.7
    • Pijl "totalResultsCollected" gerapporteerd onjuist na overloop

  • 24 februari 2021

    • Er is een nieuwe configuratie geïntroduceerd spark.databricks.hive.metastore.init.reloadFunctions.enabled. Deze configuratie bepaalt de ingebouwde Hive-initialisatie. Wanneer deze optie is ingesteld op waar, laadt Azure Databricks alle functies opnieuw van alle databases die gebruikers hebben.FunctionRegistry Dit is het standaardgedrag in Hive Metastore. Als deze optie is ingesteld op false, schakelt Azure Databricks dit proces voor optimalisatie uit.

  • 4 februari 2021

    • Er is een regressie opgelost waardoor de incrementele uitvoering van een query waarmee een globale limiet wordt ingesteld, zoals SELECT * FROM table LIMIT nrows. De regressie is ervaren door gebruikers die query's uitvoeren via ODBC/JDBC, waarbij serialisatie van pijlen is ingeschakeld.
    • Er is een regressie opgelost waardoor DBFS FUSE niet kan worden gestart wanneer configuraties van clusteromgevingsvariabelen ongeldige bash-syntaxis bevatten.

  • 12 januari 2021

    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 8 december 2020

    • [SPARK-27421][SQL] Filter opgelost voor int-kolom- en waardeklasse java.lang.String bij het verwijderen van de partitiekolom
    • [SPARK-33183][SQL] Optimizer-regel ElimineertSorts en voegt een fysieke regel toe om redundante sorteringen te verwijderen
    • [Runtime 6.4 ML GPU] We hebben eerder een onjuiste versie (2.7.8-1+cuda11.1) van NCCL geïnstalleerd. Deze release corrigeert deze naar 2.4.8-1+cuda10.0 die compatibel is met CUDA 10.0.
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 1 december 2020

    • [SPARK-33260][SQL] Onjuiste resultaten van SortExec corrigeren wanneer sortOrder Stream is
    • [SPARK-32635][SQL] Vouwbare doorgifte herstellen

  • 3 november 2020

    • Java-versie bijgewerkt van 1.8.0_252 naar 1.8.0_265.
    • ABFS- en WASB-vergrendeling met betrekking tot UserGroupInformation.getCurrentUser() herstellen
    • Los een oneindige lusfout van avro-lezer op bij het lezen van de MAGIC-bytes.

  • 13 oktober 2020

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-32999][SQL][2.4] Gebruik Utils.getSimpleName om te voorkomen dat u een ongeldige klassenaam in TreeNode raakt
    • Probleem opgelost met vermelding van mappen in FUSE-koppeling die bestandsnamen met ongeldige XML-tekens bevatten
    • FUSE-koppeling maakt niet langer gebruik van ListMultipartUploads

  • 24 september 2020

    • Er is een eerdere beperking opgelost waarbij passthrough op standaardcluster nog steeds de implementatie van het bestandssysteem zou beperken. Gebruikers kunnen nu zonder beperkingen toegang krijgen tot lokale bestandssysteemen.
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 8 september 2020

    • Er is een nieuwe parameter gemaakt voor Azure Synapse Analytics. maxbinlength Deze parameter wordt gebruikt om de kolomlengte van BinaryType-kolommen te bepalen en wordt vertaald als VARBINARY(maxbinlength). Deze kan worden ingesteld met behulp van .option("maxbinlength", n), waarbij 0 < n <= 8000.
    • Azure Storage SDK bijwerken naar 8.6.4 en TCP inschakelen op verbindingen die zijn gemaakt door het WASB-stuurprogramma

  • 25 augustus 2020

    • Probleem opgelost met dubbelzinnige kenmerkomzetting in zelfsamenvoeging

  • 18 augustus 2020

    • [SPARK-32431][SQL] Dubbele geneste kolommen controleren in gelezen uit ingebouwde gegevensbronnen
    • Er is een racevoorwaarde in de AQS-connector opgelost bij het gebruik van Trigger.Once.

  • 11 augustus 2020

    • [SPARK-28676][CORE] Vermijd overmatige logboekregistratie van ContextCleaner

  • 3 augustus 2020

    • U kunt nu de LDA-transformatiefunctie gebruiken op een cluster met passthrough-functionaliteit.
    • Beveiligingsupdates van het besturingssysteem.

  • 7 juli 2020

    • Java-versie bijgewerkt van 1.8.0_232 naar 1.8.0_252.

  • 21 april 2020

    • [SPARK-31312][SQL] Cacheklasse-exemplaar voor het UDF-exemplaar in HiveFunctionWrapper

  • 7 april 2020

    • Om een probleem met pandas udf op te lossen dat niet werkt met PyArrow 0.15.0 en hoger, hebben we een omgevingsvariabele (ARROW_PRE_0_15_IPC_FORMAT=1) toegevoegd om ondersteuning voor deze versies van PyArrow mogelijk te maken. Zie de instructies in [SPARK-29367].

  • 10 maart 2020

    • Geoptimaliseerd automatisch schalen wordt nu standaard gebruikt voor interactieve clusters in het beveiligingsplan.
    • De Snowflake-connector (spark-snowflake_2.11) die is opgenomen in Databricks Runtime, wordt bijgewerkt naar versie 2.5.9. snowflake-jdbc wordt bijgewerkt naar versie 3.12.0.

Databricks Runtime 5.5 LTS (EoS)

Zie Databricks Runtime 5.5 LTS (EoS) en Databricks Runtime 5.5 Extended Support (EoS).

  • 8 december 2021

    • Beveiligingsupdates van het besturingssysteem.

  • 22 september 2021

    • Beveiligingsupdates van het besturingssysteem.

  • 25 augustus 2021

    • Een aantal eerder bijgewerkte Python-pakketten in de uitgebreide ondersteuningsrelease van 5.5 ML downgraded om betere pariteit te behouden met 5,5 ML LTS (nu afgeschaft). Zie [_]/release-notes/runtime/5.5xml.md) voor de bijgewerkte verschillen tussen de twee versies.

  • 15 juni 2021

    • [SPARK-35576][SQL] De gevoelige informatie in het resultaat van de opdracht Set redact

  • 7 juni 2021

    • Voeg een nieuwe configuratie toe met de naam spark.sql.maven.additionalRemoteRepositories, een door komma's gescheiden tekenreeksconfiguratie van de optionele extra externe maven-spiegel. De waarde wordt standaard ingesteld op https://maven-central.storage-download.googleapis.com/maven2/.

  • 30 april 2021

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-35227][BUILD] De resolver voor spark-packages in SparkSubmit bijwerken

  • dinsdag 9 maart 2021

    • Poort HADOOP-17215 naar het Stuurprogramma van het Azure Blob-bestandssysteem (ondersteuning voor voorwaardelijke overschrijven).

  • 24 februari 2021

    • Er is een nieuwe configuratie geïntroduceerd spark.databricks.hive.metastore.init.reloadFunctions.enabled. Deze configuratie bepaalt de ingebouwde Hive-initialisatie. Wanneer deze optie is ingesteld op waar, laadt Azure Databricks alle functies opnieuw van alle databases die gebruikers hebben.FunctionRegistry Dit is het standaardgedrag in Hive Metastore. Als deze optie is ingesteld op false, schakelt Azure Databricks dit proces voor optimalisatie uit.

  • 12 januari 2021

    • Beveiligingsupdates van het besturingssysteem.
    • Oplossing voor [HADOOP-17130].

  • dinsdag 8 december 2020

    • [SPARK-27421][SQL] Filter opgelost voor int-kolom- en waardeklasse java.lang.String bij het verwijderen van de partitiekolom
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 1 december 2020

    • [SPARK-33260][SQL] Onjuiste resultaten van SortExec corrigeren wanneer sortOrder Stream is
    • [SPARK-32635][SQL] Vouwbare doorgifte herstellen

  • 29 oktober 2020

    • Java-versie bijgewerkt van 1.8.0_252 naar 1.8.0_265.
    • ABFS- en WASB-vergrendeling met betrekking tot UserGroupInformation.getCurrentUser() herstellen
    • Los een oneindige lusfout van avro-lezer op bij het lezen van de MAGIC-bytes.

  • 13 oktober 2020

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-32999][SQL][2.4] Gebruik Utils.getSimpleName om te voorkomen dat u een ongeldige klassenaam in TreeNode raakt

  • 24 september 2020

    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 8 september 2020

    • Er is een nieuwe parameter gemaakt voor Azure Synapse Analytics. maxbinlength Deze parameter wordt gebruikt om de kolomlengte van BinaryType-kolommen te bepalen en wordt vertaald als VARBINARY(maxbinlength). Deze kan worden ingesteld met behulp van .option("maxbinlength", n), waarbij 0 < n <= 8000.

  • 18 augustus 2020

    • [SPARK-32431][SQL] Dubbele geneste kolommen controleren in gelezen uit ingebouwde gegevensbronnen
    • Er is een racevoorwaarde in de AQS-connector opgelost bij het gebruik van Trigger.Once.

  • 11 augustus 2020

    • [SPARK-28676][CORE] Vermijd overmatige logboekregistratie van ContextCleaner

  • 3 augustus 2020

    • Beveiligingsupdates voor besturingssysteem

  • 7 juli 2020

    • Java-versie bijgewerkt van 1.8.0_232 naar 1.8.0_252.

  • 21 april 2020

    • [SPARK-31312][SQL] Cacheklasse-exemplaar voor het UDF-exemplaar in HiveFunctionWrapper

  • 7 april 2020

    • Om een probleem met pandas udf op te lossen dat niet werkt met PyArrow 0.15.0 en hoger, hebben we een omgevingsvariabele (ARROW_PRE_0_15_IPC_FORMAT=1) toegevoegd om ondersteuning voor deze versies van PyArrow mogelijk te maken. Zie de instructies in [SPARK-29367].

  • 25 maart 2020

    • De Snowflake-connector (spark-snowflake_2.11) die is opgenomen in Databricks Runtime, wordt bijgewerkt naar versie 2.5.9. snowflake-jdbc wordt bijgewerkt naar versie 3.12.0.

  • 10 maart 2020

    • Taakuitvoer, zoals logboekuitvoer die naar stdout wordt verzonden, is onderworpen aan een maximale grootte van 20 MB. Als de totale uitvoer een grotere grootte heeft, wordt de uitvoering geannuleerd en gemarkeerd als mislukt. Om te voorkomen dat deze limiet wordt bereikt, kunt u voorkomen dat stdout wordt geretourneerd van het stuurprogramma naar door de spark.databricks.driver.disableScalaOutput Spark-configuratie in te stellen op true. Standaard is falsede vlagwaarde . De vlag bepaalt de celuitvoer voor Scala JAR-taken en Scala-notebooks. Als de vlag is ingeschakeld, retourneert Spark geen taakuitvoeringsresultaten naar de client. De vlag heeft geen invloed op de gegevens die zijn geschreven in de logboekbestanden van het cluster. Het instellen van deze vlag wordt alleen aanbevolen voor geautomatiseerde clusters voor JAR-taken, omdat hiermee notebookresultaten worden uitgeschakeld.

  • 18 februari 2020

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 moet uitzondering genereren
    • Referentiepassthrough met ADLS Gen2 heeft een prestatievermindering als gevolg van onjuiste lokale verwerking van threads wanneer prefetching van DE ADLS-client is ingeschakeld. Deze release schakelt ADLS Gen2-prefetching uit wanneer referentiepassthrough is ingeschakeld totdat er een juiste oplossing is.

  • 28 januari 2020

    • [SPARK-30447][SQL] Probleem met constante doorgifte van null-waarde.

  • 14 januari 2020

    • Java-versie bijgewerkt van 1.8.0_222 naar 1.8.0_232.

  • 19 november 2019

    • [SPARK-29743] [SQL] voorbeeld moet needCopyResult instellen op waar als de needCopyResult van het onderliggende kind waar is
    • R-versie is onbedoeld bijgewerkt naar 3.6.1 vanaf 3.6.0. We hebben het teruggegraded naar 3.6.0.

  • 5 november 2019

    • Java-versie bijgewerkt van 1.8.0_212 naar 1.8.0_222.

  • 23 oktober 2019

  • dinsdag 8 oktober 2019

    • Wijzigingen aan de serverzijde om toe te staan dat het ODBC-stuurprogramma van Simba Apache Spark opnieuw verbinding maakt en doorgaat na een verbindingsfout tijdens het ophalen van resultaten (vereist Simba Apache Spark ODBC-stuurprogramma versie 2.6.10).
    • Er is een probleem opgelost met betrekking tot het gebruik van Optimize opdrachten met clusters met tabel-ACL's.
    • Er is een probleem opgelost waarbij pyspark.ml bibliotheken zouden mislukken vanwege de fout Scala UDF verboden op tabel-ACL en referentiepassthrough ingeschakelde clusters.
    • Allowlisted SerDe- en SerDeUtil-methoden voor referentiepassthrough.
    • NullPointerException is opgelost bij het controleren van foutcode in de WASB-client.

  • 24 september 2019

    • Verbeterde stabiliteit van Parquet Writer.
    • Het probleem opgelost dat de Thrift-query is geannuleerd voordat de uitvoering wordt gestart, kan vastlopen in de status GESTART.

  • 10 september 2019

    • Thread-veilige iterator toevoegen aan BytesToBytesMap
    • [SPARK-27992][SPARK-28881]Toestaan dat Python wordt samengevoegd met verbindingsthread om fouten door te geven
    • Er is een fout opgelost die van invloed is op bepaalde globale aggregatiequery's.
    • Verbeterde redaction van referenties.
    • [SPARK-27330][SS] ondersteuningstaak afbreken in foreach writer
    • [SPARK-28642]Referenties verbergen in SHOW CREATE TABLE
    • [SPARK-28699][SQL] Uitschakelen met behulp van radix sorteren voor ShuffleExchangeExec in repartition case

  • 27 augustus 2019

    • [SPARK-20906][SQL]Door de gebruiker opgegeven schema toestaan in de API-to_avro met het schemaregister
    • [SPARK-27838][SQL] Ondersteuningsgebruiker heeft een niet-null-avro-schema geleverd voor een null-katalysatorschema zonder null-record
    • Verbetering van delta lake-tijdreizen
    • Er is een probleem opgelost dat van invloed is op een bepaalde transform expressie
    • Ondersteunt broadcastvariabelen wanneer Procesisolatie is ingeschakeld

  • 13 augustus 2019

    • Delta-streamingbron moet het meest recente protocol van een tabel controleren
    • [SPARK-28260]De status CLOSED toevoegen aan ExecutionState
    • [SPARK-28489][SS]Een bug opgelost die KafkaOffsetRangeCalculator.getRanges kan verschuivingen laten dalen

  • 30 juli 2019

    • [SPARK-28015][SQL] Controleer of stringToDate() volledige invoer verbruikt voor de notatie jjjj en jjjj-[m]m
    • [SPARK-28308][CORE] Sub-tweede deel CalendarInterval moet worden opgevuld voordat u parseert
    • [SPARK-27485]EnsureRequirements.reorder moet dubbele expressies correct verwerken
    • [SPARK-28355][CORE][PYTHON] Spark-conf gebruiken voor drempelwaarde waarbij UDF wordt gecomprimeerd per uitzending

Uitgebreide ondersteuning voor Databricks Light 2.4

Zie Databricks Light 2.4 (EoS) en Databricks Light 2.4 Extended Support (EoS).

Databricks Runtime 7.4 (EoS)

Zie Databricks Runtime 7.4 (EoS).

  • 30 april 2021

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-35227][BUILD] De resolver voor spark-packages in SparkSubmit bijwerken
    • [SPARK-34245][CORE] Controleren of master uitvoerders verwijderen die de voltooide status niet hebben verzonden
    • [SPARK-35045][SQL] Een interne optie toevoegen om de invoerbuffer in onvoorzichtigheid te beheren en een configuratie voor csv-invoerbuffergrootte

  • 24 maart 2021

    • [SPARK-34768][SQL] Respecteer de standaardgrootte van de invoerbuffer in Univocity
    • [SPARK-34534] BlockIds-volgorde herstellen bij gebruik van FetchShuffleBlocks om blokken op te halen

  • dinsdag 9 maart 2021

    • Het bijgewerkte stuurprogramma van het Azure Blob-bestandssysteem voor Azure Data Lake Storage Gen2 is nu standaard ingeschakeld. Het brengt meerdere stabiliteitsverbeteringen met zich mee.
    • [ES-67926][UI] De href-koppeling van Spark DAG-visualisatie herstellen
    • [ES-65064] Het uitvoerschema van SHOW DATABASES
    • [SC-70522][SQL] De juiste dynamische pruning-buildsleutel gebruiken wanneer hint voor bereikdeelname aanwezig is
    • [SC-35081] Verouderingscontrole uitschakelen voor Delta-tabelbestanden in schijfcache
    • [SC-70640] NPE herstellen wanneer het EventGridClient-antwoord geen entiteit heeft
    • [SC-70220][SQL] Genereer geen advies over willekeurige partitienummers wanneer AOS is ingeschakeld

  • 24 februari 2021

    • Upgrade van de Spark BigQuery-connector naar v0.18, waarin verschillende bugfixes en ondersteuning voor Arrow- en Avro-iterators worden geïntroduceerd.
    • Er is een probleem opgelost waarbij Spark onjuiste resultaten retourneert wanneer de decimale precisie en schaal van het Parquet-bestand verschillen van het Spark-schema.
    • Er is een probleem opgelost met leesfouten in Microsoft SQL Server-tabellen die ruimtelijke gegevenstypen bevatten, door ondersteuning voor JDBC-typen geometrie en geografie toe te voegen voor Spark SQL.
    • Er is een nieuwe configuratie geïntroduceerd spark.databricks.hive.metastore.init.reloadFunctions.enabled. Deze configuratie bepaalt de ingebouwde Hive-initialisatie. Wanneer deze optie is ingesteld op waar, laadt Azure Databricks alle functies opnieuw van alle databases die gebruikers hebben.FunctionRegistry Dit is het standaardgedrag in Hive Metastore. Als deze optie is ingesteld op false, schakelt Azure Databricks dit proces voor optimalisatie uit.
    • [SPARK-34212] Er zijn problemen opgelost met betrekking tot het lezen van decimale gegevens uit Parquet-bestanden.
    • [SPARK-33579][UI] Los de lege pagina van de uitvoerprogramma achter de proxy op.
    • [SPARK-20044][UI] Ondersteuning voor Spark-gebruikersinterface achter omgekeerde front-endproxy met behulp van een padvoorvoegsel.
    • [SPARK-33277][PYSPARK][SQL] Gebruik ContextAwareIterator om te stoppen met verbruik nadat de taak is beëindigd.

  • 4 februari 2021

    • Er is een regressie opgelost waardoor de incrementele uitvoering van een query waarmee een globale limiet wordt ingesteld, zoals SELECT * FROM table LIMIT nrows. De regressie is ervaren door gebruikers die query's uitvoeren via ODBC/JDBC, waarbij serialisatie van pijlen is ingeschakeld.
    • Er is een regressie opgelost waardoor DBFS FUSE niet kan worden gestart wanneer configuraties van clusteromgevingsvariabelen ongeldige bash-syntaxis bevatten.

  • 20 januari 2021

    • Er is een regressie opgelost in de onderhoudsrelease van 12 januari 2021 die een onjuiste AnalysisException kan veroorzaken en zegt dat de kolom dubbelzinnig is in een zelfdeelname. Deze regressie treedt op wanneer een gebruiker een DataFrame koppelt aan het afgeleide DataFrame (een zogenaamde self-join) met de volgende voorwaarden:
      • Deze twee DataFrames hebben gemeenschappelijke kolommen, maar de uitvoer van de self-join heeft geen gemeenschappelijke kolommen. Bijvoorbeeld df.join(df.select($"col" as "new_col"), cond)
      • Het afgeleide DataFrame sluit sommige kolommen uit via select, groupBy of window.
      • De joinvoorwaarde of de volgende transformatie nadat het gekoppelde Dataframe verwijst naar de niet-gemeenschappelijke kolommen. Bijvoorbeeld df.join(df.drop("a"), df("a") === 1)

  • 12 januari 2021

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-33593][SQL] Vectorlezer kreeg onjuiste gegevens met binaire partitiewaarde
    • [SPARK-33677][SQL] LikeSimplification-regel overslaan als het patroon escapeChar bevat
    • [SPARK-33071][SPARK-33536][SQL] Vermijd het wijzigen van dataset_id van LogicalPlan in join() om DetectAmbiguousSelfJoin niet te verbreken

  • dinsdag 8 december 2020

    • [SPARK-33587][CORE] De uitvoerder doden bij geneste fatale fouten
    • [SPARK-27421][SQL] Filter opgelost voor int-kolom- en waardeklasse java.lang.String bij het verwijderen van de partitiekolom
    • [SPARK-33316][SQL] Ondersteuningsgebruiker heeft nullable Avro-schema geleverd voor niet-nullable katalysatorschema in Avro-schrijven
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 1 december 2020

    • [SPARK-33404][SQL][3.0] Onjuiste resultaten in date_trunc expressies corrigeren
    • [SPARK-33339][PYTHON] De Pyspark-toepassing loopt vast vanwege een fout zonder uitzondering
    • [SPARK-33183][SQL][HOTFIX] Optimizer-regel ElimineertSorts en voegt een fysieke regel toe om redundante sorteringen te verwijderen
    • [SPARK-33371][PYTHON][3.0] Update setup.py en tests voor Python 3.9
    • [SPARK-33391][SQL] element_at met CreateArray niet één gebaseerde index respecteren.
    • [SPARK-33306][SQL]Tijdzone is nodig wanneer cast-datum naar tekenreeks is vereist
    • [SPARK-33260][SQL] Onjuiste resultaten van SortExec corrigeren wanneer sortOrder Stream is
    • [SPARK-33272][SQL] de toewijzing van kenmerken in QueryPlan.transformUpWithNewOutput verwijderen

Databricks Runtime 7.2 (EoS)

Zie Databricks Runtime 7.2 (EoS).

  • 4 februari 2021

    • Er is een regressie opgelost waardoor de incrementele uitvoering van een query waarmee een globale limiet wordt ingesteld, zoals SELECT * FROM table LIMIT nrows. De regressie is ervaren door gebruikers die query's uitvoeren via ODBC/JDBC, waarbij serialisatie van pijlen is ingeschakeld.
    • Er is een regressie opgelost waardoor DBFS FUSE niet kan worden gestart wanneer configuraties van clusteromgevingsvariabelen ongeldige bash-syntaxis bevatten.

  • 20 januari 2021

    • Er is een regressie opgelost in de onderhoudsrelease van 12 januari 2021 die een onjuiste AnalysisException kan veroorzaken en zegt dat de kolom dubbelzinnig is in een zelfdeelname. Deze regressie treedt op wanneer een gebruiker een DataFrame koppelt aan het afgeleide DataFrame (een zogenaamde self-join) met de volgende voorwaarden:
      • Deze twee DataFrames hebben gemeenschappelijke kolommen, maar de uitvoer van de self-join heeft geen gemeenschappelijke kolommen. Bijvoorbeeld df.join(df.select($"col" as "new_col"), cond)
      • Het afgeleide DataFrame sluit sommige kolommen uit via select, groupBy of window.
      • De joinvoorwaarde of de volgende transformatie nadat het gekoppelde Dataframe verwijst naar de niet-gemeenschappelijke kolommen. Bijvoorbeeld df.join(df.drop("a"), df("a") === 1)

  • 12 januari 2021

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-33593][SQL] Vectorlezer kreeg onjuiste gegevens met binaire partitiewaarde
    • [SPARK-33677][SQL] LikeSimplification-regel overslaan als het patroon escapeChar bevat
    • [SPARK-33071][SPARK-33536][SQL] Vermijd het wijzigen van dataset_id van LogicalPlan in join() om DetectAmbiguousSelfJoin niet te verbreken

  • dinsdag 8 december 2020

    • [SPARK-27421][SQL] Filter opgelost voor int-kolom- en waardeklasse java.lang.String bij het verwijderen van de partitiekolom
    • [SPARK-33404][SQL] Onjuiste resultaten in date_trunc expressies corrigeren
    • [SPARK-33339][PYTHON] De Pyspark-toepassing loopt vast vanwege een fout zonder uitzondering
    • [SPARK-33183][SQL] Optimizer-regel ElimineertSorts en voegt een fysieke regel toe om redundante sorteringen te verwijderen
    • [SPARK-33391][SQL] element_at met CreateArray niet één gebaseerde index respecteren.
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 1 december 2020

    • [SPARK-33306][SQL]Tijdzone is nodig wanneer cast-datum naar tekenreeks is vereist
    • [SPARK-33260][SQL] Onjuiste resultaten van SortExec corrigeren wanneer sortOrder Stream is

  • 3 november 2020

    • Java-versie bijgewerkt van 1.8.0_252 naar 1.8.0_265.
    • ABFS- en WASB-vergrendeling met betrekking tot UserGroupInformation.getCurrentUser() herstellen
    • Los een oneindige lusfout van avro-lezer op bij het lezen van de MAGIC-bytes.

  • 13 oktober 2020

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-32999][SQL] Gebruik Utils.getSimpleName om te voorkomen dat u een ongeldige klassenaam in TreeNode raakt
    • Probleem opgelost met vermelding van mappen in FUSE-koppeling die bestandsnamen met ongeldige XML-tekens bevatten
    • FUSE-koppeling maakt niet langer gebruik van ListMultipartUploads

  • 29 september 2020

    • [SPARK-28863][SQL][WARMFIX] Introduceer AlOptimized om heranalyse van V1FallbackWriters te voorkomen
    • [SPARK-32635][SQL] Vouwbare doorgifte herstellen
    • Voeg een nieuwe configuratie spark.shuffle.io.decoder.consolidateThresholdtoe. Stel de configuratiewaarde in om Long.MAX_VALUE de samenvoeging van netty FrameBuffers over te slaan, waardoor in hoekgevallen wordt voorkomen java.lang.IndexOutOfBoundsException .

  • 24 september 2020

    • [SPARK-32764][SQL] -0.0 moet gelijk zijn aan 0,0
    • [SPARK-32753][SQL] Alleen tags kopiëren naar knooppunt zonder tags bij het transformeren van plannen
    • [SPARK-32659][SQL] Het gegevensprobleem opgelost van het invoegen van dynamische partities voor niet-atomisch type
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 8 september 2020

    • Er is een nieuwe parameter gemaakt voor Azure Synapse Analytics. maxbinlength Deze parameter wordt gebruikt om de kolomlengte van BinaryType-kolommen te bepalen en wordt vertaald als VARBINARY(maxbinlength). Deze kan worden ingesteld met behulp van .option("maxbinlength", n), waarbij 0 < n <= 8000.

Databricks Runtime 7.1 (EoS)

Zie Databricks Runtime 7.1 (EoS).

  • 4 februari 2021

    • Er is een regressie opgelost waardoor DBFS FUSE niet kan worden gestart wanneer configuraties van clusteromgevingsvariabelen ongeldige bash-syntaxis bevatten.

  • 20 januari 2021

    • Er is een regressie opgelost in de onderhoudsrelease van 12 januari 2021 die een onjuiste AnalysisException kan veroorzaken en zegt dat de kolom dubbelzinnig is in een zelfdeelname. Deze regressie treedt op wanneer een gebruiker een DataFrame koppelt aan het afgeleide DataFrame (een zogenaamde self-join) met de volgende voorwaarden:
      • Deze twee DataFrames hebben gemeenschappelijke kolommen, maar de uitvoer van de self-join heeft geen gemeenschappelijke kolommen. Bijvoorbeeld df.join(df.select($"col" as "new_col"), cond)
      • Het afgeleide DataFrame sluit sommige kolommen uit via select, groupBy of window.
      • De joinvoorwaarde of de volgende transformatie nadat het gekoppelde Dataframe verwijst naar de niet-gemeenschappelijke kolommen. Bijvoorbeeld df.join(df.drop("a"), df("a") === 1)

  • 12 januari 2021

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-33593][SQL] Vectorlezer kreeg onjuiste gegevens met binaire partitiewaarde
    • [SPARK-33677][SQL] LikeSimplification-regel overslaan als het patroon escapeChar bevat
    • [SPARK-33071][SPARK-33536][SQL] Vermijd het wijzigen van dataset_id van LogicalPlan in join() om DetectAmbiguousSelfJoin niet te verbreken

  • dinsdag 8 december 2020

    • [SPARK-27421][SQL] Filter opgelost voor int-kolom- en waardeklasse java.lang.String bij het verwijderen van de partitiekolom
    • Spark-taken die zijn gestart met Databricks Connect, kunnen voor onbepaalde tijd vastlopen in Executor$TaskRunner.$anonfun$copySessionState executorstacktracering
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 1 december 2020

    • [SPARK-33404][SQL][3.0] Onjuiste resultaten in date_trunc expressies corrigeren
    • [SPARK-33339][PYTHON] De Pyspark-toepassing loopt vast vanwege een fout zonder uitzondering
    • [SPARK-33183][SQL][HOTFIX] Optimizer-regel ElimineertSorts en voegt een fysieke regel toe om redundante sorteringen te verwijderen
    • [SPARK-33371][PYTHON][3.0] Update setup.py en tests voor Python 3.9
    • [SPARK-33391][SQL] element_at met CreateArray niet één gebaseerde index respecteren.
    • [SPARK-33306][SQL]Tijdzone is nodig wanneer cast-datum naar tekenreeks is vereist

  • 3 november 2020

    • Java-versie bijgewerkt van 1.8.0_252 naar 1.8.0_265.
    • ABFS- en WASB-vergrendeling met betrekking tot UserGroupInformation.getCurrentUser() herstellen
    • Los een oneindige lusfout van avro-lezer op bij het lezen van de MAGIC-bytes.

  • 13 oktober 2020

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-32999][SQL] Gebruik Utils.getSimpleName om te voorkomen dat u een ongeldige klassenaam in TreeNode raakt
    • Probleem opgelost met vermelding van mappen in FUSE-koppeling die bestandsnamen met ongeldige XML-tekens bevatten
    • FUSE-koppeling maakt niet langer gebruik van ListMultipartUploads

  • 29 september 2020

    • [SPARK-28863][SQL][WARMFIX] Introduceer AlOptimized om heranalyse van V1FallbackWriters te voorkomen
    • [SPARK-32635][SQL] Vouwbare doorgifte herstellen
    • Voeg een nieuwe configuratie spark.shuffle.io.decoder.consolidateThresholdtoe. Stel de configuratiewaarde in om Long.MAX_VALUE de samenvoeging van netty FrameBuffers over te slaan, waardoor in hoekgevallen wordt voorkomen java.lang.IndexOutOfBoundsException .

  • 24 september 2020

    • [SPARK-32764][SQL] -0.0 moet gelijk zijn aan 0,0
    • [SPARK-32753][SQL] Alleen tags kopiëren naar knooppunt zonder tags bij het transformeren van plannen
    • [SPARK-32659][SQL] Het gegevensprobleem opgelost van het invoegen van dynamische partities voor niet-atomisch type
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 8 september 2020

    • Er is een nieuwe parameter gemaakt voor Azure Synapse Analytics. maxbinlength Deze parameter wordt gebruikt om de kolomlengte van BinaryType-kolommen te bepalen en wordt vertaald als VARBINARY(maxbinlength). Deze kan worden ingesteld met behulp van .option("maxbinlength", n), waarbij 0 < n <= 8000.

  • 25 augustus 2020

    • [SPARK-32159][SQL] Integratie tussen Aggregator[Array[_], _, _] en UnresolvedMapObjects
    • [SPARK-32559][SQL] Corrigeer de trimlogica waarin UTF8String.toInt/toLongniet-ASCII-tekens niet correct zijn verwerkt
    • [SPARK-32543][R] Gebruik verwijderen arrow::as_tibble in SparkR
    • [SPARK-32091][CORE] Time-outfout negeren bij het verwijderen van blokken op de verloren uitvoerder
    • Er is een probleem opgelost met de Azure Synapse-connector met MSI-referenties
    • Probleem opgelost met dubbelzinnige kenmerkomzetting in zelfsamenvoeging

  • 18 augustus 2020

    • [SPARK-32594][SQL] Serialisatie van datums die zijn ingevoegd in Hive-tabellen oplossen
    • [SPARK-32237][SQL] Hint in CTE oplossen
    • [SPARK-32431][SQL] Dubbele geneste kolommen controleren in gelezen uit ingebouwde gegevensbronnen
    • [SPARK-32467][UI] Coderings-URL twee keer voorkomen bij https-omleiding
    • Er is een racevoorwaarde in de AQS-connector opgelost bij het gebruik van Trigger.Once.

  • 11 augustus 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight mag alleen kenmerken herschrijven voor bovenliggende knooppunten van het conflictplan
    • [SPARK-32234][SQL] Spark SQL-opdrachten mislukken bij het selecteren van de ORC-tabellen

  • 3 augustus 2020

    • U kunt nu de LDA-transformatiefunctie gebruiken op een cluster met passthrough-functionaliteit.

Databricks Runtime 7.0 (EoS)

Zie Databricks Runtime 7.0 (EoS).

  • 4 februari 2021

    • Er is een regressie opgelost waardoor DBFS FUSE niet kan worden gestart wanneer configuraties van clusteromgevingsvariabelen ongeldige bash-syntaxis bevatten.

  • 20 januari 2021

    • Er is een regressie opgelost in de onderhoudsrelease van 12 januari 2021 die een onjuiste AnalysisException kan veroorzaken en zegt dat de kolom dubbelzinnig is in een zelfdeelname. Deze regressie treedt op wanneer een gebruiker een DataFrame koppelt aan het afgeleide DataFrame (een zogenaamde self-join) met de volgende voorwaarden:
      • Deze twee DataFrames hebben gemeenschappelijke kolommen, maar de uitvoer van de self-join heeft geen gemeenschappelijke kolommen. Bijvoorbeeld df.join(df.select($"col" as "new_col"), cond)
      • Het afgeleide DataFrame sluit sommige kolommen uit via select, groupBy of window.
      • De joinvoorwaarde of de volgende transformatie nadat het gekoppelde Dataframe verwijst naar de niet-gemeenschappelijke kolommen. Bijvoorbeeld df.join(df.drop("a"), df("a") === 1)

  • 12 januari 2021

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-33593][SQL] Vectorlezer kreeg onjuiste gegevens met binaire partitiewaarde
    • [SPARK-33677][SQL] LikeSimplification-regel overslaan als het patroon escapeChar bevat
    • [SPARK-33071][SPARK-33536][SQL] Vermijd het wijzigen van dataset_id van LogicalPlan in join() om DetectAmbiguousSelfJoin niet te verbreken

  • dinsdag 8 december 2020

    • [SPARK-27421][SQL] Filter opgelost voor int-kolom- en waardeklasse java.lang.String bij het verwijderen van de partitiekolom
    • [SPARK-33404][SQL] Onjuiste resultaten in date_trunc expressies corrigeren
    • [SPARK-33339][PYTHON] De Pyspark-toepassing loopt vast vanwege een fout zonder uitzondering
    • [SPARK-33183][SQL] Optimizer-regel ElimineertSorts en voegt een fysieke regel toe om redundante sorteringen te verwijderen
    • [SPARK-33391][SQL] element_at met CreateArray niet één gebaseerde index respecteren.
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 1 december 2020

    • [SPARK-33306][SQL]Tijdzone is nodig wanneer cast-datum naar tekenreeks is vereist

  • 3 november 2020

    • Java-versie bijgewerkt van 1.8.0_252 naar 1.8.0_265.
    • ABFS- en WASB-vergrendeling met betrekking tot UserGroupInformation.getCurrentUser() herstellen
    • Los een oneindige lusfout van avro-lezer op bij het lezen van de MAGIC-bytes.

  • 13 oktober 2020

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-32999][SQL] Gebruik Utils.getSimpleName om te voorkomen dat u een ongeldige klassenaam in TreeNode raakt
    • Probleem opgelost met vermelding van mappen in FUSE-koppeling die bestandsnamen met ongeldige XML-tekens bevatten
    • FUSE-koppeling maakt niet langer gebruik van ListMultipartUploads

  • 29 september 2020

    • [SPARK-28863][SQL][WARMFIX] Introduceer AlOptimized om heranalyse van V1FallbackWriters te voorkomen
    • [SPARK-32635][SQL] Vouwbare doorgifte herstellen
    • Voeg een nieuwe configuratie spark.shuffle.io.decoder.consolidateThresholdtoe. Stel de configuratiewaarde in om Long.MAX_VALUE de samenvoeging van netty FrameBuffers over te slaan, waardoor in hoekgevallen wordt voorkomen java.lang.IndexOutOfBoundsException .

  • 24 september 2020

    • [SPARK-32764][SQL] -0.0 moet gelijk zijn aan 0,0
    • [SPARK-32753][SQL] Alleen tags kopiëren naar knooppunt zonder tags bij het transformeren van plannen
    • [SPARK-32659][SQL] Het gegevensprobleem opgelost van het invoegen van dynamische partities voor niet-atomisch type
    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 8 september 2020

    • Er is een nieuwe parameter gemaakt voor Azure Synapse Analytics. maxbinlength Deze parameter wordt gebruikt om de kolomlengte van BinaryType-kolommen te bepalen en wordt vertaald als VARBINARY(maxbinlength). Deze kan worden ingesteld met behulp van .option("maxbinlength", n), waarbij 0 < n <= 8000.

  • 25 augustus 2020

    • [SPARK-32159][SQL] Integratie tussen Aggregator[Array[_], _, _] en UnresolvedMapObjects
    • [SPARK-32559][SQL] Corrigeer de trimlogica waarin UTF8String.toInt/toLongniet-ASCII-tekens niet correct zijn verwerkt
    • [SPARK-32543][R] Gebruik verwijderen arrow::as_tibble in SparkR
    • [SPARK-32091][CORE] Time-outfout negeren bij het verwijderen van blokken op de verloren uitvoerder
    • Er is een probleem opgelost met de Azure Synapse-connector met MSI-referenties
    • Probleem opgelost met dubbelzinnige kenmerkomzetting in zelfsamenvoeging

  • 18 augustus 2020

    • [SPARK-32594][SQL] Serialisatie van datums die zijn ingevoegd in Hive-tabellen oplossen
    • [SPARK-32237][SQL] Hint in CTE oplossen
    • [SPARK-32431][SQL] Dubbele geneste kolommen controleren in gelezen uit ingebouwde gegevensbronnen
    • [SPARK-32467][UI] Coderings-URL twee keer voorkomen bij https-omleiding
    • Er is een racevoorwaarde in de AQS-connector opgelost bij het gebruik van Trigger.Once.

  • 11 augustus 2020

    • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight mag alleen kenmerken herschrijven voor bovenliggende knooppunten van het conflictplan
    • [SPARK-32234][SQL] Spark SQL-opdrachten mislukken bij het selecteren van de ORC-tabellen
    • U kunt nu de LDA-transformatiefunctie gebruiken op een cluster met passthrough-functionaliteit.

Databricks Runtime 6.6 (EoS)

Zie Databricks Runtime 6.6 (EoS).

  • dinsdag 1 december 2020

    • [SPARK-33260][SQL] Onjuiste resultaten van SortExec corrigeren wanneer sortOrder Stream is
    • [SPARK-32635][SQL] Vouwbare doorgifte herstellen

  • 3 november 2020

    • Java-versie bijgewerkt van 1.8.0_252 naar 1.8.0_265.
    • ABFS- en WASB-vergrendeling met betrekking tot UserGroupInformation.getCurrentUser() herstellen
    • Los een oneindige lusfout van avro-lezer op bij het lezen van de MAGIC-bytes.

  • 13 oktober 2020

    • Beveiligingsupdates van het besturingssysteem.
    • [SPARK-32999][SQL][2.4] Gebruik Utils.getSimpleName om te voorkomen dat u een ongeldige klassenaam in TreeNode raakt
    • Probleem opgelost met vermelding van mappen in FUSE-koppeling die bestandsnamen met ongeldige XML-tekens bevatten
    • FUSE-koppeling maakt niet langer gebruik van ListMultipartUploads

  • 24 september 2020

    • Beveiligingsupdates van het besturingssysteem.

  • dinsdag 8 september 2020

    • Er is een nieuwe parameter gemaakt voor Azure Synapse Analytics. maxbinlength Deze parameter wordt gebruikt om de kolomlengte van BinaryType-kolommen te bepalen en wordt vertaald als VARBINARY(maxbinlength). Deze kan worden ingesteld met behulp van .option("maxbinlength", n), waarbij 0 < n <= 8000.
    • Azure Storage SDK bijwerken naar 8.6.4 en TCP inschakelen op verbindingen die zijn gemaakt door het WASB-stuurprogramma

  • 25 augustus 2020

    • Probleem opgelost met dubbelzinnige kenmerkomzetting in zelfsamenvoeging

  • 18 augustus 2020

    • [SPARK-32431][SQL] Dubbele geneste kolommen controleren in gelezen uit ingebouwde gegevensbronnen
    • Er is een racevoorwaarde in de AQS-connector opgelost bij het gebruik van Trigger.Once.

  • 11 augustus 2020

    • [SPARK-28676][CORE] Vermijd overmatige logboekregistratie van ContextCleaner
    • [SPARK-31967][UI] Downgraden naar vis.js 4.21.0 om regressie van de gebruikersinterface voor taken te herstellen

  • 3 augustus 2020

    • U kunt nu de LDA-transformatiefunctie gebruiken op een cluster met passthrough-functionaliteit.
    • Beveiligingsupdates van het besturingssysteem.

Databricks Runtime 6.5 (EoS)

Zie Databricks Runtime 6.5 (EoS).

  • 24 september 2020
    • Er is een eerdere beperking opgelost waarbij passthrough op standaardcluster nog steeds de implementatie van het bestandssysteem zou beperken. Gebruikers kunnen nu zonder beperkingen toegang krijgen tot lokale bestandssysteemen.
    • Beveiligingsupdates van het besturingssysteem.
  • 8 september 2020
    • Er is een nieuwe parameter gemaakt voor Azure Synapse Analytics. maxbinlength Deze parameter wordt gebruikt om de kolomlengte van BinaryType-kolommen te bepalen en wordt vertaald als VARBINARY(maxbinlength). Deze kan worden ingesteld met behulp van .option("maxbinlength", n), waarbij 0 < n <= 8000.
    • Azure Storage SDK bijwerken naar 8.6.4 en TCP inschakelen op verbindingen die zijn gemaakt door het WASB-stuurprogramma
  • 25 augustus 2020
    • Probleem opgelost met dubbelzinnige kenmerkomzetting in zelfsamenvoeging
  • 18 augustus 2020
    • [SPARK-32431][SQL] Dubbele geneste kolommen controleren in gelezen uit ingebouwde gegevensbronnen
    • Er is een racevoorwaarde in de AQS-connector opgelost bij het gebruik van Trigger.Once.
  • 11 augustus 2020
    • [SPARK-28676][CORE] Vermijd overmatige logboekregistratie van ContextCleaner
  • 3 augustus 2020
    • U kunt nu de LDA-transformatiefunctie gebruiken op een cluster met passthrough-functionaliteit.
    • Beveiligingsupdates van het besturingssysteem.
  • 7 juli 2020
    • Java-versie bijgewerkt van 1.8.0_242 naar 1.8.0_252.
  • 21 april 2020
    • [SPARK-31312][SQL] Cacheklasse-exemplaar voor het UDF-exemplaar in HiveFunctionWrapper

Databricks Runtime 6.3 (EoS)

Zie Databricks Runtime 6.3 (EoS).

  • 7 juli 2020
    • Java-versie bijgewerkt van 1.8.0_232 naar 1.8.0_252.
  • 21 april 2020
    • [SPARK-31312][SQL] Cacheklasse-exemplaar voor het UDF-exemplaar in HiveFunctionWrapper
  • 7 april 2020
    • Om een probleem met pandas udf op te lossen dat niet werkt met PyArrow 0.15.0 en hoger, hebben we een omgevingsvariabele (ARROW_PRE_0_15_IPC_FORMAT=1) toegevoegd om ondersteuning voor deze versies van PyArrow mogelijk te maken. Zie de instructies in [SPARK-29367].
  • 10 maart 2020
    • De Snowflake-connector (spark-snowflake_2.11) die is opgenomen in Databricks Runtime, wordt bijgewerkt naar versie 2.5.9. snowflake-jdbc wordt bijgewerkt naar versie 3.12.0.
  • 18 februari 2020
    • Referentiepassthrough met ADLS Gen2 heeft een prestatievermindering als gevolg van onjuiste lokale verwerking van threads wanneer prefetching van DE ADLS-client is ingeschakeld. Deze release schakelt ADLS Gen2-prefetching uit wanneer referentiepassthrough is ingeschakeld totdat er een juiste oplossing is.
  • 11 februari 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 moet uitzondering genereren
    • [SPARK-30447][SQL] Probleem met constante doorgifte van null-waarde
    • [SPARK-28152][SQL] Een verouderde conf toevoegen voor oude MsSqlServerDialect-numerieke toewijzing
    • Allowlisted de overschrijffunctie, zodat MLModels MLWriter de functie kan aanroepen.

Databricks Runtime 6.2 (EoS)

Zie Databricks Runtime 6.2 (EoS).

  • 21 april 2020
    • [SPARK-31312][SQL] Cacheklasse-exemplaar voor het UDF-exemplaar in HiveFunctionWrapper
  • 7 april 2020
    • Om een probleem met pandas udf op te lossen dat niet werkt met PyArrow 0.15.0 en hoger, hebben we een omgevingsvariabele (ARROW_PRE_0_15_IPC_FORMAT=1) toegevoegd om ondersteuning voor deze versies van PyArrow mogelijk te maken. Zie de instructies in [SPARK-29367].
  • 25 maart 2020
    • Taakuitvoer, zoals logboekuitvoer die naar stdout wordt verzonden, is onderworpen aan een maximale grootte van 20 MB. Als de totale uitvoer een grotere grootte heeft, wordt de uitvoering geannuleerd en gemarkeerd als mislukt. Om te voorkomen dat deze limiet wordt bereikt, kunt u voorkomen dat stdout wordt geretourneerd van het stuurprogramma naar door de spark.databricks.driver.disableScalaOutput Spark-configuratie in te stellen op true. Standaard is falsede vlagwaarde . De vlag bepaalt de celuitvoer voor Scala JAR-taken en Scala-notebooks. Als de vlag is ingeschakeld, retourneert Spark geen taakuitvoeringsresultaten naar de client. De vlag heeft geen invloed op de gegevens die zijn geschreven in de logboekbestanden van het cluster. Het instellen van deze vlag wordt alleen aanbevolen voor geautomatiseerde clusters voor JAR-taken, omdat hiermee notebookresultaten worden uitgeschakeld.
  • 10 maart 2020
    • De Snowflake-connector (spark-snowflake_2.11) die is opgenomen in Databricks Runtime, wordt bijgewerkt naar versie 2.5.9. snowflake-jdbc wordt bijgewerkt naar versie 3.12.0.
  • 18 februari 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 moet uitzondering genereren
    • Referentiepassthrough met ADLS Gen2 heeft een prestatievermindering als gevolg van onjuiste lokale verwerking van threads wanneer prefetching van DE ADLS-client is ingeschakeld. Deze release schakelt ADLS Gen2-prefetching uit wanneer referentiepassthrough is ingeschakeld totdat er een juiste oplossing is.
  • 28 januari 2020
    • De overschrijffunctie van allowlisted ML-modelschrijvers voor clusters die zijn ingeschakeld voor referentiepassthrough, zodat het opslaan van het model de overschrijfmodus voor referentiepassthrough-clusters kan gebruiken.
    • [SPARK-30447][SQL] Probleem met constante doorgifte van null-waarde.
    • [SPARK-28152][SQL] Voeg een verouderde conf toe voor oude MsSqlServerDialect-numerieke toewijzing.
  • 14 januari 2020
    • Java-versie bijgewerkt van 1.8.0_222 naar 1.8.0_232.
  • 10 december 2019
    • [SPARK-29904][SQL] Tijdstempels parseren in microsecondenprecisie door JSON-/CSV-gegevensbronnen.

Databricks Runtime 6.1 (EoS)

Zie Databricks Runtime 6.1 (EoS).

  • 7 april 2020
    • Om een probleem met pandas udf op te lossen dat niet werkt met PyArrow 0.15.0 en hoger, hebben we een omgevingsvariabele (ARROW_PRE_0_15_IPC_FORMAT=1) toegevoegd om ondersteuning voor deze versies van PyArrow mogelijk te maken. Zie de instructies in [SPARK-29367].
  • 25 maart 2020
    • Taakuitvoer, zoals logboekuitvoer die naar stdout wordt verzonden, is onderworpen aan een maximale grootte van 20 MB. Als de totale uitvoer een grotere grootte heeft, wordt de uitvoering geannuleerd en gemarkeerd als mislukt. Om te voorkomen dat deze limiet wordt bereikt, kunt u voorkomen dat stdout wordt geretourneerd van het stuurprogramma naar door de spark.databricks.driver.disableScalaOutput Spark-configuratie in te stellen op true. Standaard is falsede vlagwaarde . De vlag bepaalt de celuitvoer voor Scala JAR-taken en Scala-notebooks. Als de vlag is ingeschakeld, retourneert Spark geen taakuitvoeringsresultaten naar de client. De vlag heeft geen invloed op de gegevens die zijn geschreven in de logboekbestanden van het cluster. Het instellen van deze vlag wordt alleen aanbevolen voor geautomatiseerde clusters voor JAR-taken, omdat hiermee notebookresultaten worden uitgeschakeld.
  • 10 maart 2020
    • De Snowflake-connector (spark-snowflake_2.11) die is opgenomen in Databricks Runtime, wordt bijgewerkt naar versie 2.5.9. snowflake-jdbc wordt bijgewerkt naar versie 3.12.0.
  • 18 februari 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 moet uitzondering genereren
    • Referentiepassthrough met ADLS Gen2 heeft een prestatievermindering als gevolg van onjuiste lokale verwerking van threads wanneer prefetching van DE ADLS-client is ingeschakeld. Deze release schakelt ADLS Gen2-prefetching uit wanneer referentiepassthrough is ingeschakeld totdat er een juiste oplossing is.
  • 28 januari 2020
    • [SPARK-30447][SQL] Probleem met constante doorgifte van null-waarde.
    • [SPARK-28152][SQL] Voeg een verouderde conf toe voor oude MsSqlServerDialect-numerieke toewijzing.
  • 14 januari 2020
    • Java-versie bijgewerkt van 1.8.0_222 naar 1.8.0_232.
  • 7 november 2019
  • 5 november 2019
    • Er is een fout opgelost in DBFS FUSE om koppelpunten // in het pad te verwerken.
    • [SPARK-29081] Vervang aanroepen naar SerializationUtils.clone op eigenschappen door een snellere implementatie
    • [SPARK-29244][CORE] BytesToBytesMap gratis opnieuw voorkomen
    • (6,1 ML) Bibliotheek mkl versie 2019.4 is onbedoeld geïnstalleerd. We hebben het gedowngraded naar mkl versie 2019.3 om overeen te komen met Anaconda Distribution 2019.03.

Databricks Runtime 6.0 (EoS)

Zie Databricks Runtime 6.0 (EoS).

  • 25 maart 2020
    • Taakuitvoer, zoals logboekuitvoer die naar stdout wordt verzonden, is onderworpen aan een maximale grootte van 20 MB. Als de totale uitvoer een grotere grootte heeft, wordt de uitvoering geannuleerd en gemarkeerd als mislukt. Om te voorkomen dat deze limiet wordt bereikt, kunt u voorkomen dat stdout wordt geretourneerd van het stuurprogramma naar door de spark.databricks.driver.disableScalaOutput Spark-configuratie in te stellen op true. Standaard is falsede vlagwaarde . De vlag bepaalt de celuitvoer voor Scala JAR-taken en Scala-notebooks. Als de vlag is ingeschakeld, retourneert Spark geen taakuitvoeringsresultaten naar de client. De vlag heeft geen invloed op de gegevens die zijn geschreven in de logboekbestanden van het cluster. Het instellen van deze vlag wordt alleen aanbevolen voor geautomatiseerde clusters voor JAR-taken, omdat hiermee notebookresultaten worden uitgeschakeld.
  • 18 februari 2020
    • Referentiepassthrough met ADLS Gen2 heeft een prestatievermindering als gevolg van onjuiste lokale verwerking van threads wanneer prefetching van DE ADLS-client is ingeschakeld. Deze release schakelt ADLS Gen2-prefetching uit wanneer referentiepassthrough is ingeschakeld totdat er een juiste oplossing is.
  • 11 februari 2020
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 moet uitzondering genereren
  • 28 januari 2020
    • [SPARK-30447][SQL] Probleem met constante doorgifte van null-waarde.
    • [SPARK-28152][SQL] Voeg een verouderde conf toe voor oude MsSqlServerDialect-numerieke toewijzing.
  • 14 januari 2020
    • Java-versie bijgewerkt van 1.8.0_222 naar 1.8.0_232.
  • 19 november 2019
    • [SPARK-29743] [SQL] voorbeeld moet needCopyResult instellen op waar als de needCopyResult van het onderliggende kind waar is
  • 5 november 2019
    • dbutils.tensorboard.start() ondersteunt nu TensorBoard 2.0 (indien handmatig geïnstalleerd).
    • Er is een fout opgelost in DBFS FUSE om koppelpunten // in het pad te verwerken.
    • [SPARK-29081]Vervang aanroepen naar SerializationUtils.clone op eigenschappen door een snellere implementatie
  • 23 oktober 2019
  • 8 oktober 2019
    • Wijzigingen aan de serverzijde om toe te staan dat het ODBC-stuurprogramma van Simba Apache Spark opnieuw verbinding maakt en doorgaat na een verbindingsfout tijdens het ophalen van resultaten (vereist Simba Apache Spark ODBC-stuurprogramma versie 2.6.10).
    • Er is een probleem opgelost met betrekking tot het gebruik van Optimize opdrachten met clusters met tabel-ACL's.
    • Er is een probleem opgelost waarbij pyspark.ml bibliotheken zouden mislukken vanwege de fout Scala UDF verboden op tabel-ACL en referentiepassthrough ingeschakelde clusters.
    • Allowlisted SerDe/SerDeUtil-methoden voor referentiepassthrough.
    • NullPointerException is opgelost bij het controleren van foutcode in de WASB-client.
    • Er is een probleem opgelost waarbij gebruikersreferenties niet werden doorgestuurd naar taken die zijn gemaakt door dbutils.notebook.run().

Databricks Runtime 5.4 ML (EoS)

Zie Databricks Runtime 5.4 voor ML (EoS).

  • 18 juni 2019
    • Verbeterde verwerking van actieve MLflow-uitvoeringen in Hyperopt-integratie
    • Verbeterde berichten in Hyperopt
    • Pakket Marchkdown bijgewerkt van 3.1 tot 3.1.1

Databricks Runtime 5.4 (EoS)

Zie Databricks Runtime 5.4 (EoS).

  • 19 november 2019
    • [SPARK-29743] [SQL] voorbeeld moet needCopyResult instellen op waar als de needCopyResult van het onderliggende kind waar is
  • 8 oktober 2019
    • Wijzigingen aan de serverzijde om het Simba Apache Spark ODBC-stuurprogramma opnieuw verbinding te laten maken en door te gaan na een verbindingsfout tijdens het ophalen van resultaten (vereist update van het Simba Apache Spark ODBC-stuurprogramma naar versie 2.6.10).
    • NullPointerException is opgelost bij het controleren van foutcode in de WASB-client.
  • 10 september 2019
    • Thread-veilige iterator toevoegen aan BytesToBytesMap
    • Er is een fout opgelost die van invloed is op bepaalde globale aggregatiequery's.
    • [SPARK-27330][SS] ondersteuningstaak afbreken in foreach writer
    • [SPARK-28642]Referenties verbergen in SHOW CREATE TABLE
    • [SPARK-28699][SQL] Uitschakelen met behulp van radix sorteren voor ShuffleExchangeExec in repartition case
    • [SPARK-28699][CORE] Een hoekcase herstellen voor het afbreken van onbepaalde fase
  • 27 augustus 2019
    • Er is een probleem opgelost dat van invloed is op bepaalde transform expressies
  • 13 augustus 2019
    • Delta-streamingbron moet het meest recente protocol van een tabel controleren
    • [SPARK-28489][SS]Een bug opgelost die KafkaOffsetRangeCalculator.getRanges kan verschuivingen laten dalen
  • 30 juli 2019
    • [SPARK-28015][SQL] Controleer of stringToDate() volledige invoer verbruikt voor de notatie jjjj en jjjj-[m]m
    • [SPARK-28308][CORE] Sub-tweede deel CalendarInterval moet worden opgevuld voordat u parseert
    • [SPARK-27485]EnsureRequirements.reorder moet dubbele expressies correct verwerken
  • 2 juli 2019
    • Snappy-java bijgewerkt van 1.1.7.1 naar 1.1.7.3.
  • 18 juni 2019
    • Verbeterde verwerking van actieve MLflow-uitvoeringen in MLlib-integratie
    • Verbeterd Databricks Advisor-bericht met betrekking tot het gebruik van schijfcaching
    • Er is een fout opgelost die van invloed is op het gebruik van functies in hogere volgorde
    • Er is een fout opgelost die van invloed is op deltametagegevensquery's

Databricks Runtime 5.3 (EoS)

Zie Databricks Runtime 5.3 (EoS).

  • 7 november 2019
    • [SPARK-29743][SQL] voorbeeld moet needCopyResult instellen op waar als de needCopyResult van het onderliggende kind waar is
  • 8 oktober 2019
    • Wijzigingen aan de serverzijde om het Simba Apache Spark ODBC-stuurprogramma opnieuw verbinding te laten maken en door te gaan na een verbindingsfout tijdens het ophalen van resultaten (vereist update van het Simba Apache Spark ODBC-stuurprogramma naar versie 2.6.10).
    • NullPointerException is opgelost bij het controleren van foutcode in de WASB-client.
  • 10 september 2019
    • Thread-veilige iterator toevoegen aan BytesToBytesMap
    • Er is een fout opgelost die van invloed is op bepaalde globale aggregatiequery's.
    • [SPARK-27330][SS] ondersteuningstaak afbreken in foreach writer
    • [SPARK-28642]Referenties verbergen in SHOW CREATE TABLE
    • [SPARK-28699][SQL] Uitschakelen met behulp van radix sorteren voor ShuffleExchangeExec in repartition case
    • [SPARK-28699][CORE] Een hoekcase herstellen voor het afbreken van onbepaalde fase
  • 27 augustus 2019
    • Er is een probleem opgelost dat van invloed is op bepaalde transform expressies
  • 13 augustus 2019
    • Delta-streamingbron moet het meest recente protocol van een tabel controleren
    • [SPARK-28489][SS]Een bug opgelost die KafkaOffsetRangeCalculator.getRanges kan verschuivingen laten dalen
  • 30 juli 2019
    • [SPARK-28015][SQL] Controleer of stringToDate() volledige invoer verbruikt voor de notatie jjjj en jjjj-[m]m
    • [SPARK-28308][CORE] Sub-tweede deel CalendarInterval moet worden opgevuld voordat u parseert
    • [SPARK-27485]EnsureRequirements.reorder moet dubbele expressies correct verwerken
  • 18 juni 2019
    • Verbeterd Databricks Advisor-bericht met betrekking tot het gebruik van schijfcaching
    • Er is een fout opgelost die van invloed is op het gebruik van functies in hogere volgorde
    • Er is een fout opgelost die van invloed is op deltametagegevensquery's
  • 28 mei 2019
    • Verbeterde stabiliteit van Delta
    • IOExceptions tolereren bij het lezen van Delta LAST_CHECKPOINT-bestand
      • Herstel toegevoegd aan mislukte bibliotheekinstallatie
  • 7 mei 2019
    • Poort HADOOP-15778 (ABFS: Beperking aan clientzijde voor lezen) herstellen naar Azure Data Lake Storage Gen2-connector
    • Poort HADOOP-16040 (ABFS: Bug fix for tolerateOobAppends configuration) naar Azure Data Lake Storage Gen2-connector
    • Er is een fout opgelost die van invloed is op tabel-ACL's
    • Een racevoorwaarde opgelost bij het laden van een Delta-logboekcontrolesombestand
    • Foutdetectielogica van Delta opgelost om 'insert + overwrite' niet te identificeren als pure 'toevoeg'-bewerking
    • Zorg ervoor dat schijfcaching niet is uitgeschakeld wanneer tabel-ACL's zijn ingeschakeld
    • [SPARK-27494][SS] Null-sleutels/-waarden werken niet in Kafka-bron v2
    • [SPARK-27446][R] Gebruik bestaande spark conf indien beschikbaar.
    • [SPARK-27454][SPARK-27454][ML][SQL] Gegevensbron van Spark-installatiekopieën mislukt wanneer er illegale installatiekopieën worden tegengekomen
    • [SPARK-27160][SQL] DecimalType herstellen bij het bouwen van orc-filters
    • [SPARK-27338][CORE] Impasse tussen UnsafeExternalSorter en TaskMemoryManager oplossen

Databricks Runtime 5.2 (EoS)

Zie Databricks Runtime 5.2 (EoS).

  • 10 september 2019
    • Thread-veilige iterator toevoegen aan BytesToBytesMap
    • Er is een fout opgelost die van invloed is op bepaalde globale aggregatiequery's.
    • [SPARK-27330][SS] ondersteuningstaak afbreken in foreach writer
    • [SPARK-28642]Referenties verbergen in SHOW CREATE TABLE
    • [SPARK-28699][SQL] Uitschakelen met behulp van radix sorteren voor ShuffleExchangeExec in repartition case
    • [SPARK-28699][CORE] Een hoekcase herstellen voor het afbreken van onbepaalde fase
  • 27 augustus 2019
    • Er is een probleem opgelost dat van invloed is op bepaalde transform expressies
  • 13 augustus 2019
    • Delta-streamingbron moet het meest recente protocol van een tabel controleren
    • [SPARK-28489][SS]Een bug opgelost die KafkaOffsetRangeCalculator.getRanges kan verschuivingen laten dalen
  • 30 juli 2019
    • [SPARK-28015][SQL] Controleer of stringToDate() volledige invoer verbruikt voor de notatie jjjj en jjjj-[m]m
    • [SPARK-28308][CORE] Sub-tweede deel CalendarInterval moet worden opgevuld voordat u parseert
    • [SPARK-27485]EnsureRequirements.reorder moet dubbele expressies correct verwerken
  • 2 juli 2019
    • IOExceptions tolereren bij het lezen van Delta LAST_CHECKPOINT-bestand
  • 18 juni 2019
    • Verbeterd Databricks Advisor-bericht met betrekking tot het gebruik van schijfcache
    • Er is een fout opgelost die van invloed is op het gebruik van functies in hogere volgorde
    • Er is een fout opgelost die van invloed is op deltametagegevensquery's
  • 28 mei 2019
    • Herstel toegevoegd aan mislukte bibliotheekinstallatie
  • 7 mei 2019
    • Poort HADOOP-15778 (ABFS: Beperking aan clientzijde voor lezen) herstellen naar Azure Data Lake Storage Gen2-connector
    • Poort HADOOP-16040 (ABFS: Bug fix for tolerateOobAppends configuration) naar Azure Data Lake Storage Gen2-connector
    • Een racevoorwaarde opgelost bij het laden van een Delta-logboekcontrolesombestand
    • Foutdetectielogica van Delta opgelost om 'insert + overwrite' niet te identificeren als pure 'toevoeg'-bewerking
    • Zorg ervoor dat schijfcaching niet is uitgeschakeld wanneer tabel-ACL's zijn ingeschakeld
    • [SPARK-27494][SS] Null-sleutels/-waarden werken niet in Kafka-bron v2
    • [SPARK-27454][SPARK-27454][ML][SQL] Gegevensbron van Spark-installatiekopieën mislukt wanneer er illegale installatiekopieën worden tegengekomen
    • [SPARK-27160][SQL] DecimalType herstellen bij het bouwen van orc-filters
    • [SPARK-27338][CORE] Impasse tussen UnsafeExternalSorter en TaskMemoryManager oplossen
  • 26 maart 2019
    • Vermijd het insluiten van platformafhankelijke offsets letterlijk in volledig gegenereerde code
    • [SPARK-26665][CORE] Er is een bug opgelost die BlockTransferService.fetchBlockSync voor altijd vastloopt.
    • [SPARK-27134][SQL] array_distinct functie werkt niet correct met kolommen met matrixmatrix.
    • [SPARK-24669][SQL] Tabellen ongeldig maken in het geval van DROP DATABASE CASCADE.
    • [SPARK-26572][SQL] corrigeer de evaluatie van het resultaat van het samenvoegingscodegen.
    • Er is een fout opgelost die van invloed is op bepaalde PythonUDFs.
  • 26 februari 2019
    • [SPARK-26864][SQL] Query kan een onjuist resultaat retourneren wanneer Python udf wordt gebruikt als voorwaarde voor links-semi-join.
    • [SPARK-26887][PYTHON] Maak datetime.date rechtstreeks in plaats van datetime64 als tussenliggende gegevens te maken.
    • Er is een fout opgelost die van invloed is op de JDBC-/ODBC-server.
    • Er is een fout opgelost die van invloed was op PySpark.
    • Sluit de verborgen bestanden uit bij het bouwen van HadoopRDD.
    • Er is een fout opgelost in Delta die serialisatieproblemen veroorzaakte.
  • 12 februari 2019
    • Er is een probleem opgelost met het gebruik van Delta met Azure ADLS Gen2-koppelpunten.
    • Er is een probleem opgelost waarbij het netwerkprotocol van Spark op laag niveau mogelijk is verbroken bij het verzenden van grote RPC-foutberichten waarvoor versleuteling is ingeschakeld (wanneer spark.network.crypto.enabled deze is ingesteld op waar).
  • 30 januari 2019
    • De StackOverflowError is opgelost bij het plaatsen van een scheefheidshint voor de relatie in de cache.
    • De inconsistentie tussen de RDD in de cache van een SQL-cache en het fysieke plan is opgelost, wat een onjuist resultaat veroorzaakt.
    • [SPARK-26706][SQL] Oplossing illegalNumericPrecedence voor ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery verwerkt geen lege records correct.
    • CSV-/JSON-gegevensbronnen moeten globbing-paden voorkomen bij het uitstellen van het schema.
    • Er is een beperkingsdeductie opgelost voor de vensteroperator.
    • Er is een probleem opgelost met betrekking tot het installeren van eibibliotheken met clusters waarvoor tabel-ACL is ingeschakeld.

Databricks Runtime 5.1 (EoS)

Zie Databricks Runtime 5.1 (EoS).

  • 13 augustus 2019
    • Delta-streamingbron moet het meest recente protocol van een tabel controleren
    • [SPARK-28489][SS]Een bug opgelost die KafkaOffsetRangeCalculator.getRanges kan verschuivingen laten dalen
  • 30 juli 2019
    • [SPARK-28015][SQL] Controleer of stringToDate() volledige invoer verbruikt voor de notatie jjjj en jjjj-[m]m
    • [SPARK-28308][CORE] Sub-tweede deel CalendarInterval moet worden opgevuld voordat u parseert
    • [SPARK-27485]EnsureRequirements.reorder moet dubbele expressies correct verwerken
  • 2 juli 2019
    • IOExceptions tolereren bij het lezen van Delta LAST_CHECKPOINT-bestand
  • 18 juni 2019
    • Er is een fout opgelost die van invloed is op het gebruik van functies in hogere volgorde
    • Er is een fout opgelost die van invloed is op deltametagegevensquery's
  • 28 mei 2019
    • Herstel toegevoegd aan mislukte bibliotheekinstallatie
  • 7 mei 2019
    • Poort HADOOP-15778 (ABFS: Beperking aan clientzijde voor lezen) herstellen naar Azure Data Lake Storage Gen2-connector
    • Poort HADOOP-16040 (ABFS: Bug fix for tolerateOobAppends configuration) naar Azure Data Lake Storage Gen2-connector
    • Een racevoorwaarde opgelost bij het laden van een Delta-logboekcontrolesombestand
    • Foutdetectielogica van Delta opgelost om 'insert + overwrite' niet te identificeren als pure 'toevoeg'-bewerking
    • [SPARK-27494][SS] Null-sleutels/-waarden werken niet in Kafka-bron v2
    • [SPARK-27454][SPARK-27454][ML][SQL] Gegevensbron van Spark-installatiekopieën mislukt wanneer er illegale installatiekopieën worden tegengekomen
    • [SPARK-27160][SQL] DecimalType herstellen bij het bouwen van orc-filters
    • [SPARK-27338][CORE] Impasse tussen UnsafeExternalSorter en TaskMemoryManager oplossen
  • 26 maart 2019
    • Vermijd het insluiten van platformafhankelijke offsets letterlijk in volledig gegenereerde code
    • Er is een fout opgelost die van invloed is op bepaalde PythonUDFs.
  • 26 februari 2019
    • [SPARK-26864][SQL] Query kan een onjuist resultaat retourneren wanneer Python udf wordt gebruikt als voorwaarde voor links-semi-join.
    • Er is een fout opgelost die van invloed is op de JDBC-/ODBC-server.
    • Sluit de verborgen bestanden uit bij het bouwen van HadoopRDD.
  • 12 februari 2019
    • Er is een probleem opgelost met betrekking tot het installeren van eibibliotheken met clusters waarvoor tabel-ACL is ingeschakeld.
    • De inconsistentie tussen de RDD in de cache van een SQL-cache en het fysieke plan is opgelost, wat een onjuist resultaat veroorzaakt.
    • [SPARK-26706][SQL] Oplossing illegalNumericPrecedence voor ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery verwerkt geen lege records correct.
    • Er is een beperkingsdeductie opgelost voor de vensteroperator.
    • Er is een probleem opgelost waarbij het netwerkprotocol van Spark op laag niveau mogelijk is verbroken bij het verzenden van grote RPC-foutberichten waarvoor versleuteling is ingeschakeld (wanneer spark.network.crypto.enabled deze is ingesteld op waar).
  • 30 januari 2019
    • Er is een probleem opgelost waardoor df.rdd.count() UDT een onjuist antwoord voor bepaalde gevallen retourneert.
    • Er is een probleem opgelost met betrekking tot het installeren van stuurhuizen.
    • [SPARK-26267]Probeer het opnieuw bij het detecteren van onjuiste offsets van Kafka.
    • Er is een fout opgelost die van invloed is op meerdere bestandsstroombronnen in een streamingquery.
    • De StackOverflowError is opgelost bij het plaatsen van een scheefheidshint voor de relatie in de cache.
    • De inconsistentie tussen de RDD in de cache van een SQL-cache en het fysieke plan is opgelost, wat een onjuist resultaat veroorzaakt.
  • 8 januari 2019
    • Probleem opgelost waardoor de fout org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelistedwordt veroorzaakt.
    • [SPARK-26352]het opnieuw ordenen van joins mag de volgorde van uitvoerkenmerken niet wijzigen.
    • [SPARK-26366]ReplaceExceptWithFilter moet NULL beschouwen als Onwaar.
    • Stabiliteitsverbetering voor Delta Lake.
    • Delta Lake is ingeschakeld.
    • Er is een probleem opgelost waarbij de toegang tot Azure Data Lake Storage Gen2 is mislukt wanneer Microsoft Entra ID Credential Passthrough is ingeschakeld voor Azure Data Lake Storage Gen1.
    • Databricks IO Cache is nu ingeschakeld voor werkroltypen uit de Ls-serie voor alle prijscategorieën.

Databricks Runtime 5.0 (EoS)

Zie Databricks Runtime 5.0 (EoS).

  • 18 juni 2019
    • Er is een fout opgelost die van invloed is op het gebruik van functies in hogere volgorde
  • 7 mei 2019
    • Een racevoorwaarde opgelost bij het laden van een Delta-logboekcontrolesombestand
    • Foutdetectielogica van Delta opgelost om 'insert + overwrite' niet te identificeren als pure 'toevoeg'-bewerking
    • [SPARK-27494][SS] Null-sleutels/-waarden werken niet in Kafka-bron v2
    • [SPARK-27454][SPARK-27454][ML][SQL] Gegevensbron van Spark-installatiekopieën mislukt wanneer er illegale installatiekopieën worden tegengekomen
    • [SPARK-27160][SQL] DecimalType herstellen bij het bouwen van orc-filters
      • [SPARK-27338][CORE] Impasse tussen UnsafeExternalSorter en TaskMemoryManager oplossen
  • 26 maart 2019
    • Vermijd het insluiten van platformafhankelijke offsets letterlijk in volledig gegenereerde code
    • Er is een fout opgelost die van invloed is op bepaalde PythonUDFs.
  • 12 maart 2019
    • [SPARK-26864][SQL] Query kan een onjuist resultaat retourneren wanneer Python udf wordt gebruikt als voorwaarde voor links-semi-join.
  • 26 februari 2019
    • Er is een fout opgelost die van invloed is op de JDBC-/ODBC-server.
    • Sluit de verborgen bestanden uit bij het bouwen van HadoopRDD.
  • 12 februari 2019
    • De inconsistentie tussen de RDD in de cache van een SQL-cache en het fysieke plan is opgelost, wat een onjuist resultaat veroorzaakt.
    • [SPARK-26706][SQL] Oplossing illegalNumericPrecedence voor ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery verwerkt geen lege records correct.
    • Er is een beperkingsdeductie opgelost voor de vensteroperator.
    • Er is een probleem opgelost waarbij het netwerkprotocol van Spark op laag niveau mogelijk is verbroken bij het verzenden van grote RPC-foutberichten waarvoor versleuteling is ingeschakeld (wanneer spark.network.crypto.enabled deze is ingesteld op waar).
  • 30 januari 2019
    • Er is een probleem opgelost waardoor df.rdd.count() UDT een onjuist antwoord voor bepaalde gevallen retourneert.
    • [SPARK-26267]Probeer het opnieuw bij het detecteren van onjuiste offsets van Kafka.
    • Er is een fout opgelost die van invloed is op meerdere bestandsstroombronnen in een streamingquery.
    • De StackOverflowError is opgelost bij het plaatsen van een scheefheidshint voor de relatie in de cache.
    • De inconsistentie tussen de RDD in de cache van een SQL-cache en het fysieke plan is opgelost, wat een onjuist resultaat veroorzaakt.
  • 8 januari 2019
    • Er is een probleem opgelost waardoor de fout org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelistedwerd veroorzaakt.
    • [SPARK-26352]het opnieuw ordenen van joins mag de volgorde van uitvoerkenmerken niet wijzigen.
    • [SPARK-26366]ReplaceExceptWithFilter moet NULL beschouwen als Onwaar.
    • Stabiliteitsverbetering voor Delta Lake.
    • Delta Lake is ingeschakeld.
    • Databricks IO Cache is nu ingeschakeld voor werkroltypen uit de Ls-serie voor alle prijscategorieën.
  • 18 december 2018
    • [SPARK-26293]Cast-uitzondering bij het gebruik van Python UDF in subquery
    • Er is een probleem opgelost met betrekking tot bepaalde query's met behulp van Join en Limit.
    • Redacted credentials from RDD names in Spark UI (Referenties van RDD-namen in spark-gebruikersinterface)
  • 6 december 2018
    • Er is een probleem opgelost waarbij een onjuist queryresultaat werd veroorzaakt bij het gebruik van orderBy, direct gevolgd door groupBy met een group-by-sleutel als het voorloopgedeelte van de sorteersleutel.
    • Snowflake-connector voor Spark bijgewerkt van 2.4.9.2-spark_2.4_pre_release naar 2.4.10.
    • Negeer beschadigde bestanden alleen na een of meer nieuwe pogingen wanneer spark.sql.files.ignoreCorruptFiles of spark.sql.files.ignoreMissingFiles vlag is ingeschakeld.
    • Er is een probleem opgelost dat van invloed is op bepaalde zelf-samenvoegquery's.
    • Er is een fout opgelost met de thriftserver waarbij sessies soms worden gelekt wanneer ze worden geannuleerd.
    • [SPARK-26307]CTAS opgelost bij INSERT a partitioned table using Hive SerDe.
    • [SPARK-26147]Python UDF's in joinvoorwaarde mislukken zelfs wanneer u kolommen van slechts één zijde van join gebruikt
    • [SPARK-26211]Corrik InSet voor binair en struct en matrix met null.
    • [SPARK-26181]de hasMinMaxStats methode ColumnStatsMap niet juist is.
    • Er is een probleem opgelost met betrekking tot het installeren van Python Wheels in omgevingen zonder internettoegang.
  • 20 november 2018
    • Er is een probleem opgelost waardoor een notebook niet bruikbaar was na het annuleren van een streamingquery.
    • Er is een probleem opgelost met betrekking tot bepaalde query's met behulp van vensterfuncties.
    • Er is een probleem opgelost met betrekking tot een stroom van Delta met meerdere schemawijzigingen.
    • Er is een probleem opgelost met betrekking tot bepaalde aggregatiequery's met Linker Semi/Anti-joins.

Databricks Runtime 4.3 (EoS)

Zie Databricks Runtime 4.3 (EoS).

  • dinsdag 9 april 2019

    • [SPARK-26665][CORE] Los een fout op waardoor BlockTransferService.fetchBlockSync voor altijd vastloopt.
    • [SPARK-24669][SQL] Tabellen ongeldig maken in het geval van DROP DATABASE CASCADE.

  • 12 maart 2019

    • Er is een fout opgelost die van invloed is op het genereren van code.
    • Er is een fout opgelost die van invloed is op Delta.

  • 26 februari 2019

    • Er is een fout opgelost die van invloed is op de JDBC-/ODBC-server.

  • 12 februari 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery verwerkt geen lege records correct.
    • De verborgen bestanden uitsluiten bij het bouwen van HadoopRDD.
    • De Parquet-filterconversie voor IN-predicaat is opgelost wanneer de waarde leeg is.
    • Er is een probleem opgelost waarbij het netwerkprotocol van Spark op laag niveau mogelijk is verbroken bij het verzenden van grote RPC-foutberichten waarvoor versleuteling is ingeschakeld (wanneer spark.network.crypto.enabled deze is ingesteld op waar).

  • 30 januari 2019

    • Er is een probleem opgelost waardoor df.rdd.count() UDT een onjuist antwoord voor bepaalde gevallen retourneert.
    • De inconsistentie tussen de RDD in de cache van een SQL-cache en het fysieke plan is opgelost, wat een onjuist resultaat veroorzaakt.

  • dinsdag 8 januari 2019

    • Het probleem opgelost dat de fout org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelistedveroorzaakt.
    • Redacted credentials from RDD names in Spark UI (Referenties van RDD-namen in spark-gebruikersinterface)
    • [SPARK-26352]het opnieuw ordenen van joins mag de volgorde van uitvoerkenmerken niet wijzigen.
    • [SPARK-26366]ReplaceExceptWithFilter moet NULL beschouwen als Onwaar.
    • Delta Lake is ingeschakeld.
    • Databricks IO Cache is nu ingeschakeld voor werkroltypen uit de Ls-serie voor alle prijscategorieën.

  • 18 december 2018

    • [SPARK-25002]Avro: wijzig de naamruimte van de uitvoerrecord.
    • Er is een probleem opgelost met betrekking tot bepaalde query's met behulp van Join en Limit.
    • [SPARK-26307]CTAS opgelost bij INSERT a partitioned table using Hive SerDe.
    • Negeer beschadigde bestanden alleen na een of meer nieuwe pogingen wanneer spark.sql.files.ignoreCorruptFiles of spark.sql.files.ignoreMissingFiles vlag is ingeschakeld.
    • [SPARK-26181]de hasMinMaxStats methode ColumnStatsMap niet juist is.
    • Er is een probleem opgelost met betrekking tot het installeren van Python Wheels in omgevingen zonder internettoegang.
    • Er is een prestatieprobleem opgelost in query analyzer.
    • Er is een probleem opgelost in PySpark waardoor DataFrame-acties zijn mislukt met de fout 'verbinding geweigerd'.
    • Er is een probleem opgelost dat van invloed is op bepaalde zelf-samenvoegquery's.

  • 20 november 2018

    • [SPARK-17916][SPARK-25241]Probleem opgelost dat een lege tekenreeks wordt geparseerd als null wanneer nullValue is ingesteld.
    • [SPARK-25387]Oplossing voor NPE veroorzaakt door ongeldige CSV-invoer.
    • Er is een probleem opgelost met betrekking tot bepaalde aggregatiequery's met Linker Semi/Anti-joins.

  • 6 november 2018

    • [SPARK-25741]Lange URL's worden niet goed weergegeven in de webgebruikersinterface.
    • [SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.
    • Er is een probleem opgelost met betrekking tot het opschonen van tijdelijke objecten in de Synapse Analytics-connector.
    • [SPARK-25816]Oplossing van kenmerkresolutie in geneste extractors.

  • 16 oktober 2018

    • Er is een fout opgelost die van invloed was op de uitvoer van uitvoering SHOW CREATE TABLE op Delta-tabellen.
    • Er is een fout opgelost die van invloed is op Union de bewerking.

  • 25 september 2018

    • [SPARK-25368][SQL] Onjuiste beperkingsdeductie retourneert een onjuist resultaat.
    • [SPARK-25402][SQL] Null-verwerking in BooleanSimplification.
    • Opgelost NotSerializableException in de Avro-gegevensbron.

  • 11 september 2018

    • [SPARK-25214][SS] Los het probleem op dat kafka v2-bron dubbele records kan retourneren wanneer failOnDataLoss=false.
    • [SPARK-24987][SS] Los het lek van kafka-consumenten op wanneer er geen nieuwe offsets voor articlePartition zijn.
    • Filterreductie moet null-waarde correct verwerken.
    • Verbeterde stabiliteit van de uitvoeringsengine.

  • 28 augustus 2018

    • Er is een fout opgelost in de opdracht Delta Lake Delete waarmee de rijen waarin de voorwaarde wordt geëvalueerd, niet correct zouden worden verwijderd.
    • [SPARK-25142]Voeg foutberichten toe wanneer Python-werkrol socket niet kon openen in _load_from_socket.

  • 23 augustus 2018

    • [SPARK-23935]mapEntry gooit org.codehaus.commons.compiler.CompileException.
    • Er is een probleem opgelost met de null-toewijzing in Parquet-lezer.
    • [SPARK-25051][SQL] FixNullability mag niet stoppen op AnalysisBarrier.
    • [SPARK-25081]Er is een fout opgelost waarbij ShuffleExternalSorter toegang heeft tot een vrijgegeven geheugenpagina wanneer het overlopen van geheugen mislukt.
    • Er is een interactie opgelost tussen Databricks Delta en Pyspark, wat tijdelijke leesfouten kon veroorzaken.
    • [SPARK-25084]" distribueren door" op meerdere kolommen (tussen vierkante haken) kan leiden tot een probleem met het codegen.
    • [SPARK-25096]Losmaken van null-baarheid als de cast geforceerd nullable is.
    • Verlaag het standaardaantal threads dat wordt gebruikt door de opdracht Delta Lake Optimize, waardoor de geheugenoverhead wordt verminderd en gegevens sneller worden doorgevoerd.
    • [SPARK-25114]Fix RecordBinaryComparator wanneer aftrekken tussen twee woorden deelbaar is door Integer.MAX_VALUE.
    • Opgeloste redaction van secret manager wanneer de opdracht gedeeltelijk is geslaagd.

Databricks Runtime 4.2 (EoS)

Zie Databricks Runtime 4.2 (EoS).

  • 26 februari 2019

    • Er is een fout opgelost die van invloed is op de JDBC-/ODBC-server.

  • 12 februari 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery verwerkt geen lege records correct.
    • De verborgen bestanden uitsluiten bij het bouwen van HadoopRDD.
    • De Parquet-filterconversie voor IN-predicaat is opgelost wanneer de waarde leeg is.
    • Er is een probleem opgelost waarbij het netwerkprotocol van Spark op laag niveau mogelijk is verbroken bij het verzenden van grote RPC-foutberichten waarvoor versleuteling is ingeschakeld (wanneer spark.network.crypto.enabled deze is ingesteld op waar).

  • 30 januari 2019

    • Er is een probleem opgelost waardoor df.rdd.count() UDT een onjuist antwoord voor bepaalde gevallen retourneert.

  • dinsdag 8 januari 2019

    • Probleem opgelost waardoor de fout org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelistedwordt veroorzaakt.
    • Redacted credentials from RDD names in Spark UI (Referenties van RDD-namen in spark-gebruikersinterface)
    • [SPARK-26352]het opnieuw ordenen van joins mag de volgorde van uitvoerkenmerken niet wijzigen.
    • [SPARK-26366]ReplaceExceptWithFilter moet NULL beschouwen als Onwaar.
    • Delta Lake is ingeschakeld.
    • Databricks IO Cache is nu ingeschakeld voor werkroltypen uit de Ls-serie voor alle prijscategorieën.

  • 18 december 2018

    • [SPARK-25002]Avro: wijzig de naamruimte van de uitvoerrecord.
    • Er is een probleem opgelost met betrekking tot bepaalde query's met behulp van Join en Limit.
    • [SPARK-26307]CTAS opgelost bij INSERT a partitioned table using Hive SerDe.
    • Negeer beschadigde bestanden alleen na een of meer nieuwe pogingen wanneer spark.sql.files.ignoreCorruptFiles of spark.sql.files.ignoreMissingFiles vlag is ingeschakeld.
    • [SPARK-26181]de hasMinMaxStats methode ColumnStatsMap niet juist is.
    • Er is een probleem opgelost met betrekking tot het installeren van Python Wheels in omgevingen zonder internettoegang.
    • Er is een prestatieprobleem opgelost in query analyzer.
    • Er is een probleem opgelost in PySpark waardoor DataFrame-acties zijn mislukt met de fout 'verbinding geweigerd'.
    • Er is een probleem opgelost dat van invloed is op bepaalde zelf-samenvoegquery's.

  • 20 november 2018

    • [SPARK-17916][SPARK-25241]Probleem opgelost dat een lege tekenreeks wordt geparseerd als null wanneer nullValue is ingesteld.
    • Er is een probleem opgelost met betrekking tot bepaalde aggregatiequery's met Linker Semi/Anti-joins.

  • 6 november 2018

    • [SPARK-25741]Lange URL's worden niet goed weergegeven in de webgebruikersinterface.
    • [SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.

  • 16 oktober 2018

    • Er is een fout opgelost die van invloed was op de uitvoer van uitvoering SHOW CREATE TABLE op Delta-tabellen.
    • Er is een fout opgelost die van invloed is op Union de bewerking.

  • 25 september 2018

    • [SPARK-25368][SQL] Onjuiste beperkingsdeductie retourneert een onjuist resultaat.
    • [SPARK-25402][SQL] Null-verwerking in BooleanSimplification.
    • Opgelost NotSerializableException in de Avro-gegevensbron.

  • 11 september 2018

    • [SPARK-25214][SS] Los het probleem op dat kafka v2-bron dubbele records kan retourneren wanneer failOnDataLoss=false.
    • [SPARK-24987][SS] Los het lek van kafka-consumenten op wanneer er geen nieuwe offsets voor articlePartition zijn.
    • Filterreductie moet null-waarde correct verwerken.

  • 28 augustus 2018

    • Er is een fout opgelost in de opdracht Delta Lake Delete waarmee de rijen waarin de voorwaarde wordt geëvalueerd, niet correct zouden worden verwijderd.

  • 23 augustus 2018

    • NoClassDefError opgelost voor Delta Snapshot
    • [SPARK-23935]mapEntry gooit org.codehaus.commons.compiler.CompileException.
    • [SPARK-24957][SQL] Gemiddeld met decimaal gevolgd door aggregatie retourneert een onjuist resultaat. De onjuiste resultaten van GEMIDDELDE kunnen worden geretourneerd. De CAST die is toegevoegd in de operator Gemiddelde, wordt overgeslagen als het resultaat van Divide hetzelfde type is als waarnaar deze wordt gecast.
    • [SPARK-25081]Er is een fout opgelost waarbij ShuffleExternalSorter toegang heeft tot een vrijgegeven geheugenpagina wanneer het overlopen van geheugen mislukt.
    • Er is een interactie opgelost tussen Databricks Delta en Pyspark, wat tijdelijke leesfouten kon veroorzaken.
    • [SPARK-25114]Fix RecordBinaryComparator wanneer aftrekken tussen twee woorden deelbaar is door Integer.MAX_VALUE.
    • [SPARK-25084]" distribueren door" op meerdere kolommen (tussen vierkante haken) kan leiden tot een probleem met het codegen.
    • [SPARK-24934][SQL] Expliciet toegestane lijst met ondersteunde typen in boven-/ondergrenzen voor het verwijderen van partities in het geheugen. Wanneer complexe gegevenstypen worden gebruikt in queryfilters voor gegevens in de cache, retourneert Spark altijd een lege resultatenset. Bij het wissen op basis van statistieken in het geheugen worden onjuiste resultaten gegenereerd, omdat null is ingesteld voor boven-/ondergrenzen voor complexe typen. De oplossing is het niet gebruiken van op statistieken gebaseerde op statistieken gebaseerde pruning voor complexe typen.
    • Opgeloste redaction van secret manager wanneer de opdracht gedeeltelijk is geslaagd.
    • Er is een probleem opgelost met de null-toewijzing in Parquet-lezer.

  • 2 augustus 2018

    • WriteStream.table-API toegevoegd in Python.
    • Er is een probleem opgelost met betrekking tot Delta-controlepunten.
    • [SPARK-24867][SQL] Voeg AnalysisBarrier toe aan DataFrameWriter. SQL-cache wordt niet gebruikt bij het gebruik van DataFrameWriter voor het schrijven van een DataFrame met UDF. Dit is een regressie die wordt veroorzaakt door de wijzigingen die we in AnalysisBarrier hebben aangebracht, omdat niet alle Analyzer-regels idempotent zijn.
    • Er is een probleem opgelost waardoor de opdracht onjuiste resultaten kon produceren mergeInto .
    • Verbeterde stabiliteit bij het openen van Azure Data Lake Storage Gen1.
    • [SPARK-24809]Het serialiseren van LongHashedRelation in executor kan leiden tot een gegevensfout.
    • [SPARK-24878][SQL] Omgekeerde functie herstellen voor matrixtype van primitief type dat null bevat.

  • 11 juli 2018

    • Er is een fout opgelost bij het uitvoeren van query's waardoor aggregaties op decimale kolommen met verschillende precisies onjuiste resultaten zouden retourneren in sommige gevallen.
    • Er is een NullPointerException fout opgelost die is opgetreden tijdens geavanceerde aggregatiebewerkingen, zoals groeperingssets.

Databricks Runtime 4.1 ML (EoS)

Zie Databricks Runtime 4.1 ML (EoS).

  • 31 juli 2018
    • Azure Synapse Analytics toegevoegd aan ML Runtime 4.1
    • Er is een fout opgelost die onjuiste queryresultaten kon veroorzaken wanneer de naam van een partitiekolom die in een predicaat wordt gebruikt, verschilt van het geval van die kolom in het schema van de tabel.
    • Er is een fout opgelost die van invloed is op de Spark SQL-uitvoeringsengine.
    • Er is een fout opgelost die van invloed is op het genereren van code.
    • Er is een fout opgelost (java.lang.NoClassDefFoundError) die van invloed is op Delta Lake.
    • Verbeterde foutafhandeling in Delta Lake.
    • Er is een fout opgelost waardoor onjuiste gegevens overgeslagen statistieken zijn verzameld voor tekenreekskolommen van 32 tekens of hoger.

Databricks Runtime 4.1 (EoS)

Zie Databricks Runtime 4.1 (EoS).

  • dinsdag 8 januari 2019

    • [SPARK-26366]ReplaceExceptWithFilter moet NULL beschouwen als Onwaar.
    • Delta Lake is ingeschakeld.

  • 18 december 2018

    • [SPARK-25002]Avro: wijzig de naamruimte van de uitvoerrecord.
    • Er is een probleem opgelost met betrekking tot bepaalde query's met behulp van Join en Limit.
    • [SPARK-26307]CTAS opgelost bij INSERT a partitioned table using Hive SerDe.
    • Negeer beschadigde bestanden alleen na een of meer nieuwe pogingen wanneer spark.sql.files.ignoreCorruptFiles of spark.sql.files.ignoreMissingFiles vlag is ingeschakeld.
    • Er is een probleem opgelost met betrekking tot het installeren van Python Wheels in omgevingen zonder internettoegang.
    • Er is een probleem opgelost in PySpark waardoor DataFrame-acties zijn mislukt met de fout 'verbinding geweigerd'.
    • Er is een probleem opgelost dat van invloed is op bepaalde zelf-samenvoegquery's.

  • 20 november 2018

    • [SPARK-17916][SPARK-25241]Probleem opgelost dat een lege tekenreeks wordt geparseerd als null wanneer nullValue is ingesteld.
    • Er is een probleem opgelost met betrekking tot bepaalde aggregatiequery's met Linker Semi/Anti-joins.

  • 6 november 2018

    • [SPARK-25741]Lange URL's worden niet goed weergegeven in de webgebruikersinterface.
    • [SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.

  • 16 oktober 2018

    • Er is een fout opgelost die van invloed was op de uitvoer van uitvoering SHOW CREATE TABLE op Delta-tabellen.
    • Er is een fout opgelost die van invloed is op Union de bewerking.

  • 25 september 2018

    • [SPARK-25368][SQL] Onjuiste beperkingsdeductie retourneert een onjuist resultaat.
    • [SPARK-25402][SQL] Null-verwerking in BooleanSimplification.
    • Opgelost NotSerializableException in de Avro-gegevensbron.

  • 11 september 2018

    • [SPARK-25214][SS] Los het probleem op dat kafka v2-bron dubbele records kan retourneren wanneer failOnDataLoss=false.
    • [SPARK-24987][SS] Los het lek van kafka-consumenten op wanneer er geen nieuwe offsets voor articlePartition zijn.
    • Filterreductie moet null-waarde correct verwerken.

  • 28 augustus 2018

    • Er is een fout opgelost in de opdracht Delta Lake Delete waarmee de rijen waarin de voorwaarde wordt geëvalueerd, niet correct zouden worden verwijderd.
    • [SPARK-25084]" distribueren door" op meerdere kolommen (tussen vierkante haken) kan leiden tot een probleem met het codegen.
    • [SPARK-25114]Fix RecordBinaryComparator wanneer aftrekken tussen twee woorden deelbaar is door Integer.MAX_VALUE.

  • 23 augustus 2018

    • NoClassDefError opgelost voor Delta Snapshot.
    • [SPARK-24957][SQL] Gemiddeld met decimaal gevolgd door aggregatie retourneert een onjuist resultaat. De onjuiste resultaten van GEMIDDELDE kunnen worden geretourneerd. De CAST die is toegevoegd in de operator Gemiddelde, wordt overgeslagen als het resultaat van Divide hetzelfde type is als waarnaar deze wordt gecast.
    • Er is een probleem opgelost met de null-toewijzing in Parquet-lezer.
    • [SPARK-24934][SQL] Expliciet toegestane lijst met ondersteunde typen in boven-/ondergrenzen voor het verwijderen van partities in het geheugen. Wanneer complexe gegevenstypen worden gebruikt in queryfilters voor gegevens in de cache, retourneert Spark altijd een lege resultatenset. Bij het wissen op basis van statistieken in het geheugen worden onjuiste resultaten gegenereerd, omdat null is ingesteld voor boven-/ondergrenzen voor complexe typen. De oplossing is het niet gebruiken van op statistieken gebaseerde op statistieken gebaseerde pruning voor complexe typen.
    • [SPARK-25081]Er is een fout opgelost waarbij ShuffleExternalSorter toegang heeft tot een vrijgegeven geheugenpagina wanneer het overlopen van geheugen mislukt.
    • Er is een interactie opgelost tussen Databricks Delta en Pyspark, wat tijdelijke leesfouten kon veroorzaken.
    • Opgeloste redaction van secret manager wanneer de opdracht gedeeltelijk is geslaagd

  • 2 augustus 2018

    • [SPARK-24613][SQL] Cache met UDF kan niet worden vergeleken met volgende afhankelijke caches. Verpakt het logische plan met een AnalysisBarrier voor de compilatie van het uitvoeringsplan in CacheManager om te voorkomen dat het plan opnieuw wordt geanalyseerd. Dit is ook een regressie van Spark 2.3.
    • Er is een probleem opgelost met de Synapse Analytics-connector die van invloed is op de tijdzoneconversie voor het schrijven van DateType-gegevens.
    • Er is een probleem opgelost met betrekking tot Delta-controlepunten.
    • Er is een probleem opgelost waardoor de opdracht onjuiste resultaten kon produceren mergeInto .
    • [SPARK-24867][SQL] Voeg AnalysisBarrier toe aan DataFrameWriter. SQL-cache wordt niet gebruikt bij het gebruik van DataFrameWriter voor het schrijven van een DataFrame met UDF. Dit is een regressie die wordt veroorzaakt door de wijzigingen die we in AnalysisBarrier hebben aangebracht, omdat niet alle Analyzer-regels idempotent zijn.
    • [SPARK-24809]Het serialiseren van LongHashedRelation in executor kan leiden tot een gegevensfout.

  • 11 juli 2018

    • Er is een fout opgelost bij het uitvoeren van query's waardoor aggregaties op decimale kolommen met verschillende precisies onjuiste resultaten zouden retourneren in sommige gevallen.
    • Er is een NullPointerException fout opgelost die is opgetreden tijdens geavanceerde aggregatiebewerkingen, zoals groeperingssets.

  • 28 juni 2018

    • Er is een fout opgelost die onjuiste queryresultaten kon veroorzaken wanneer de naam van een partitiekolom die in een predicaat wordt gebruikt, verschilt van het geval van die kolom in het schema van de tabel.

  • 7 juni 2018

    • Er is een fout opgelost die van invloed is op de Spark SQL-uitvoeringsengine.
    • Er is een fout opgelost die van invloed is op het genereren van code.
    • Er is een fout opgelost (java.lang.NoClassDefFoundError) die van invloed is op Delta Lake.
    • Verbeterde foutafhandeling in Delta Lake.

  • 17 mei 2018

    • Er is een fout opgelost waardoor onjuiste gegevens overgeslagen statistieken zijn verzameld voor tekenreekskolommen van 32 tekens of hoger.

Databricks Runtime 4.0 (EoS)

Zie Databricks Runtime 4.0 (EoS).

  • 6 november 2018

    • [SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.

  • 16 oktober 2018

    • Er is een fout opgelost die van invloed is op Union de bewerking.

  • 25 september 2018

    • [SPARK-25368][SQL] Onjuiste beperkingsdeductie retourneert een onjuist resultaat.
    • [SPARK-25402][SQL] Null-verwerking in BooleanSimplification.
    • Opgelost NotSerializableException in de Avro-gegevensbron.

  • 11 september 2018

    • Filterreductie moet null-waarde correct verwerken.

  • 28 augustus 2018

    • Er is een fout opgelost in de opdracht Delta Lake Delete waarmee de rijen waarin de voorwaarde wordt geëvalueerd, niet correct zouden worden verwijderd.

  • 23 augustus 2018

    • Er is een probleem opgelost met de null-toewijzing in Parquet-lezer.
    • Opgeloste redaction van secret manager wanneer de opdracht gedeeltelijk is geslaagd
    • Er is een interactie opgelost tussen Databricks Delta en Pyspark, wat tijdelijke leesfouten kon veroorzaken.
    • [SPARK-25081]Er is een fout opgelost waarbij ShuffleExternalSorter toegang heeft tot een vrijgegeven geheugenpagina wanneer het overlopen van geheugen mislukt.
    • [SPARK-25114]Fix RecordBinaryComparator wanneer aftrekken tussen twee woorden deelbaar is door Integer.MAX_VALUE.

  • 2 augustus 2018

    • [SPARK-24452]Vermijd mogelijke overloop in int add of multiple.
    • [SPARK-24588]Voor streamingdeelname moet HashClusteredPartitioning van onderliggende elementen zijn vereist.
    • Er is een probleem opgelost waardoor de opdracht onjuiste resultaten kon produceren mergeInto .
    • [SPARK-24867][SQL] Voeg AnalysisBarrier toe aan DataFrameWriter. SQL-cache wordt niet gebruikt bij het gebruik van DataFrameWriter voor het schrijven van een DataFrame met UDF. Dit is een regressie die wordt veroorzaakt door de wijzigingen die we in AnalysisBarrier hebben aangebracht, omdat niet alle Analyzer-regels idempotent zijn.
    • [SPARK-24809]Het serialiseren van LongHashedRelation in executor kan leiden tot een gegevensfout.

  • 28 juni 2018

    • Er is een fout opgelost die onjuiste queryresultaten kon veroorzaken wanneer de naam van een partitiekolom die in een predicaat wordt gebruikt, verschilt van het geval van die kolom in het schema van de tabel.

  • 7 juni 2018

    • Er is een fout opgelost die van invloed is op de Spark SQL-uitvoeringsengine.
    • Verbeterde foutafhandeling in Delta Lake.

  • 17 mei 2018

    • Bug fixes for Databricks secret management.
    • Verbeterde stabiliteit bij het lezen van gegevens die zijn opgeslagen in Azure Data Lake Store.
    • Er is een fout opgelost die van invloed is op RDD-caching.
    • Er is een fout opgelost met betrekking tot Null-safe Equal in Spark SQL.

  • 24 april 2018

    • Azure Data Lake Store SDK bijgewerkt van 2.0.11 naar 2.2.8 om de stabiliteit van de toegang tot Azure Data Lake Store te verbeteren.
    • Er is een fout opgelost die van invloed is op de invoeging van overschrijven naar gepartitioneerde Hive-tabellen wanneer spark.databricks.io.hive.fastwriter.enabled dit is false.
    • Er is een probleem opgelost waarbij taakserialisatie is mislukt.
    • Verbeterde stabiliteit van Delta Lake.

  • 14 maart 2018

    • Voorkom onnodige updates van metagegevens bij het schrijven naar Delta Lake.
    • Er is een probleem opgelost dat wordt veroorzaakt door een racevoorwaarde die, in zeldzame omstandigheden, kan leiden tot verlies van sommige uitvoerbestanden.

Databricks Runtime 3.5 LTS (EoS)

Zie Databricks Runtime 3.5 LTS (EoS).

  • 7 november 2019

    • [SPARK-29743][SQL] voorbeeld moet needCopyResult instellen op waar als de needCopyResult van het onderliggende kind waar is

  • dinsdag 8 oktober 2019

    • Wijzigingen aan de serverzijde om het Simba Apache Spark ODBC-stuurprogramma opnieuw verbinding te laten maken en door te gaan na een verbindingsfout tijdens het ophalen van resultaten (vereist update van het Simba Apache Spark ODBC-stuurprogramma naar versie 2.6.10).

  • 10 september 2019

    • [SPARK-28699][SQL] Uitschakelen met behulp van radix sorteren voor ShuffleExchangeExec in repartition case

  • dinsdag 9 april 2019

    • [SPARK-26665][CORE] Los een fout op waardoor BlockTransferService.fetchBlockSync voor altijd vastloopt.

  • 12 februari 2019

    • Er is een probleem opgelost waarbij het netwerkprotocol van Spark op laag niveau mogelijk is verbroken bij het verzenden van grote RPC-foutberichten waarvoor versleuteling is ingeschakeld (wanneer spark.network.crypto.enabled deze is ingesteld op waar).

  • 30 januari 2019

    • Er is een probleem opgelost waardoor df.rdd.count() UDT een onjuist antwoord voor bepaalde gevallen retourneert.

  • 18 december 2018

    • Negeer beschadigde bestanden alleen na een of meer nieuwe pogingen wanneer spark.sql.files.ignoreCorruptFiles of spark.sql.files.ignoreMissingFiles vlag is ingeschakeld.
    • Er is een probleem opgelost dat van invloed is op bepaalde zelf-samenvoegquery's.

  • 20 november 2018

  • 6 november 2018

    • [SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.

  • 16 oktober 2018

    • Er is een fout opgelost die van invloed is op Union de bewerking.

  • 25 september 2018

    • [SPARK-25402][SQL] Null-verwerking in BooleanSimplification.
    • Opgelost NotSerializableException in de Avro-gegevensbron.

  • 11 september 2018

    • Filterreductie moet null-waarde correct verwerken.

  • 28 augustus 2018

    • Er is een fout opgelost in de opdracht Delta Lake Delete waarmee de rijen waarin de voorwaarde wordt geëvalueerd, niet correct zouden worden verwijderd.
    • [SPARK-25114]Fix RecordBinaryComparator wanneer aftrekken tussen twee woorden deelbaar is door Integer.MAX_VALUE.

  • 23 augustus 2018

    • [SPARK-24809]Het serialiseren van LongHashedRelation in executor kan leiden tot een gegevensfout.
    • Er is een probleem opgelost met de null-toewijzing in Parquet-lezer.
    • [SPARK-25081]Er is een fout opgelost waarbij ShuffleExternalSorter toegang heeft tot een vrijgegeven geheugenpagina wanneer het overlopen van geheugen mislukt.
    • Er is een interactie opgelost tussen Databricks Delta en Pyspark, wat tijdelijke leesfouten kon veroorzaken.

  • 28 juni 2018

    • Er is een fout opgelost die onjuiste queryresultaten kon veroorzaken wanneer de naam van een partitiekolom die in een predicaat wordt gebruikt, verschilt van het geval van die kolom in het schema van de tabel.

  • 28 juni 2018

    • Er is een fout opgelost die onjuiste queryresultaten kon veroorzaken wanneer de naam van een partitiekolom die in een predicaat wordt gebruikt, verschilt van het geval van die kolom in het schema van de tabel.

  • 7 juni 2018

    • Er is een fout opgelost die van invloed is op de Spark SQL-uitvoeringsengine.
    • Verbeterde foutafhandeling in Delta Lake.

  • 17 mei 2018

    • Verbeterde stabiliteit bij het lezen van gegevens die zijn opgeslagen in Azure Data Lake Store.
    • Er is een fout opgelost die van invloed is op RDD-caching.
    • Er is een fout opgelost met betrekking tot Null-safe Equal in Spark SQL.
    • Er is een fout opgelost die van invloed is op bepaalde aggregaties in streamingquery's.

  • 24 april 2018

    • Azure Data Lake Store SDK bijgewerkt van 2.0.11 naar 2.2.8 om de stabiliteit van de toegang tot Azure Data Lake Store te verbeteren.
    • Er is een fout opgelost die van invloed is op de invoeging van overschrijven naar gepartitioneerde Hive-tabellen wanneer spark.databricks.io.hive.fastwriter.enabled dit is false.
    • Er is een probleem opgelost waarbij taakserialisatie is mislukt.

  • 09 maart 2018

    • Er is een probleem opgelost dat wordt veroorzaakt door een racevoorwaarde die, in zeldzame omstandigheden, kan leiden tot verlies van sommige uitvoerbestanden.

  • 01 maart 2018

    • Verbeterde efficiëntie van het verwerken van stromen die lang kunnen duren om te stoppen.
    • Er is een probleem opgelost met betrekking tot automatisch aanvullen van Python.
    • Toegepaste Ubuntu-beveiligingspatches.
    • Er is een probleem opgelost met betrekking tot bepaalde query's met behulp van Python UDF's en vensterfuncties.
    • Er is een probleem opgelost met betrekking tot het gebruik van UDF's op een cluster waarvoor toegangsbeheer voor tabellen is ingeschakeld.

  • 29 januari 2018

    • Er is een probleem opgelost met betrekking tot het bewerken van tabellen die zijn opgeslagen in Azure Blob Storage.
    • Aggregatie is opgelost na dropDuplicates op een leeg DataFrame.

Databricks Runtime 3.4 (EoS)

Zie Databricks Runtime 3.4 (EoS).

  • 7 juni 2018

    • Er is een fout opgelost die van invloed is op de Spark SQL-uitvoeringsengine.
    • Verbeterde foutafhandeling in Delta Lake.

  • 17 mei 2018

    • Verbeterde stabiliteit bij het lezen van gegevens die zijn opgeslagen in Azure Data Lake Store.
    • Er is een fout opgelost die van invloed is op RDD-caching.
    • Er is een fout opgelost met betrekking tot Null-safe Equal in Spark SQL.

  • 24 april 2018

    • Er is een fout opgelost die van invloed is op de invoeging van overschrijven naar gepartitioneerde Hive-tabellen wanneer spark.databricks.io.hive.fastwriter.enabled dit is false.

  • 09 maart 2018

    • Er is een probleem opgelost dat wordt veroorzaakt door een racevoorwaarde die, in zeldzame omstandigheden, kan leiden tot verlies van sommige uitvoerbestanden.

  • 13 december 2017

    • Er is een probleem opgelost met betrekking tot UDF's in Scala.
    • Er is een probleem opgelost dat van invloed was op het gebruik van de gegevensbronindex voor gegevensbrontabellen die zijn opgeslagen in niet-DBFS-paden.

  • 07 december 2017

    • Verbeterde willekeurige stabiliteit.

Niet-ondersteunde Databricks Runtime-releases

Volg de koppeling onder de subkop voor de oorspronkelijke releaseopmerkingen.