Sdílet prostřednictvím

Verze DLT 2022.37

  • Článek

14. – 22. září 2022

Tyto funkce a vylepšení byly vydány ve verzi DLT z roku 2022.37.

Verze Databricks Runtime používané tímto vydáním

kanál :

  • AKTUÁLNÍ (výchozí): Databricks Runtime 10.3.7
  • PREVIEW: Databricks Runtime 11.0.5

Nové funkce a vylepšení v této verzi

  • Požadavek rozhraní API počáteční aktualizace teď vrátí pole request_id v textu odpovědi. request_id je stabilní identifikátor původního požadavku, který spouští aktualizaci. Pokud se aktualizace opakuje nebo restartuje, nová aktualizace dědí request_id.
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Nová žádost rozhraní API requests (GET /pipelines/{pipeline_id}/requests/{request_id}) vrátí stav aktualizace kanálu přidružené k request_id. Odpověď obsahuje informace o nejnovější aktualizaci.

{
  "status": "ACTIVE",
  "latest_update": {}
}
  • Kód Pythonu teď může volat operace spark.sql mimo dlt.table() nebo dlt.view() funkce, pokud operace nečte z materializovaného zobrazení ani streamovací tabulky.
  • Položky protokolu událostí teď obsahují vlastnost maturity označující stabilitu schématu událostí. Možné hodnoty jsou stable, evolvinga deprecated. Další informace o protokolu událostí DLT najdete v tématu Co je protokol událostí DLT?.
  • Chybová zpráva je vylepšena v případě nekompatibilních změn zdrojových tabulek používaných streamovací tabulkou.
  • Při vytváření nebo úpravě kanálu teď můžete v uživatelském rozhraní DLT vybrat zásadu clusteru. Dříve nastavení zásad clusteru pro kanál vyžadovalo úpravu nastavení JSON kanálu.
  • Rychlejší spuštění potrubí Tato verze zahrnuje vylepšení, která zrychlují krok SETTING_UP_TABLES při spuštění pipeline.

Opravy chyb v této verzi

  • Tato verze opravuje chybu, která brání rozšířenému automatickému škálování ve správném škálování nahoru, pokud nejsou k dispozici žádné nečinné instance clusteru.