Udostępnij za pośrednictwem

Delta Live Tables wersja 2022.37

  • Artykuł

14 września 2022 r.

Te funkcje i ulepszenia zostały wydane wraz z wersją 2022.37 tabel delta live tables.

Wersje środowiska Databricks Runtime używane w tej wersji

Kanał:

  • CURRENT (ustawienie domyślne): Databricks Runtime 10.3.7
  • WERSJA ZAPOZNAWCZA: Databricks Runtime 11.0.5

Nowe funkcje i ulepszenia w tej wersji

  • Żądanie początkowej aktualizacji interfejsu request_id API zwraca teraz pole w treści odpowiedzi. Jest request_id to stabilny identyfikator oryginalnego żądania rozpoczynającego aktualizację. Jeśli aktualizacja zostanie ponowiona lub ponownie uruchomiona, nowa aktualizacja dziedziczy request_idelement .
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Nowe requests żądanie interfejsu API (GET /pipelines/{pipeline_id}/requests/{request_id}) zwraca stan aktualizacji potoku skojarzonej z elementem request_id. Odpowiedź zawiera informacje o najnowszej aktualizacji.

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

  • Kod języka Python może teraz wywoływać spark.sql operacje poza funkcjami dlt.table() lub dlt.view() , o ile operacja nie jest odczytywana z zmaterializowanego widoku lub tabeli przesyłania strumieniowego.

  • Wpisy dziennika zdarzeń zawierają maturity teraz właściwość wskazującą stabilność schematu zdarzeń. Możliwe wartości to stable, evolvingi deprecated. Aby uzyskać więcej informacji na temat dziennika zdarzeń tabel delta Live Tables, zobacz Co to jest dziennik zdarzeń tabel delta live?.

  • Komunikat o błędzie jest ulepszany po wprowadzeniu niezgodnych zmian w tabelach źródłowych używanych przez tabelę przesyłania strumieniowego.

  • Teraz możesz wybrać zasady klastra w interfejsie użytkownika delty tabel na żywo podczas tworzenia lub edytowania potoku. Wcześniej ustawienie zasad klastra dla potoku wymaganego do edytowania ustawień JSON potoku.

  • Szybsze uruchamianie potoku. Ta wersja zawiera ulepszenia przyspieszające SETTING_UP_TABLES krok po uruchomieniu potoku.

Poprawki błędów w tej wersji

  • W tej wersji naprawiono usterkę uniemożliwiającą skalowanie automatyczne w górę, gdy nie są dostępne żadne bezczynne wystąpienia klastra.