Udostępnij za pośrednictwem

Delta Live Tables wersja 2022.49

  • Artykuł

6 grudnia – 9, 2022 r.

Te funkcje i ulepszenia zostały wydane wraz z wersją 2022.49 Delta Live Tables.

Wersje środowiska Databricks Runtime używane w tej wersji

Kanał:

  • CURRENT (ustawienie domyślne): Databricks Runtime 11.0.11
  • WERSJA ZAPOZNAWCZA: Databricks Runtime 11.3.2

Nowe funkcje i ulepszenia w tej wersji

  • Teraz można importować pliki z folderu Git usługi Databricks jako moduły języka Python. Pliki można zaimportować z bieżącej ścieżki repozytorium lub określonej ścieżki repozytorium przy użyciu polecenia sys.path.append().

  • Rozszerzone skalowanie automatyczne jest teraz ogólnie dostępne. W tej wersji rozszerzone skalowanie automatyczne jest domyślnym trybem skalowania automatycznego dla nowych potoków utworzonych w interfejsie użytkownika. Usługa Databricks zaleca aktualizowanie potoków korzystających z istniejącego skalowania automatycznego klastra w celu korzystania z rozszerzonego skalowania automatycznego.

  • W przypadku rur przebiegających w trybie ciągłym domyślny limit prób ponawiania wynosi teraz 2 w przypadku błędów kwalifikujących się do ponowienia. W tym oryginalna próba, wszystkie przepływy mają trzy próby (z wycofywaniem wykładniczym) do uruchomienia, gdy wystąpią błędy niekrytyczne. Wcześniej wartości domyślne były niepowiązanych ponownych prób dla przepływów wsadowych i pięć ponownych prób dla przepływów przesyłania strumieniowego.

  • Parametr konfiguracji pipelines.maxFlowRetryAttempts teraz odnosi się do limitu ponawiania dla wszystkich rodzajów przepływów, w tym przepływów wsadowych i strumieniowych, a także dla potoków działających w trybie ciągłym lub wyzwalanym. Wcześniej zastosowano wszystkie limity ponawiania prób w trybie wyzwalanym, pipelines.maxFlowRetryAttempts ale tylko przepływy wsadowe w trybie ciągłym; ponowne próby dla potoków przesyłania strumieniowego w trybie ciągłym były kontrolowane przez pipelines.numStreamRetryAttemptsprogram . W przypadku istniejących potoków nadal jest obsługiwana w przypadku przepływów pipelines.numStreamRetryAttempts przesyłania strumieniowego w trybie ciągłym. Jeśli ustawiono zarówno pipelines.numStreamRetryAttempts, jak i pipelines.maxFlowRetryAttempts, pipelines.numStreamRetryAttempts ma priorytet w przepływach przesyłania strumieniowego w trybie ciągłym. W przeciwnym razie jest używana skonfigurowana wartość pipelines.maxFlowRetryAttempts . Zobacz właściwości Delta Live Tables.

Poprawki błędów w tej wersji

  • W tej wersji naprawiono usterkę powodującą wyświetlanie niepoprawnej jednostki DBU na godzinę obliczeń dla klastrów z włączoną usługą Photon.

  • W tej wersji naprawiono błąd powodujący niepowodzenie zadań konserwacyjnych Delta Live Tables w obszarach roboczych z włączoną obsługą Unity Catalog.

  • W tej wersji naprawiono błąd, który powodował, że zatrzymanie lub ponowne uruchomienie ciągłego potoku pozyskującego dane za pomocą Auto Loader powodowało, iż potok zawieszał się na kilka minut.