Udostępnij za pośrednictwem

Delta Live Tables wersja 2022.49

  • Artykuł

6 grudnia – 9, 2022 r.

Te funkcje i ulepszenia zostały wydane wraz z wersją 2022.49 funkcji Delta Live Tables.

Wersje środowiska Databricks Runtime używane w tej wersji

Kanał:

  • CURRENT (ustawienie domyślne): Databricks Runtime 11.0.11
  • WERSJA ZAPOZNAWCZA: Databricks Runtime 11.3.2

Nowe funkcje i ulepszenia w tej wersji

  • Teraz można importować pliki z folderu Git usługi Databricks jako moduły języka Python. Pliki można zaimportować z bieżącej ścieżki repozytorium lub określonej ścieżki repozytorium przy użyciu polecenia sys.path.append().

  • Rozszerzone skalowanie automatyczne jest teraz ogólnie dostępne. W tej wersji rozszerzone skalowanie automatyczne jest domyślnym trybem skalowania automatycznego dla nowych potoków utworzonych w interfejsie użytkownika. Usługa Databricks zaleca aktualizowanie potoków korzystających z istniejącego skalowania automatycznego klastra w celu korzystania z rozszerzonego skalowania automatycznego.

  • W przypadku potoków uruchamianych w trybie ciągłym domyślny limit ponawiania prób wynosi teraz 2 po wystąpieniu niepowodzeń z możliwością ponawiania prób. W tym oryginalna próba, wszystkie przepływy mają trzy próby (z wycofywaniem wykładniczym) do uruchomienia, gdy wystąpią błędy niekrytyczne. Wcześniej wartości domyślne były niepowiązanych ponownych prób dla przepływów wsadowych i pięć ponownych prób dla przepływów przesyłania strumieniowego.

  • Parametr pipelines.maxFlowRetryAttempts konfiguracji ma teraz zastosowanie do limitu ponawiania dla wszystkich przepływów, w tym przepływów wsadowych i przesyłanych strumieniowo oraz potoków ciągłych lub wyzwalanych. Wcześniej zastosowano wszystkie limity ponawiania prób w trybie wyzwalanym, pipelines.maxFlowRetryAttempts ale tylko przepływy wsadowe w trybie ciągłym; ponowne próby dla potoków przesyłania strumieniowego w trybie ciągłym były kontrolowane przez pipelines.numStreamRetryAttemptsprogram . W przypadku istniejących potoków nadal jest obsługiwana w przypadku przepływów pipelines.numStreamRetryAttempts przesyłania strumieniowego w trybie ciągłym. Jeśli obie pipelines.numStreamRetryAttempts metody i pipelines.maxFlowRetryAttempts są ustawione, pipelines.numStreamRetryAttempts ma priorytet dla przepływów przesyłania strumieniowego w trybie ciągłym. W przeciwnym razie jest używana skonfigurowana wartość pipelines.maxFlowRetryAttempts . Zobacz Informacje o właściwościach tabel na żywo funkcji Delta.

Poprawki błędów w tej wersji

  • W tej wersji naprawiono usterkę powodującą wyświetlanie niepoprawnej jednostki DBU na godzinę obliczeń dla klastrów z włączoną usługą Photon.

  • W tej wersji naprawiono usterkę powodującą niepowodzenie zadań konserwacji tabel delta Live Tables w obszarach roboczych z obsługą wykazu aparatu Unity.

  • W tej wersji naprawiono usterkę polegającą na tym, że zatrzymywanie lub ponowne uruchamianie potoku ciągłego pozyskiwania danych za pomocą modułu automatycznego ładowania powoduje zawieszenie potoku przez kilka minut.