Pozyskiwanie danych za pośrednictwem przesyłania strumieniowego i zmiany schematu
Dotyczy: ✅Microsoft Fabric✅Azure Data Explorer
Węzły klastra buforuje schemat baz danych, które pobierają dane za pośrednictwem pozyskiwania przesyłania strumieniowego, zwiększając wydajność i użycie zasobów. Jednak w przypadku wprowadzenia zmian schematu może to prowadzić do opóźnień w aktualizacjach.
Węzły usługi Eventhouse buforuje schemat baz danych, które pobierają dane za pośrednictwem pozyskiwania przesyłania strumieniowego, zwiększając wydajność i użycie zasobów. Jednak w przypadku wprowadzenia zmian schematu może to prowadzić do opóźnień w aktualizacjach.
Jeśli zmiany schematu i pozyskiwanie przesyłania strumieniowego nie są synchronizowane, możesz napotkać błędy, takie jak błędy związane ze schematem lub niekompletne i zniekształcone dane w tabeli.
W tym artykule opisano typowe zmiany schematu i przedstawiono wskazówki dotyczące unikania problemów z pozyskiwaniem danych przesyłanych strumieniowo podczas tych zmian.
Zmiany schematu
Poniższa lista zawiera kluczowe przykłady zmian schematu:
- Tworzenie tabel
- Usuwanie tabel
- Dodawanie kolumny do tabeli
- Usuwanie kolumny z tabeli
- Ponowne wpisywanie kolumn tabeli
- Zmienianie nazw kolumn tabeli
- Dodawanie wstępnie utworzonych mapowań pozyskiwania
- Usuwanie wstępnie utworzonych mapowań pozyskiwania
- Dodawanie, usuwanie lub zmienianie zasad
Koordynowanie zmian schematu przy użyciu pozyskiwania danych przesyłanych strumieniowo
Pamięć podręczna schematu jest przechowywana, gdy baza danych jest w trybie online. W przypadku zmian schematu system automatycznie odświeża pamięć podręczną, ale odświeżanie może potrwać kilka minut. Jeśli korzystasz z automatycznego odświeżania, możesz wystąpić niepowodzeń pozyskiwania niezordowanych.
Możesz zmniejszyć skutki opóźnienia propagacji przez jawne wyczyszczenie pamięci podręcznej schematu w węzłach. Jeśli przepływ pozyskiwania przesyłania strumieniowego i zmiany schematu są koordynowane, można całkowicie wyeliminować awarie i powiązane z nimi zakłócenia danych.
Aby koordynować przepływ pozyskiwania przesyłania strumieniowego ze zmianami schematu:
- Wstrzymaj pozyskiwanie przesyłania strumieniowego.
- Poczekaj na ukończenie wszystkich zaległych żądań pozyskiwania przesyłania strumieniowego.
- Zmiany schematu.
- Wydaj co najmniej jedno polecenie schematu pozyskiwania przesyłania strumieniowego w pamięci podręcznej.
- Powtarzaj, aż zakończy się powodzeniem, a wszystkie wiersze w danych wyjściowych polecenia wskazują powodzenie
- Wznów pozyskiwanie przesyłania strumieniowego.
Uwaga
Jeśli utworzono aplikację do niestandardowego pozyskiwania danych, zalecamy zarządzanie błędami związanymi ze schematem przez ponawianie próby dla określonego czasu trwania lub przekierowywanie danych z żądań, które zakończyły się niepowodzeniem przy użyciu metod pozyskiwania w kolejce.