Udostępnij za pośrednictwem

Rozwiązywanie problemów z klastrami danych big data przy użyciu notesów Jupyter i narzędzia Azure Data Studio

  • Artykuł

Ta strona jest indeksem notesów dla klastrów dużych zbiorów danych w SQL Server. Te notatniki wykonywalne (.ipynb) są przeznaczone dla SQL Server 2019, aby ułatwić rozwiązywanie problemów z klastrami big data.

Ważny

Dodatek Microsoft SQL Server 2019 Big Data Clusters zostanie wycofany. Obsługa klastrów danych big data programu SQL Server 2019 zakończy się 28 lutego 2025 r. Wszyscy istniejący użytkownicy programu SQL Server 2019 z pakietem Software Assurance będą w pełni obsługiwani na platformie, a oprogramowanie będzie nadal utrzymywane za pośrednictwem aktualizacji zbiorczych programu SQL Server do tego czasu. Aby uzyskać więcej informacji, zobacz wpis na blogu ogłoszeniowym i opcje big data na platformie Microsoft SQL Server.

Każdy notes jest przeznaczony do sprawdzania własnych zależności. Opcja Uruchom wszystkie komórki kończy się pomyślnie lub zgłasza wyjątek, dołączając wskazówkę z hiperlinkiem do innego notatnika, aby rozwiązać brakującą zależność. Postępuj zgodnie z hiperłączem wskazówek do notesu docelowego, kliknij Uruchom wszystkie komórki. Po powodzeniu wróć do oryginalnego notesu, a następnie kliknij przycisk Uruchom wszystkie komórki.

Po zainstalowaniu wszystkich zależności, jeśli Run all cells nie powiedzie się, każdy notes przeanalizuje wyniki i, gdzie to możliwe, utworzy wskazówkę z hiperlinkiem do innego notesu, aby dodatkowo pomóc w rozwiązaniu problemu.

Rozwiązywanie problemów z klastrami danych big data

Ta sekcja zawiera zestaw notesów do pobierania dzienników z klastra danych big data programu SQL Server.

Nazwa Opis
TSG100 — narzędzie do rozwiązywania problemów z klastrami danych big data Omówienie wszystkich dostępnych notatników dotyczących rozwiązywania problemów z klastrami Big Data oraz wskazówki, kiedy z nich korzystać.
TSG101 — narzędzie do rozwiązywania problemów z programem SQL Server Omówienie wszystkich dostępnych notesów dotyczących rozwiązywania problemów z programem SQL Server i ich używania
TSG102 — narzędzie do rozwiązywania problemów z systemem plików HDFS Przegląd wszystkich dostępnych notatników do rozwiązywania problemów z HDFS oraz kiedy z nich korzystać
TSG103 — narzędzie do rozwiązywania problemów z platformą Spark Omówienie wszystkich dostępnych notatników dotyczących rozwiązywania problemów z platformą Spark i kiedy ich używać.
TSG104 — narzędzie do rozwiązywania problemów z kontrolkami Omówienie wszystkich dostępnych notesów dotyczących rozwiązywania problemów z kontrolerem i czasu ich używania
TSG105 — narzędzie do rozwiązywania problemów z bramą Przegląd wszystkich dostępnych notatników dotyczących rozwiązywania problemów z usługą Knox Gateway i instrukcje, kiedy ich używać
TSG106 — narzędzie do rozwiązywania problemów z aplikacjami Omówienie wszystkich dostępnych notesów dotyczących rozwiązywania problemów z App-Deploy oraz kiedy z nich korzystać

Diagnozowanie problemów z klastrami danych big data

Zestaw notesów do diagnozowania sytuacji i stanów z klastrem danych big data.

Nazwa Opis
TSG002 — CrashLoopBackoff Ta specjalistyczna grupa techniczna połączy się z każdym kontenerem, którego ostatnia próba przejścia do stanu „Uruchomiono” zakończyła się niepowodzeniem i pobierze bieżące oraz poprzednie dzienniki kontenera. Jest to przydatne w przypadku debugowania problemów CrashLoopBackOff zgłoszonych w poleceniu kubectl get pods.
TSG025 — PRZEGLĄDARKA FSM — stan zapytań kontrolera FSM Użyj tego notatnika, aby nawiązać połączenie z bazą danych kontrolera i przejrzeć stan automatu stanów skończonych (FSM). Użyj tego notatnika, aby wyświetlić listę aktywnych maszyn stanowych i zidentyfikować zablokowane przepływy pracy.
TSG026 — nawiązywanie połączenia z węzłem puli danych (w celu uruchomienia języka T-SQL) Użyj tego notesu, aby nawiązać połączenie z węzłem puli danych (w celu uruchomienia języka T-SQL)
TSG027 — Obserwowanie wdrożenia klastra Ten notatnik służy do obserwowania wdrażania klastrów. Zawiera wskazówki dotyczące rozwiązywania problemów z klastrami big data SQL Server. W przypadku problemów podczas tworzenia często przydatne są następujące polecenia do określenia podstawowych przyczyn.
TSG029 — znajdowanie zrzutów w klastrze Ten notatnik służy do wyszukiwania zrzutów rdzeni i minidumpów z procesów, takich jak SQL Server lub kontroler w klastrze dużych zbiorów danych.
TSG032 — użycie procesora CPU i pamięci dla wszystkich kontenerów Użyj tego notatnika, aby sprawdzić użycie CPU i pamięci dla wszystkich kontenerów.
TSG037 — Określenie zasobnika głównej puli hostującego replikę podstawową Użyj tego notesu, aby określić pod puli głównej hostujący replikę podstawową dla klastra big data po włączeniu wysokiej dostępności puli głównej.
TSG044 — Uruchom sqlcmd w kontenerze puli głównej Użyj tego notebooka, aby nawiązać połączenie z węzłem puli głównej bezpośrednio za pośrednictwem języka T-SQL.
TSG055 — Time Curl do Sparkhead Użyj tego notesu, aby przeprowadzić diagnostykę, jakiego czasu odpowiedzi Curl należy spodziewać się od poda kontrolera do poda sparkhead.
TSG060 — trwałe miejsce na dysku woluminu dla wszystkich klastrów danych big data Ten notatnik umożliwia nawiązanie połączenia z każdym kontenerem i uzyskanie informacji o używanym/dostępnym miejscu na dysku dla każdego trwałego woluminu (PV) zamapowanego na każde roszczenie woluminu (PVC) klastra big data.
TSG078 — czy klaster jest w dobrej kondycji Użyj tego notesu, aby sprawdzić, czy klaster danych big data jest w dobrej kondycji.
TSG079 — generowanie zrzutu rdzenia kontrolera Użyj tego notatnika, aby wygenerować zrzut pamięci rdzenia kontrolera.
TSG086 — uruchamianie top we wszystkich kontenerach Użyj tego zeszytu, aby uruchomić komendę top we wszystkich kontenerach.
TSG087 — używanie interfejsu wiersza polecenia hadoop fs w zasobniku namenode Użyj tego notesu, aby użyć interfejsu wiersza polecenia hadoop fs w zasobniku namenode.
TSG108 — wyświetlanie mapy konfiguracji uaktualnienia kontrolera Użyj tego notatnika, aby rozwiązać problemy z niepowodzeniem podczas uruchamiania uaktualnienia klastra big data przy użyciu azdata bdc upgrade.
TSG112 — kontrole przed wdrożeniem usługi Active Directory Użyj tego notesu, aby zweryfikować, czy konfiguracja klastra danych big data jest prawidłowa dla wdrożenia usługi Active Directory.
TSG115 — SQL Server w translatorze dzienników zabezpieczeń systemu Linux Ten notes służy do analizowania dzienników generowanych przez rejestratory security.ldap i security.kerberos dla programu SQL Server w systemie Linux. Aby włączyć te rejestratory, umieść poniższe wiersze w pliku /var/opt/mssql/logger.ini na maszynie z programem SQL Server w systemie Linux. Uwaga: w tym pliku jest rozróżniana wielkość liter.
TSG116 — tłumacz dzienników wsparcia bezpieczeństwa SQL BDC Użyj tego notesu, aby przeanalizować dzienniki wygenerowane przez usługę pomocy technicznej zabezpieczeń w usłudze SQL BDC. Aby pobrać dzienniki, skopiujemy dzienniki debugowania z klastra i wyodrębnimy je. Wykonaj poniższe kroki — uruchom polecenie "azdata bdc debug copy-logs -n <przestrzeni nazw>". Spowoduje to utworzenie kilku plików .tar.gz — wyodrębnij zawartość debuglogs-<przestrzeni nazw>-<data>-<godzina>.tar.gz — odnaleźć dziennik wsparcia bezpieczeństwa znajdujący się w ./<przestrzeni nazw>/control-<…>/security-support/supervisol/log/secsupp-stderr---<…>.log.
TSG119 — kontrole po wdrożeniu usługi Active Directory Ten notatnik jest przeznaczony do weryfikowania konfiguracji BDC po wdrożeniu AD. Sprawdzi istnienie wpisów DNS dla wszystkich punktów końcowych z atrybutem dnsName, a te wpisy DNS powinny być rekordami A, a nie rekordami aliasów (tj. rekordy A, a nie rekordy CNAME). Ponadto zostanie sprawdzone istnienie dobrze znanych kont Active Directory i czy są one włączone, a także istnienie oczekiwanych nazw głównych usługi (SPN).

Naprawa problemów z klastrami Big Data

Zestaw notesów do naprawiania znanych sytuacji i stanów klastra danych big data programu SQL Server.

Nazwa Opis
TSG005 — wykryto pętlę przekazywania Użyj tego notesu do radzenia sobie z wykrytą pętlą przekazywania, ponieważ narzędzie dnsmasq może umieścić lokalną pętlę zwrotną w pliku resolv.conf, co może spowodować przejście zasobników kontrolera do CrashLoopBackOff podczas początkowego wdrożenia klastra: https://askubuntu.com/questions/627899/nameserver-127-0-1-1-in-resolv-conf-wont-go-away|
TSG011 — ponowne uruchamianie serwera sparkhistory Użyj tego notesu, aby ponownie uruchomić serwer sparkhistory, ponieważ proces SparkHistory w Java może przestać odpowiadać podczas uruchamiania. Ponowne uruchomienie serwera sparkhistory (supervisorctl restart sparkhistory) może rozwiązać ten problem.
TSG018 — kill sqlservr process on the master pool (TSG018 — zabij proces sqlservr w puli głównej) Użyj tego notatnika, gdy polecenie T-SQL SHUTDOWN nie pomyślnie ponownie uruchomi procesu ./sqlservr. Użyj tego notebooka, aby zabić główny proces sqlservr, który zostanie automatycznie uruchomiony ponownie przez proces frontendowy ./sqlservr.
TSG024 — Namenode jest w trybie ochronnym Użyj tego notatnika, gdy system plików HDFS przechodzi w tryb awaryjny. Jeśli na przykład zbyt wiele zasobników jest przełączanych zbyt szybko w puli pamięci, tryb bezpieczny może być automatycznie włączony.
TSG028 — Ponowne uruchomienie menedżera węzła na wszystkich węzłach puli pamięci masowej Użyj tego notesu, gdy konieczne jest ponowne uruchomienie menedżera węzłów we wszystkich węzłach puli pamięci masowej.
TSG038 — błędy tworzenia w BDC z powodu braku klucza Użyj tego notesu, gdy usługa BDC tworzy błędy z powodu — brakuje klucza.
TSG039 — nieprawidłowa nazwa obiektu "role_permissions" Użyj tego notesu w przypadku wystąpienia problemu z nieprawidłowym obiektem ze względu na uprawnienia roli w pliku dziennika Knox gateway.log
TSG040 — nie można pobrać nazw plików z kontrolera z błędem Użyj tego notesu, gdy wystąpi błąd 504 Gateway Time-out podczas pobierania nazw plików z kontrolera.
TSG041 — Nie można utworzyć nowego kontekstu asynchronicznego I/O (zwiększ wartość parametru sysctl fs.aio-max-nr) Użyj tego notatnika, gdy nie można utworzyć nowego kontekstu asynchronicznego I/O (zwiększ sysctl fs.aio-max-nr).
TSG045 — maksymalna liczba dysków danych, które mogą być dołączone do maszyny wirtualnej o tym rozmiarze (AKS) Użyj tego notatnika, gdy maksymalna liczba dysków danych, które mogą być dołączone do maszyny wirtualnej o rozmiarze (AKS), zostanie osiągnięta.
TSG047 — ConfigException — oczekiwano tylko jednego obiektu o nazwie Tego notesu należy używać w przypadku używania programu ConfigException, który oczekuje tylko jednego obiektu o nazwie.
TSG048 — Wdrożenie utknęło na "oczekiwaniu na uruchomienie zasobnika kontrolera" Użyj tego notesu, gdy wdrożenie utknęło na "Oczekiwanie na uruchomienie kontrolerowego podu".
TSG050 — tworzenie klastra zawiesza się z komunikatem "Upłynął limit czasu oczekiwania na dołączenie lub zainstalowanie woluminów dla zasobnika" Użyj tego notatnika, gdy tworzenie klastra zawiesza się z komunikatem "upłynął limit czasu oczekiwania na dołączenie lub zamontowanie woluminów dla zasobnika".
TSG052 — Próba pobrania serwera DNS master-svc nie powiodła się i spróbuje ponownie Użyj tego notatnika, gdy tworzenie klastra zawiesza się z "upłynął limit czasu oczekiwania na dołączenie lub zainstalowanie woluminów dla podu".
TSG057 — niepowodzenie podczas uruchamiania usługi kontrolera . System.TimeoutException Użyj tego notesu podczas uruchamiania usługi kontrolera oraz napotkania wyjątku System.TimeoutException.
TSG067 — nie można ukończyć konfiguracji narzędzia kube Użyj tego notatnika, gdy konfiguracja kube kończy się niepowodzeniem.
TSG074 — usuwanie App-Deploys Użyj tego notatnika, gdy masz problem z usunięciem aplikacji w klastrze big data.
TSG075 — FailedCreatePodSandBox z powodu niepowodzenia konfiguracji zasobnika przez wtyczkę sieciową CNI. Użyj tego notesu, gdy pojawi się wyjątek FailedCreatePodSandBox z powodu błędu NetworkPlugin cni w ustawieniu pod.
TSG080 — usuwanie sesji platformy Spark przy użyciu polecenia azdata Użyj tego notesu, gdy napotkasz problem podczas usuwania sesji Spark.
TSG109 — ustawianie limitów czasu uaktualniania Użyj tego notesu, gdy masz problem z aktualizacją BDC.
TSG110 — Polecenie Azdata zwraca błąd ApiError Użyj tego notatnika, gdy narzędzie Azdata zwraca błąd ApiError.

Następne kroki

Aby uzyskać więcej informacji na temat klastrów danych big data, zobacz Co to są klastry danych big data programu SQL Server?.