Udostępnij za pośrednictwem

Programowanie akcji skryptu w usłudze HDInsight

  • Artykuł

Dowiedz się, jak dostosować klaster usługi HDInsight przy użyciu skryptów powłoki Bash. Akcje skryptu to sposób dostosowywania usługi HDInsight podczas tworzenia klastra lub po jego utworzeniu.

Co to są akcje skryptu

Akcje skryptu to skrypty powłoki Bash uruchamiane na platformie Azure w węzłach klastra w celu wprowadzania zmian konfiguracji lub instalowania oprogramowania. Akcja skryptu jest wykonywana jako katalog główny i zapewnia pełne prawa dostępu do węzłów klastra.

Akcje skryptu można stosować za pomocą następujących metod:

Użyj tej metody, aby zastosować skrypt... Podczas tworzenia klastra... W uruchomionym klastrze...
Azure Portal ✓ ✓
Azure PowerShell ✓ ✓
Klasyczny interfejs wiersza polecenia platformy Azure   ✓
Zestaw SDK dla platformy .NET usługi HDInsight ✓ ✓
Szablon usługi Azure Resource Manager ✓  

Aby uzyskać więcej informacji na temat używania tych metod do stosowania akcji skryptu, zobacz Dostosowywanie klastrów usługi HDInsight przy użyciu akcji skryptu.

Najlepsze rozwiązania dotyczące tworzenia skryptów

Podczas tworzenia niestandardowego skryptu dla klastra usługi HDInsight należy pamiętać o kilku najlepszych rozwiązaniach:

Ważne

Akcje skryptu muszą zostać wykonane w ciągu 60 minut lub proces zakończy się niepowodzeniem. Podczas aprowizacji węzła skrypt jest uruchamiany współbieżnie z innymi procesami instalacji i konfiguracji. Konkurencja o zasoby, takie jak czas procesora CPU lub przepustowość sieci, może spowodować, że ukończenie skryptu trwa dłużej niż w środowisku projektowym.

Określanie wersji platformy Apache Hadoop

Różne wersje usługi HDInsight mają zainstalowane różne wersje usług Hadoop i składników. Jeśli skrypt oczekuje określonej wersji usługi lub składnika, należy użyć skryptu tylko z wersją usługi HDInsight, która zawiera wymagane składniki. Informacje na temat wersji składników zawartych w usłudze HDInsight można znaleźć w dokumencie przechowywania wersji składników usługi HDInsight.

Sprawdzanie wersji systemu operacyjnego

Różne wersje usługi HDInsight korzystają z określonych wersji systemu Ubuntu. Mogą istnieć różnice między wersjami systemu operacyjnego, które należy sprawdzić w skrypsie. Na przykład może być konieczne zainstalowanie pliku binarnego powiązanego z wersją systemu Ubuntu.

Aby sprawdzić wersję systemu operacyjnego, użyj polecenia lsb_release. Na przykład poniższy skrypt pokazuje, jak odwołać się do określonego pliku tar w zależności od wersji systemu operacyjnego:

OS_VERSION=$(lsb_release -sr)
if [[ $OS_VERSION == 14* ]]; then
    echo "OS version is $OS_VERSION. Using hue-binaries-14-04."
    HUE_TARFILE=hue-binaries-14-04.tgz
elif [[ $OS_VERSION == 16* ]]; then
    echo "OS version is $OS_VERSION. Using hue-binaries-16-04."
    HUE_TARFILE=hue-binaries-16-04.tgz
fi

Określanie wersji systemu operacyjnego

Usługa HDInsight jest oparta na dystrybucji systemu Ubuntu Linux. Różne wersje usługi HDInsight korzystają z różnych wersji systemu Ubuntu, co może zmienić sposób działania skryptu. Na przykład usługa HDInsight 3.4 i starsze są oparte na wersjach systemu Ubuntu korzystających z narzędzia Upstart. Wersje 3.5 i nowsze są oparte na systemie Ubuntu 16.04, który używa polecenia Systemd. Systemd i Upstart polegają na różnych poleceniach, więc skrypt powinien być napisany do pracy z obydwoma.

Kolejną ważną różnicą między usługą HDInsight 3.4 i 3.5 jest to, że JAVA_HOME teraz wskazuje na język Java 8. Poniższy kod pokazuje, jak określić, czy skrypt jest uruchomiony w systemie Ubuntu 14 lub 16:

OS_VERSION=$(lsb_release -sr)
if [[ $OS_VERSION == 14* ]]; then
    echo "OS version is $OS_VERSION. Using hue-binaries-14-04."
    HUE_TARFILE=hue-binaries-14-04.tgz
elif [[ $OS_VERSION == 16* ]]; then
    echo "OS version is $OS_VERSION. Using hue-binaries-16-04."
    HUE_TARFILE=hue-binaries-16-04.tgz
fi
...
if [[ $OS_VERSION == 16* ]]; then
    echo "Using systemd configuration"
    systemctl daemon-reload
    systemctl stop webwasb.service    
    systemctl start webwasb.service
else
    echo "Using upstart configuration"
    initctl reload-configuration
    stop webwasb
    start webwasb
fi
...
if [[ $OS_VERSION == 14* ]]; then
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
elif [[ $OS_VERSION == 16* ]]; then
    export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
fi

Pełny skrypt zawierający te fragmenty kodu można znaleźć na stronie https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh.

Aby zapoznać się z wersją systemu Ubuntu używaną przez usługę HDInsight, zobacz dokument wersja składnika usługi HDInsight.

Aby zrozumieć różnice między programem i aplikacją Systemd Upstart, zobacz Systemd temat Upstart users (Użytkownicy programu Upstart).

Udostępnianie stabilnych linków do zasobów skryptu

Skrypt i skojarzone zasoby muszą pozostać dostępne przez cały okres istnienia klastra. Te zasoby są wymagane, jeśli nowe węzły są dodawane do klastra podczas operacji skalowania.

Najlepszym rozwiązaniem jest pobranie i zarchiwizowanie wszystkich elementów na koncie usługi Azure Storage w ramach subskrypcji.

Ważne

Używane konto magazynu musi być domyślnym kontem magazynu dla klastra lub publicznego kontenera tylko do odczytu na dowolnym innym koncie magazynu.

Na przykład przykłady dostarczone przez firmę Microsoft są przechowywane na koncie https://hdiconfigactions.blob.core.windows.net/ magazynu. Ta lokalizacja jest publicznym kontenerem tylko do odczytu obsługiwanym przez zespół usługi HDInsight.

Korzystanie ze wstępnie skompilowanych zasobów

Aby skrócić czas potrzebny na uruchomienie skryptu, unikaj operacji kompilujących zasoby z kodu źródłowego. Na przykład wstępnie skompiluj zasoby i zapisz je w obiekcie blob konta usługi Azure Storage w tym samym centrum danych co usługa HDInsight.

Upewnij się, że skrypt dostosowywania klastra jest idempotentny

Skrypty muszą być idempotentne. Jeśli skrypt jest uruchamiany wiele razy, powinien zwracać klaster do tego samego stanu za każdym razem.

Jeśli skrypt jest uruchamiany wiele razy, skrypt modyfikujący pliki konfiguracji nie powinien dodawać zduplikowanych wpisów.

Zapewnianie wysokiej dostępności architektury klastra

Klastry usługi HDInsight oparte na systemie Linux zapewniają dwa węzły główne, które są aktywne w klastrze, a akcje skryptu są uruchamiane w obu węzłach. Jeśli instalowane składniki oczekują tylko jednego węzła głównego, nie instaluj składników w obu węzłach głównych.

Ważne

Usługi udostępniane w ramach usługi HDInsight są przeznaczone do przełączania w tryb failover między dwoma węzłami głównymi zgodnie z potrzebami. Ta funkcja nie jest rozszerzana na składniki niestandardowe zainstalowane za pomocą akcji skryptu. Jeśli potrzebujesz wysokiej dostępności dla składników niestandardowych, musisz zaimplementować własny mechanizm trybu failover.

Konfigurowanie składników niestandardowych do korzystania z usługi Azure Blob Storage

Składniki instalowane w klastrze mogą mieć domyślną konfigurację korzystającą z magazynu rozproszonego systemu plików Apache Hadoop (HDFS). Usługa HDInsight używa usługi Azure Storage lub Data Lake Storage jako magazynu domyślnego. Oba zapewniają zgodny z systemem plików HDFS system plików, który utrwala dane, nawet jeśli klaster zostanie usunięty. Może być konieczne skonfigurowanie składników instalowanych w celu używania systemu PLIKÓW WASB lub ADL zamiast systemu plików HDFS.

W przypadku większości operacji nie trzeba określać systemu plików. Na przykład następujące kopie pliku hadoop-common.jar z lokalnego systemu plików do magazynu klastra:

hdfs dfs -put /usr/hdp/current/hadoop-client/hadoop-common.jar /example/jars/

W tym przykładzie hdfs polecenie w sposób niewidoczny używa domyślnego magazynu klastra. W przypadku niektórych operacji może być konieczne określenie identyfikatora URI. Na przykład adl:///example/jars w przypadku usługi Azure Data Lake Storage Gen1 abfs:///example/jars dla usługi Data Lake Storage Gen2 lub wasb:///example/jars Azure Storage.

Zapisywanie informacji w stDOUT i STDERR

Usługa HDInsight rejestruje dane wyjściowe skryptu zapisywane w plikach STDOUT i STDERR. Te informacje można wyświetlić przy użyciu internetowego interfejsu użytkownika systemu Ambari.

Uwaga

Narzędzie Apache Ambari jest dostępne tylko wtedy, gdy klaster został pomyślnie utworzony. Jeśli używasz akcji skryptu podczas tworzenia klastra i tworzenie nie powiedzie się, zobacz Rozwiązywanie problemów z akcjami skryptu, aby uzyskać dostęp do zarejestrowanych informacji.

Większość programów narzędziowych i pakietów instalacyjnych już zapisuje informacje w plikach STDOUT i STDERR, jednak warto dodać dodatkowe rejestrowanie. Aby wysłać tekst do stDOUT, użyj polecenia echo. Na przykład:

echo "Getting ready to install Foo"

Domyślnie echo wysyła ciąg do stDOUT. Aby skierować go do narzędzia STDERR, dodaj element >&2 przed echo. Na przykład:

>&2 echo "An error occurred installing Foo"

Spowoduje to przekierowanie informacji zapisanych do STDOUT do STDERR (2) zamiast tego. Aby uzyskać więcej informacji na temat przekierowywania operacji we/wy, zobacz https://www.tldp.org/LDP/abs/html/io-redirection.html.

Aby uzyskać więcej informacji na temat wyświetlania informacji rejestrowanych przez akcje skryptu, zobacz Rozwiązywanie problemów z akcjami skryptu.

Zapisywanie plików jako ASCII z zakończeniami wierszy LF

Skrypty powłoki Bash powinny być przechowywane jako format ASCII z wierszami zakończonymi przez LF. Pliki, które są przechowywane jako UTF-8 lub używają crLF jako zakończenie wiersza, może zakończyć się niepowodzeniem z powodu następującego błędu:

$'\r': command not found
line 1: #!/usr/bin/env: No such file or directory

Użyj logiki ponawiania prób, aby odzyskać dane po błędach przejściowych

Podczas pobierania plików, instalowania pakietów przy użyciu polecenia apt-get lub innych akcji, które przesyłają dane przez Internet, akcja może zakończyć się niepowodzeniem z powodu przejściowych błędów sieciowych. Na przykład zasób zdalny, z którym komunikujesz się, może być w trakcie przechodzenia w tryb failover do węzła kopii zapasowej.

Aby skrypt był odporny na błędy przejściowe, można zaimplementować logikę ponawiania prób. Poniższa funkcja pokazuje, jak zaimplementować logikę ponawiania prób. Ponawia próbę wykonania operacji trzy razy przed niepowodzeniem.

#retry
MAXATTEMPTS=3

retry() {
    local -r CMD="$@"
    local -i ATTMEPTNUM=1
    local -i RETRYINTERVAL=2

    until $CMD
    do
        if (( ATTMEPTNUM == MAXATTEMPTS ))
        then
                echo "Attempt $ATTMEPTNUM failed. no more attempts left."
                return 1
        else
                echo "Attempt $ATTMEPTNUM failed! Retrying in $RETRYINTERVAL seconds..."
                sleep $(( RETRYINTERVAL ))
                ATTMEPTNUM=$ATTMEPTNUM+1
        fi
    done
}

W poniższych przykładach pokazano, jak używać tej funkcji.

retry ls -ltr foo

retry wget -O ./tmpfile.sh https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh

Metody pomocnika dla skryptów niestandardowych

Metody pomocnika akcji skryptu to narzędzia, których można używać podczas pisania skryptów niestandardowych. Te metody są zawarte w https://hdiconfigactions.blob.core.windows.net/linuxconfigactionmodulev01/HDInsightUtilities-v01.sh skryscie. Użyj poniższych instrukcji, aby pobrać je i użyć w ramach skryptu:

# Import the helper method module.
wget -O /tmp/HDInsightUtilities-v01.sh -q https://hdiconfigactions.blob.core.windows.net/linuxconfigactionmodulev01/HDInsightUtilities-v01.sh && source /tmp/HDInsightUtilities-v01.sh && rm -f /tmp/HDInsightUtilities-v01.sh

Następujący pomocnicy dostępni do użycia w skry skrycie:

Użycie pomocnika opis
download_file SOURCEURL DESTFILEPATH [OVERWRITE] Pobiera plik ze źródłowego identyfikatora URI do określonej ścieżki pliku. Domyślnie nie zastępuje istniejącego pliku.
untar_file TARFILE DESTDIR Wyodrębnia plik tar (przy użyciu polecenia -xf) do katalogu docelowego.
test_is_headnode Jeśli skrypt został uruchomiony w węźle głównym klastra, zwróć 1; w przeciwnym razie, 0.
test_is_datanode Jeśli bieżący węzeł jest węzłem danych (proces roboczy), zwróć wartość 1; w przeciwnym razie, 0.
test_is_first_datanode Jeśli bieżący węzeł jest pierwszym węzłem danych (proces roboczy) (nazwany workernode0) zwraca wartość 1; w przeciwnym razie, 0.
get_headnodes Zwróć w pełni kwalifikowaną nazwę domeny węzłów głównych w klastrze. Nazwy są rozdzielane przecinkami. Pusty ciąg jest zwracany po błędzie.
get_primary_headnode Pobiera w pełni kwalifikowaną nazwę domeny podstawowego węzła głównego. Pusty ciąg jest zwracany po błędzie.
get_secondary_headnode Pobiera w pełni kwalifikowaną nazwę domeny pomocniczego węzła głównego. Pusty ciąg jest zwracany po błędzie.
get_primary_headnode_number Pobiera sufiks liczbowy podstawowego węzła głównego. Pusty ciąg jest zwracany po błędzie.
get_secondary_headnode_number Pobiera sufiks liczbowy pomocniczego węzła głównego. Pusty ciąg jest zwracany po błędzie.

Typowe wzorce użycia

Ta sekcja zawiera wskazówki dotyczące implementowania niektórych typowych wzorców użycia, które mogą wystąpić podczas pisania własnego skryptu niestandardowego.

Przekazywanie parametrów do skryptu

W niektórych przypadkach skrypt może wymagać parametrów. Na przykład może być konieczne hasło administratora klastra podczas korzystania z interfejsu API REST systemu Ambari.

Parametry przekazywane do skryptu są znane jako parametry pozycyjne i są przypisywane do $1 pierwszego parametru, $2 dla drugiego i tak dalej. $0 zawiera nazwę samego skryptu.

Wartości przekazywane do skryptu jako parametry powinny być ujęte w pojedyncze cudzysłowy ('). Dzięki temu przekazana wartość jest traktowana jako literał.

Ustawianie zmiennych środowiskowych

Ustawienie zmiennej środowiskowej jest wykonywane przez następującą instrukcję:

VARIABLENAME=value

W poprzednim przykładzie VARIABLENAME jest nazwą zmiennej. Aby uzyskać dostęp do zmiennej, użyj polecenia $VARIABLENAME. Aby na przykład przypisać wartość dostarczaną przez parametr pozycyjny jako zmienną środowiskową o nazwie PASSWORD, należy użyć następującej instrukcji:

PASSWORD=$1

Późniejszy dostęp do informacji może następnie użyć polecenia $PASSWORD.

Zmienne środowiskowe ustawione w skrycie istnieją tylko w zakresie skryptu. W niektórych przypadkach może być konieczne dodanie zmiennych środowiskowych obejmujących cały system, które będą utrwalane po zakończeniu działania skryptu. Aby dodać zmienne środowiskowe dla całego systemu, dodaj zmienną do /etc/environmentzmiennej . Na przykład następująca instrukcja dodaje polecenie HADOOP_CONF_DIR:

echo "HADOOP_CONF_DIR=/etc/hadoop/conf" | sudo tee -a /etc/environment

Dostęp do lokalizacji, w których są przechowywane skrypty niestandardowe

Skrypty używane do dostosowywania klastra muszą być przechowywane w jednej z następujących lokalizacji:

  • Konto usługi Azure Storage skojarzone z klastrem.

  • Dodatkowe konto magazynu skojarzone z klastrem.

  • Publicznie czytelny identyfikator URI. Na przykład adres URL danych przechowywanych w usłudze OneDrive, Dropbox lub innej usłudze hostingu plików.

  • Konto usługi Azure Data Lake Storage skojarzone z klastrem usługi HDInsight. Aby uzyskać więcej informacji na temat korzystania z usługi Azure Data Lake Storage w usłudze HDInsight, zobacz Szybki start: konfigurowanie klastrów w usłudze HDInsight.

    Uwaga

    Jednostka usługi HDInsight używa do uzyskiwania dostępu do usługi Data Lake Storage, musi mieć dostęp do odczytu do skryptu.

Zasoby używane przez skrypt muszą być również publicznie dostępne.

Przechowywanie plików na koncie usługi Azure Storage lub w usłudze Azure Data Lake Storage zapewnia szybki dostęp, zarówno w ramach sieci platformy Azure.

Uwaga

Format identyfikatora URI używany do odwołowania się do skryptu różni się w zależności od używanej usługi. W przypadku kont magazynu skojarzonych z klastrem usługi HDInsight użyj polecenia wasb:// lub wasbs://. W przypadku publicznie czytelnych identyfikatorów URI użyj polecenia http:// lub https://. W przypadku usługi Data Lake Storage użyj polecenia adl://.

Lista kontrolna wdrażania akcji skryptu

Poniżej przedstawiono kroki, które należy wykonać podczas przygotowywania do wdrożenia skryptu:

  • Umieść pliki zawierające skrypty niestandardowe w miejscu dostępnym dla węzłów klastra podczas wdrażania. Na przykład domyślny magazyn dla klastra. Pliki mogą być również przechowywane w publicznie czytelnych usługach hostingowych.
  • Sprawdź, czy skrypt jest idempotentny. Dzięki temu skrypt może być wykonywany wiele razy w tym samym węźle.
  • Użyj tymczasowego katalogu plików /tmp, aby zachować pobrane pliki używane przez skrypty, a następnie wyczyścić je po wykonaniu skryptów.
  • Jeśli ustawienia na poziomie systemu operacyjnego lub pliki konfiguracji usługi Hadoop zostaną zmienione, warto ponownie uruchomić usługi HDInsight.

Jak uruchomić akcję skryptu

Za pomocą akcji skryptu można dostosować klastry usługi HDInsight przy użyciu następujących metod:

  • Azure Portal
  • Azure PowerShell
  • Szablony usługi Azure Resource Manager
  • Zestaw .NET SDK usługi HDInsight.

Aby uzyskać więcej informacji na temat korzystania z każdej metody, zobacz Jak używać akcji skryptu.

Przykłady skryptów niestandardowych

Firma Microsoft udostępnia przykładowe skrypty do instalowania składników w klastrze usługi HDInsight. Zobacz Instalowanie i używanie narzędzia Hue w klastrach usługi HDInsight jako przykładowej akcji skryptu.

Rozwiązywanie problemów

Poniżej przedstawiono błędy, które mogą wystąpić podczas używania utworzonych skryptów:

Błąd: $'\r': command not found. Czasami następuje syntax error: unexpected end of fileciąg .

Przyczyna: ten błąd jest spowodowany tym, że wiersze w skryfcie kończą się znakiem CRLF. Systemy Unix oczekują tylko LF jako zakończenia wiersza.

Ten problem występuje najczęściej, gdy skrypt jest utworzony w środowisku systemu Windows, ponieważ CRLF jest typowym wierszem kończącym się dla wielu edytorów tekstów w systemie Windows.

Rozwiązanie: jeśli jest to opcja w edytorze tekstów, wybierz pozycję Format systemu Unix lub LF, aby zakończyć wiersz. Możesz również użyć następujących poleceń w systemie Unix, aby zmienić crLF na LF:

Uwaga

Następujące polecenia są w przybliżeniu równoważne, że powinny zmienić zakończenia wiersza CRLF na LF. Wybierz jeden na podstawie narzędzi dostępnych w systemie.

Polecenie Uwagi
unix2dos -b INFILE Kopia zapasowa oryginalnego pliku jest wykonywana przy użyciu pliku . Rozszerzenie BAK
tr -d '\r' < INFILE > OUTFILE PLIK OUTFILE zawiera wersję z tylko zakończeniami LF
perl -pi -e 's/\r\n/\n/g' INFILE Modyfikuje plik bezpośrednio
sed 's/$'"/`echo \\\r`/" INFILE > OUTFILE PLIK OUTFILE zawiera wersję z tylko zakończeniami LF.

Błąd: line 1: #!/usr/bin/env: No such file or directory.

Przyczyna: Ten błąd występuje, gdy skrypt został zapisany jako UTF-8 z znacznikiem kolejności bajtów (BOM).

Rozwiązanie: Zapisz plik jako ASCII lub UTF-8 bez modelu BOM. Możesz również użyć następującego polecenia w systemie Linux lub Unix, aby utworzyć plik bez modelu BOM:

awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}{print}' INFILE > OUTFILE

Zastąp INFILE element plikiem zawierającym model BOM. OUTFILE powinna być nową nazwą pliku, która zawiera skrypt bez modelu BOM.

Następne kroki