Sdílet prostřednictvím

Řešení potíží s Apache Hivem s využitím Azure HDInsightu

  • Článek

Seznamte se s nejčastějšími dotazy a jejich řešeními při práci s datovými částmi Apache Hive v Apache Ambari.

Návody export metastoru Hive a jeho import do jiného clusteru?

Kroky řešení

  1. Připojte se ke clusteru HDInsight pomocí klienta SSH (Secure Shell). Další informace najdete v tématu Další čtení.

  2. V clusteru HDInsight, ze kterého chcete exportovat metastore, spusťte následující příkaz:

    for d in `hive -e "show databases"`; do echo "create database $d; use $d;" >> alltables.sql ; for t in `hive --database $d -e "show tables"` ; do ddl=`hive --database $d -e "show create table $t"`; echo "$ddl ;" >> alltables.sql ; echo "$ddl" | grep -q "PARTITIONED\s*BY" && echo "MSCK REPAIR TABLE $t ;" >> alltables.sql ; done; done

    Tento příkaz vygeneruje soubor s názvem allatables.sql.

  3. Zkopírujte soubor alltables.sql do nového clusteru HDInsight a spusťte následující příkaz:

    hive -f alltables.sql

Kód v krocích řešení předpokládá, že cesty k datům v novém clusteru jsou stejné jako datové cesty ve starém clusteru. Pokud se cesty k datům liší, můžete ručně upravit vygenerovaný alltables.sql soubor tak, aby odrážel všechny změny.

Další čtení

Návody najít protokoly Hive v clusteru?

Kroky řešení

  1. Připojte se ke clusteru HDInsight pomocí SSH. Další informace najdete v tématu Další čtení.

  2. Pokud chcete zobrazit protokoly klienta Hive, použijte následující příkaz:

    /tmp/<username>/hive.log

  3. Pokud chcete zobrazit protokoly metastoru Hive, použijte následující příkaz:

    /var/log/hive/hivemetastore.log

  4. Pokud chcete zobrazit protokoly serveru Hive, použijte následující příkaz:

    /var/log/hive/hiveserver2.log

Další čtení

Návody spuštění prostředí Hive s konkrétními konfiguracemi v clusteru?

Kroky řešení

  1. Při spuštění prostředí Hive zadejte pár klíč-hodnota konfigurace. Další informace najdete v tématu Další čtení.

    hive -hiveconf a=b

  2. Pokud chcete zobrazit seznam všech efektivních konfigurací v prostředí Hive, použijte následující příkaz:

    hive> set;

    Pomocí následujícího příkazu například spusťte prostředí Hive s povoleným protokolováním ladění v konzole:

    hive -hiveconf hive.root.logger=ALL,console

Další čtení

Návody analyzovat data DAG Apache Tez na kritické cestě clusteru?

Kroky řešení

  1. Pokud chcete analyzovat acyklický graf (DAG) Apache Tez v grafu kritickém pro cluster, připojte se ke clusteru HDInsight pomocí SSH. Další informace najdete v tématu Další čtení.

  2. Na příkazovém řádku spusťte následující příkaz:

    hadoop jar /usr/hdp/current/tez-client/tez-job-analyzer-*.jar CriticalPath --saveResults --dagId <DagId> --eventFileName <DagData.zip>

  3. Pokud chcete zobrazit seznam dalších analyzátorů, které je možné použít k analýze dag Tez, použijte následující příkaz:

    hadoop jar /usr/hdp/current/tez-client/tez-job-analyzer-*.jar

    Jako první argument musíte zadat ukázkový program.

    Mezi platné názvy programů patří:

    • ContainerReuseAnalyzer: Tisk podrobností o opětovném použití kontejneru v sadě DAG
    • CriticalPath: Vyhledání kritické cesty dag
    • LocalityAnalyzer: Tisk podrobností o lokalitě v sadě DAG
    • ShuffleTimeAnalyzer: Analýza podrobností o čase náhodného prohazování v sadě DAG
    • SkewAnalyzer: Analýza podrobností nerovnoměrné distribuce v sadě DAG
    • SlowNodeAnalyzer: Tisk podrobností o uzlu v sadě DAG
    • SlowTaskIdentifier: Tisk podrobností pomalé úlohy v sadě DAG
    • SlowestVertexAnalyzer: Tisk nejpomalejších podrobností vrcholu v DAG
    • SpillAnalyzer: Tisk podrobností o přelití v DAG
    • TaskConcurrencyAnalyzer: Tisk podrobností o souběžnosti úlohy v DAG
    • VertexLevelCriticalPathAnalyzer: Vyhledání kritické cesty na úrovni vrcholu v DAG

Další čtení

Návody stáhnout data dag Tez z clusteru?

Kroky řešení

Data dag Tez můžete shromažďovat dvěma způsoby:

  • Z příkazového řádku:

    Připojte se ke clusteru HDInsight pomocí SSH. Na příkazovém řádku spusťte následující příkaz:

    hadoop jar /usr/hdp/current/tez-client/tez-history-parser-*.jar org.apache.tez.history.ATSImportTool -downloadDir . -dagId <DagId>

  • Použijte zobrazení Ambari Tez:

    1. Přejděte na Ambari.
    2. Přejděte do zobrazení Tez (pod ikonou dlaždic v pravém horním rohu).
    3. Vyberte dag, který chcete zobrazit.
    4. Vyberte Stáhnout data.

Další čtení

Připojení ke clusteru HDInsight pomocí SSH

Další kroky

Pokud jste problém neviděli nebo nemůžete problém vyřešit, navštivte jeden z následujících kanálů, kde najdete další podporu:

  • Získejte odpovědi od odborníků na Azure prostřednictvím podpory komunity Azure.

  • Spojte se s @AzureSupport – oficiálním účtem Microsoft Azure pro zlepšení uživatelského prostředí. Propojení komunity Azure se správnými prostředky: odpovědi, podpora a odborníci.

  • Pokud potřebujete další pomoc, můžete odeslat žádost o podporu z webu Azure Portal. V řádku nabídek vyberte možnost Podpora nebo otevřete centrum nápovědy a podpory . Podrobnější informace najdete v tématu Vytvoření žádosti o podpora Azure. Součástí předplatného Microsoft Azure je přístup ke správě předplatného a podpora fakturace. Technická podpora se poskytuje prostřednictvím některého z plánů podpory Azure.