Apache Spark-Richtlinien
Dieser Artikel enthält verschiedene Richtlinien für die Verwendung von Apache Spark in Azure HDInsight.
Wie kann ich Spark-Aufträge ausführen oder übermitteln?
Wie kann ich Spark-Aufträge überwachen und debuggen?
Option | Dokumente |
---|---|
Azure Toolkit für IntelliJ | Debuggen von fehlgeschlagenen Spark-Aufträgen mit dem Azure-Toolkit für IntelliJ (Vorschau) |
Azure-Toolkit für IntelliJ über SSH | Lokales oder Remotedebuggen von Apache Spark-Anwendungen in einem HDInsight-Cluster mit dem Azure-Toolkit für IntelliJ per SSH |
Azure-Toolkit für IntelliJ über VPN | Verwenden des Azure-Toolkits für IntelliJ zum Remotedebuggen von Apache Spark-Anwendungen über VPN |
Auftragsdiagramm im Apache Spark-Verlaufsserver | Verwenden des erweiterten Apache Spark-Verlaufsservers zum Debuggen und Diagnostizieren von Apache Spark-Anwendungen |
Wie kann ich meine Spark-Aufträge effizienter gestalten?
Option | Dokumente |
---|---|
E/A-Cache | Verbessern der Leistung von Apache Spark-Workloads per Azure HDInsight IO Cache (Vorschauversion) |
Konfigurationsoptionen | Optimieren von Apache Spark-Aufträgen |
Wie kann ich Verbindungen mit anderen Azure-Diensten herstellen?
Option | Dokumente |
---|---|
Apache Hive in HDInsight | Integrieren von Apache Spark und Apache Hive per Hive Warehouse Connector |
Apache HBase in HDInsight | Verwenden von Apache Spark zum Lesen und Schreiben von Apache HBase-Daten |
Apache Kafka in HDInsight | Tutorial: Verwenden von strukturiertem Apache Spark-Streaming mit Apache Kafka in HDInsight |
Azure Cosmos DB | Azure Synapse Link für Azure Cosmos DB |
Welche Speicheroptionen stehen mir zur Verfügung?
Option | Dokumente |
---|---|
Azure Data Lake Storage Gen2 | Verwenden von Azure Data Lake Storage Gen2 mit Azure HDInsight-Clustern |
Azure Blob Storage | Verwenden von Azure Storage mit Azure HDInsight-Clustern |