HDInsight auf AKS – Häufig gestellte Fragen

In diesem Artikel werden einige häufig gestellte Fragen zu Azure HDInsight auf AKS behandelt.

Wichtig

Azure HDInsight auf AKS wurde am 31. Januar 2025 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.

Sie müssen Ihre Workloads zu Microsoft Fabric oder ein gleichwertiges Azure-Produkt migrieren, um eine abrupte Beendigung Ihrer Workloads zu vermeiden.

Wichtig

Dieses Feature befindet sich derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews weitere rechtliche Bestimmungen enthalten, die für Azure-Features gelten, die in der Betaversion, in der Vorschau oder auf andere Weise noch nicht in die allgemeine Verfügbarkeit veröffentlicht werden. Informationen zu dieser spezifischen Vorschau finden Sie unter Azure HDInsight auf AKS-Vorschauinformationen. Für Fragen oder Funktionsvorschläge senden Sie bitte eine Anfrage auf AskHDInsight mit den Details und folgen Sie uns für weitere Updates auf Azure HDInsight Community.

Allgemein

• Was ist HDInsight auf AKS?

  HDInsight auf AKS ist eine neue HDInsight-Version, die unternehmensbereiten verwalteten Clusterdienst mit neuen Open-Source-Analyseprojekten wie Apache Flink (für Streaming), Trino (für Adhoc-Analysen und BI) und Apache Spark bietet. Weitere Informationen finden Sie unter Übersicht.

• Welche Cluster-Shapes unterstützen HDInsight auf AKS?

  HDInsight auf AKS unterstützt zunächst Trino, Apache Flink und Apache Spark. Andere Clusterformen wie Kafka, Hive usw. sind jedoch auf der Roadmap.

• Wie beginne ich mit HDInsight auf AKS?

  Um zu beginnen, besuchen Sie Azure Marketplace und suchen Sie nach Azure HDInsight im AKS-Dienst und verweisen Sie auf Einstieg.

• Was geschieht mit bestehenden HDInsight-Diensten auf virtuellen Maschinen und den Clustern, die ich heute betreibe?

  Es gibt keine Änderungen an vorhandenem HDInsight (HDInsight auf VM). Alle vorhandenen Cluster werden weiterhin ausgeführt, und Sie können weiterhin neue HDInsight-Cluster erstellen und skalieren.

• Welches Betriebssystem wird mit HDInsight auf AKS unterstützt?

  HDInsight auf AKS basiert auf Mariner OS. Weitere Informationen finden Sie unter Betriebssystemversion.

• In welchen Regionen sind HDInsight auf AKS verfügbar?

  Eine Liste der unterstützten Regionen finden Sie unter Regionsverfügbarkeit.

• Was sind die Kosten für die Bereitstellung eines HDInsight auf einem AKS-Cluster?

  Weitere Informationen zu Preisen finden Sie unter HDInsight zu AKS-Preisen.

Clusterverwaltung

• Kann ich mehrere Cluster gleichzeitig ausführen?

  Ja, Sie können beliebig viele Cluster pro Clusterpool gleichzeitig ausführen. Stellen Sie jedoch sicher, dass Sie nicht durch das Kontingent für Ihr Abonnement begrenzt sind. Die maximale Anzahl der in einem Clusterpool zulässigen Knoten beträgt 250 (in der öffentlichen Vorschau).

• Kann ich weitere Plug-Ins/Bibliotheken in meinem Cluster installieren oder hinzufügen?

  Ja, Sie können benutzerdefinierte Plug-Ins und Bibliotheken je nach Cluster-Shapes installieren.

  • Informationen zu Trino finden Sie unter Installieren von benutzerdefinierten Plug-Ins.
  • Informationen zu Spark finden Sie unter Bibliotheksverwaltung in Spark.

• Kann ich mich per SSH mit meinem Cluster verbinden?

  Ja, Sie können per SSH über WebSSH auf Ihren Cluster zugreifen und von dort direkt Abfragen ausführen und Jobs einreichen.

Metastore

• Kann ich einen externen Metastore verwenden, um eine Verbindung mit meinem Cluster herzustellen?

  Ja, Sie können einen externen Metaspeicher verwenden. Wir unterstützen jedoch nur Azure SQL-Datenbank als externen benutzerdefinierten Metaspeicher.

• Kann ich einen Metastore über mehrere Cluster hinweg freigeben?

  Ja, Sie können einen Metastore für mehrere HDInsight von AKS freigeben.

• Welche Version des Hive-Metastores wird unterstützt?

  Hive Metastore Version 3.1.2

Arbeitsauslastungen

Trino

• Was ist Trino?

  Trino ist ein Open Source-Verbund- und verteiltes SQL-Abfragemodul, mit dem Sie Daten abfragen können, die sich in verschiedenen Datenquellen befinden, ohne zu einem zentralen Data Warehouse zu wechseln. Sie können die Daten mit ANSI SQL abfragen, ohne eine neue Sprache zu erlernen. Weitere Informationen finden Sie unter Trino-Übersicht.

• Welche Connectors unterstützen Sie alle?

  HDInsight auf AKS Trino unterstützt mehrere Connectors. Weitere Informationen finden Sie in dieser Liste der Trino-Steckverbinder. Wir fügen weiterhin neue Konnektoren hinzu, sobald neue Konnektoren in der Open-Source-Version verfügbar sind.

• Kann ich Einem vorhandenen Cluster Kataloge hinzufügen?

  Ja, Sie können dem vorhandenen Cluster unterstützte Kataloge hinzufügen. Weitere Informationen finden Sie unter Hinzufügen von Katalogen zu einem vorhandenen Cluster.

Apache Flink

• Was ist Apache Flink?

  Apache Flink ist ein erstklassiges Open-Source-Analysemodul für die Datenstromverarbeitung und die Durchführung zustandsbehafteter Berechnungen über ungebundene und gebundene Datenströme. Sie kann Berechnungen mit speicherinterner Geschwindigkeit und in beliebiger Skalierung durchführen. Flink in HDInsight auf AKS bietet verwaltetes Open-Source-Apache-Flink. Weitere Informationen finden Sie unter Flink-Übersicht.

• Unterstützen Sie sowohl den Sitzungs- als auch den App-Modus in Apache Flink?

  In HDInsight auf AKS unterstützt Flink derzeit die Sitzungsmodi für Cluster.

• Was ist die Zustandsverwaltung im Backend und wie wird dies in HDInsight auf AKS umgesetzt?

  Back-Ends bestimmen, wo der Zustand gespeichert ist. Wenn das Checkpointing aktiviert ist, wird der Zustand bei Checkpoints gespeichert, um vor Datenverlust zu schützen und konsistent wiederherzustellen. Wie der Zustand intern dargestellt wird und wie und wo er bei Prüfpunkten beibehalten wird, hängt vom gewählten Status-Back-End ab. Weitere Informationen finden Sie unter Flink-Übersicht

Apache Spark

• Was ist Apache Spark?

  Apache Spark ist ein Datenverarbeitungsframework, das schnell Verarbeitungsaufgaben für große Datasets ausführen kann und auch Datenverarbeitungsaufgaben auf mehrere Computer verteilt, entweder eigenständig oder zusammen mit anderen verteilten Computing-Tools.

• Welche Sprach-APIs werden in Spark unterstützt?

  Azure HDInsight auf AKS unterstützt Python und Scala.

• Werden externe Metastore in HDInsight auf AKS Spark unterstützt?

  HDInsight auf AKS unterstützt die externe Verbindung zum Metastore. Derzeit wird nur Azure SQL DB als externer Metastore unterstützt.

• Was sind die verschiedenen Möglichkeiten zum Übermitteln von Aufträgen in HDInsight auf AKS Spark?

  Sie können Aufträge über HDInsight auf AKS Spark mit Jupyter Notebook, Zeppelin Notebook, SDK und Clusterterminal übermitteln. Weitere Informationen finden Sie unter Einreichen und Verwalten von Jobs auf einem Spark-Cluster in HDInsight auf AKS