HDInsight na AKS — często zadawane pytania
Ten artykuł zawiera odpowiedzi na kilka typowych pytań dotyczących usługi Azure HDInsight w usłudze AKS.
Ważny
Usługa Azure HDInsight w usłudze AKS została wycofana 31 stycznia 2025 r. Dowiedz się więcej w tym ogłoszeniu.
Aby uniknąć nagłego kończenia obciążeń, należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure.
Ważny
Ta funkcja jest obecnie dostępna w wersji zapoznawczej. Dodatkowe warunki użytkowania platformy Microsoft Azure dotyczące wersji zapoznawczych zawierają więcej warunków prawnych, które odnoszą się do funkcji platformy Azure będących w wersji beta, w wersji zapoznawczej lub które w inny sposób jeszcze nie udostępniono do ogólnej dostępności. Aby uzyskać informacje na temat tej konkretnej wersji zapoznawczej, zobacz informacje o wersji zapoznawczej usługi Azure HDInsight na AKS. W przypadku pytań lub sugestii dotyczących funkcji prosimy przesłać prośbę na AskHDInsight wraz ze szczegółami i śledzić nas, aby uzyskać więcej aktualizacji na temat Społeczność Azure HDInsight.
Ogólne
Co to jest HDInsight na AKS?
Usługa HDInsight w usłudze AKS to nowa wersja usługi HDInsight, która udostępnia gotową dla przedsiębiorstw usługę klastra zarządzanego z pojawiającymi się projektami analitycznymi typu open source, takimi jak Apache Flink (na potrzeby przesyłania strumieniowego), Trino (na potrzeby analizy adhoc i analizy biznesowej) i apache Spark. Aby uzyskać więcej informacji, zobacz Omówienie.
Jakie kształty klastra są obsługiwane przez HDInsight na AKS?
Usługa HDInsight w AKS początkowo obsługuje platformy Trino, Apache Flink i Apache Spark. Jednak inne kształty klastra, takie jak Kafka, Hive itp., są w harmonogramie działania.
Jak rozpocząć pracę z HDInsight na AKS?
Aby rozpocząć, odwiedź witrynę Azure Marketplace i wyszukaj usługę Azure HDInsight w usłudze AKS, a następnie skorzystaj z wprowadzenia.
Co się stanie z istniejącą usługą HDInsight na maszynie wirtualnej i klastrami, które obecnie uruchamiam?
Brak zmian w istniejącej usłudze HDInsight (HDInsight na maszynie wirtualnej). Wszystkie istniejące klastry nadal działają i można nadal tworzyć i skalować nowe klastry usługi HDInsight.
Który system operacyjny jest obsługiwany dla HDInsight na AKS?
Usługa HDInsight w usłudze AKS jest oparta na systemie operacyjnym Mariner. Aby uzyskać więcej informacji, zobacz wersję systemu operacyjnego .
W jakich regionach usługa HDInsight jest dostępna na AKS?
Aby uzyskać listę obsługiwanych regionów, zobacz Dostępność regionu.
Jaki jest koszt wdrożenia usługi HDInsight w klastrze usługi AKS?
Aby uzyskać więcej informacji na temat cen, sprawdź cennik usługi HDInsight w usłudze AKS.
Zarządzanie klastrem
Czy mogę uruchomić wiele klastrów jednocześnie?
Tak, możesz uruchomić dowolną liczbę klastrów w tym samym czasie w każdej puli klastrów. Upewnij się jednak, że nie jesteś ograniczony przez limit przydziału dla Twojej subskrypcji. Maksymalna liczba węzłów dozwolonych w puli klastrów to 250 (w publicznej wersji zapoznawczej).
Czy mogę zainstalować lub dodać więcej wtyczek/bibliotek w klastrze?
Tak, można zainstalować niestandardowe wtyczki i biblioteki w zależności od kształtów klastra.
- W przypadku programu Trino zapoznaj się z tematem Install custom plugins (Instalowanie wtyczek niestandardowych).
- W przypadku Spark zapoznaj się z tematem zarządzanie bibliotekami w Spark.
Czy mogę połączyć się z klastrem za pomocą protokołu SSH?
Tak, możesz połączyć się z klastrem za pośrednictwem protokołu Webssh i wykonywać zapytania i przesyłać zadania bezpośrednio z tego miejsca.
Magazyn metadanych
Czy mogę nawiązać połączenie z klastrem za pomocą zewnętrznego magazynu metadanych?
Tak, możesz użyć zewnętrznego magazynu metadanych. Obsługujemy jednak tylko usługę Azure SQL Database jako zewnętrzny niestandardowy magazyn metadanych.
Czy mogę udostępnić magazyn metadanych w wielu klastrach?
Tak, możesz udostępnić magazyn metadanych między wieloma klastrami HDInsight na platformie AKS.
Jaka wersja magazynu metadanych Hive jest obsługiwana?
Magazyn metadanych Hive w wersji 3.1.2
Obciążenia robocze
Trino
Co to jest Trino?
Trino to federacyjny i rozproszony aparat zapytań SQL typu open source, który umożliwia wykonywanie zapytań dotyczących danych znajdujących się w różnych źródłach danych bez przechodzenia do centralnego magazynu danych. Możesz wykonywać zapytania dotyczące danych przy użyciu języka ANSI SQL. Nie trzeba uczyć się nowego języka. Aby uzyskać więcej informacji, zobacz Trino overview.
Jakie wszystkie łączniki obsługujesz?
Usługa HDInsight na AKS Trino obsługuje wiele łączników. Aby uzyskać więcej informacji, zapoznaj się z listą łączników Trino . Ciągle dodajemy nowe łączniki jako i gdy nowe łączniki są dostępne w wersji typu open source.
Czy mogę dodać wykazy do istniejącego klastra?
Tak, można dodać obsługiwane wykazy do istniejącego klastra. Aby uzyskać więcej informacji, zobacz Dodawanie katalogów do istniejącego klastra.
Apache Flink
Co to jest apache Flink?
Apache Flink to najlepszy w klasie aparat analityczny typu open source do przetwarzania strumienia i wykonywania stanowych obliczeń na niezwiązanych i ograniczonych strumieniach danych. Może wykonywać obliczenia z prędkością pamięci i na dowolną skalę. Funkcja Flink w usłudze HDInsight w usłudze AKS oferuje zarządzane narzędzie Apache Flink typu open source. Aby uzyskać więcej informacji, zapoznaj się z omówieniem Flink .
Czy obsługujesz zarówno sesję, jak i tryb aplikacji w narzędziu Apache Flink?
W HDInsight na AKS Flink obecnie wspiera klastry trybu sesji.
Co to jest zarządzanie stanem backendu i jak jest realizowane w HDInsight na AKS?
Zaplecza określają, gdzie jest przechowywany stan. Po aktywowaniu punktów kontrolnych, stan jest trwały, co chroni przed utratą danych i zapewnia spójne odzyskiwanie. Sposób, w jaki stan jest reprezentowany wewnętrznie, oraz jak i gdzie jest utrwalany podczas punktów kontrolnych, zależy od wybranego mechanizmu zapisu/zarządzania stanem. Aby uzyskać więcej informacji, zobacz omówienie Flink
Apache Spark
Co to jest platforma Apache Spark?
Apache Spark to platforma przetwarzania danych, która może szybko wykonywać zadania przetwarzania na dużych zestawach danych, a także dystrybuować zadania przetwarzania danych na wielu komputerach samodzielnie lub w połączeniu z innymi narzędziami do przetwarzania rozproszonego.
Jakie API językowe są obsługiwane w Spark?
Usługa Azure HDInsight w usłudze AKS obsługuje języki Python i Scala.
Czy zewnętrzny magazyn metadanych jest obsługiwany w usłudze HDInsight na platformie AKS Spark?
Usługa HDInsight w usłudze AKS obsługuje łączność zewnętrznego magazynu metadanych. Obecnie tylko usługa Azure SQL DB jest obsługiwana jako zewnętrzny magazyn metadanych.
Jakie są różne sposoby przesyłania zadań w usłudze HDInsight na platformie AKS Spark?
Zadania można przesyłać w usłudze HDInsight na platformie AKS Spark, przy użyciu Jupyter Notebook, Zeppelin Notebook, SDK i terminalu klastra. Aby uzyskać więcej informacji, zobacz Przesyłanie zadań i zarządzanie nimi w klastrze Spark w usłudze HDInsight w usłudze AKS