Co to jest HDInsight na AKS? (Wersja zapoznawcza)

Ważny

Usługa Azure HDInsight w usłudze AKS została wycofana 31 stycznia 2025 r. Dowiedz się więcej w tym komunikacie.

Aby uniknąć nagłego kończenia obciążeń, należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure.

Ważny

Ta funkcja jest obecnie dostępna w wersji zapoznawczej. Dodatkowe warunki użytkowania platformy Microsoft Azure zawierają więcej warunków prawnych, które dotyczą funkcji platformy Azure w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje na temat tej konkretnej wersji zapoznawczej, zobacz informacje na temat wersji zapoznawczej Azure HDInsight na AKS. W przypadku pytań lub sugestii dotyczących funkcji, prześlij żądanie na AskHDInsight, a aby otrzymywać więcej aktualizacji, śledź nas w Azure HDInsight Community.

Usługa HDInsight w usłudze AKS to nowoczesna, niezawodna, bezpieczna i w pełni zarządzana platforma jako usługa (PaaS) działająca w usłudze Azure Kubernetes Service (AKS). Usługa HDInsight w usłudze AKS umożliwia wdrażanie popularnych obciążeń usługi Open-Source Analytics, takich jak Apache Spark™, Apache Flink®️ i Trino, bez konieczności zarządzania kontenerami i monitorowania ich.

Możesz budować kompleksowe, end-to-end aplikacje Big Data w skali petabajtowej, obejmujące przesyłanie strumieniowe za pośrednictwem Apache Flink, inżynierię danych i uczenie maszynowe przy użyciu Apache Spark oraz wykorzystanie potężnego aparatu zapytań Trino.

Wszystkie te możliwości w połączeniu z usługą HDInsight w silnym centrum deweloperów usługi AKS umożliwiają przedsiębiorstwom i cyfrowym natywnym osobom z głęboką wiedzą techniczną tworzenie i obsługę aplikacji, które są odpowiednie dla ich potrzeb. Usługa HDInsight w usłudze AKS umożliwia deweloperom dostęp do wszystkich zaawansowanych konfiguracji udostępnianych przez oprogramowanie typu open source oraz rozszerzalność, aby bezproblemowo obejmować inne oferty ekosystemów. Ta oferta umożliwia deweloperom testowanie i dostrajanie swoich aplikacji w celu uzyskania najlepszej wydajności przy optymalnym koszcie.

Usługa HDInsight w usłudze AKS integruje się z całym ekosystemem platformy Azure, skracając cykle implementacji i skracając czas realizacji wartości.

Architektura techniczna

Usługa HDInsight w usłudze AKS wprowadza koncepcję pul klastrów i klastrów, które umożliwiają realizację pełnej wartości usługi Data Lakehouse. Zasoby klastrów umożliwiają korzystanie z wielu obciążeń obliczeniowych w jednym jeziorze danych, co pozwala na wyeliminowanie konieczności zarządzania siecią i planowania zasobów.

• pule klastrów to logiczne grupowanie klastrów, które pomagają w tworzeniu niezawodnej współpracy między wieloma typami klastrów i umożliwiają przedsiębiorstwom posiadanie klastrów w tej samej sieci wirtualnej. Pule klastrów zapewniają szybki i ekonomiczny dostęp do wszystkich typów klastrów utworzonych na żądanie i na dużą skalę. Jedna pula klastrów odpowiada jednemu klastrowi w infrastrukturze AKS.
• Klastry to indywidualne obciążenia obliczeniowe, takie jak Apache Spark, Apache Flink i Trino, które można szybko utworzyć w ciągu kilku minut przy użyciu wstępnie ustawionych konfiguracji.

Pulę można utworzyć przy użyciu jednego klastra lub kombinacji typów klastrów, które są oparte na potrzebie i można skonfigurować następujące opcje:

• Przechowywanie
• Sieć
• Drwalnictwo
• Monitorowanie

Na poniższym diagramie przedstawiono logiczną architekturę techniczną składników zainstalowanych w domyślnej puli klastrów. Klastry są izolowane przy użyciu przestrzeni nazw w klastrach usługi AKS.

Zmodernizowana natywna dla chmury platforma obliczeniowa

Najnowsza wersja usługi HDInsight jest aranżowana przy użyciu usługi AKS, która umożliwia platformę bardziej niezawodną i umożliwia użytkownikom efektywne obsługę klastrów. Aprowizowanie klastrów w usłudze HDInsight w usłudze AKS jest szybkie i niezawodne, co ułatwia zarządzanie klastrami i przeprowadzanie uaktualnień w miejscu. Dzięki szerokiemu wyborowi SKU i elastycznym modelom subskrypcji, modernizacja magazynów typu data lakehouse przy użyciu rozwiązań open source, skalowalnej infrastruktury w pełni zintegrowanej z chmurą na platformie HDInsight i AKS może spełnić wszystkie Twoje potrzeby analityczne.

Najważniejsze funkcje obejmują:

• Szybkie tworzenie i skalowanie klastra.
• Łatwość konserwacji i okresowych aktualizacji zabezpieczeń.
• Odporność klastra oparta na nowoczesnej usłudze AKS natywnej dla chmury.
• Natywna obsługa nowoczesnego uwierzytelniania przy użyciu protokołu OAuth i identyfikatora Entra firmy Microsoft.
• Głęboka integracja z usługami platformy Azure — Azure Data Factory (ADF), Power BI i Azure Monitor.

Łączność z usługą HDInsight

HDInsight na AKS może bezproblemowo łączyć się z HDInsight. Możesz czerpać korzyści wynikające z używania wymaganych typów klastrów w modelu hybrydowym. Interakcja z klastrami HDInsight z wykorzystaniem tego samego magazynu danych i wspólnego metastore w obu rozwiązaniach.

HDInsight oferuje Apache Kafka®, Apache HBase® i inne obciążenia analityczne w modelu Platform as a Service (PaaS).

Obsługiwane są następujące scenariusze:

• połączenie apache Flink z bazą danych Apache HBase
• Połączenie Apache Flink z platformą Apache Kafka
• Łączenie platformy Apache Spark z bazą danych Apache HBase
• Łączenie platformy Apache Spark z platformą Apache Kafka

Architektura zabezpieczeń

Usługa HDInsight w usłudze AKS jest domyślnie bezpieczna. Umożliwia przedsiębiorstwom ochronę zasobów danych przedsiębiorstwa za pomocą usługi Azure Virtual Network, szyfrowania i integracji z identyfikatorem Entra firmy Microsoft. Spełnia również najpopularniejsze standardy zgodności branżowej i rządowej podtrzymujące standardy platformy Azure. Dzięki ponad 30 certyfikatom, które pomagają chronić dane wraz z okresowymi aktualizacjami, powiadomieniami doradcy kondycji, analizą kondycji usługi oraz najlepszymi standardami zabezpieczeń platformy Azure. Usługa HDInsight w usłudze AKS oferuje kilka metod domyślnie odpowiadających potrzebom w zakresie zabezpieczeń przedsiębiorstwa. Aby uzyskać więcej informacji, zobacz HDInsight on AKS security.

Dostępność regionów (publiczna wersja zapoznawcza)

Azja i Pacyfik

• Australia Wschodnia
• Indie Środkowe
• Azja Wschodnia
• Japonia Wschodnia
• Korea Środkowa
• Azja Południowo-Wschodnia

Europa

• Francja Środkowa
• Europa Północna
• Norwegia Wschodnia
• Szwajcaria Północna
• Południowe Zjednoczone Królestwo
• Europa Zachodnia

Ameryki

• Brazylia Południowa
• Kanada Środkowa
• Środkowe stany USA
• Wschodnie stany USA
• Wschodnie stany USA 2
• Wschodnie stany USA 2 EUAP
• Południowo-środkowe stany USA
• Zachodnie stany USA
• Zachodnie stany USA 2
• Zachodnie stany USA 3

Notatka

• Marka Trino i znaki towarowe są własnością firmy Trino Software Foundation. Korzystanie z tych znaków nie oznacza poparcia przez Fundację Trino Software.
• Apache Spark, Spark i logo Spark są znakami towarowymi Apache Software Foundation (ASF).
• Apache, Apache Kafka, Kafka i logo Platformy Kafka są znakami towarowymi Apache Software Foundation (ASF).
• Apache, Apache Flink, Flink i logo Flink są znakami towarowymi Apache Software Foundation (ASF).
• Apache HBase, HBase i logo HBase są znakami towarowymi Apache Software Foundation (ASF).
• Apache®, Apache Spark™, Apache HBase®, Apache Kafka® i Apache Flink® są zastrzeżonymi znakami towarowymi lub znakami towarowymi Apache Software Foundation w Stanach Zjednoczonych i/lub innych krajach. Użycie tych znaków nie oznacza poparcia przez The Apache Software Foundation.