Partager via

Qu’est-ce que HDInsight sur AKS ? (Préversion)

  • Article

Important

Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. En savoir plus avec cette annonce.

Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.

Important

Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez informations sur Azure HDInsight sur AKS en préversion. Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.

HDInsight sur AKS est un service PaaS (Platform as a Service) moderne, fiable, sécurisé et entièrement managé qui s’exécute sur Azure Kubernetes Service (AKS). HDInsight sur AKS vous permet de déployer des charges de travail Open-Source Analytics populaires telles qu’Apache Spark™, Apache Flink®️ et Trino sans surcharge de gestion et de surveillance des conteneurs.

Vous pouvez créer des applications Big Data de bout en bout, à l’échelle pétaabyte, couvrant la diffusion en continu via Apache Flink, l’ingénierie des données et le Machine Learning à l’aide d’Apache Spark et du puissant moteur de requête trino.

Toutes ces fonctionnalités combinées à HDInsight sur le focus fort du développeur AKS permettent aux entreprises et aux natifs numériques d’avoir une expertise technique approfondie pour créer et exploiter des applications adaptées à leurs besoins. HDInsight sur AKS permet aux développeurs d’accéder à toutes les configurations enrichies fournies par des logiciels open source et à l’extensibilité pour inclure en toute transparence d’autres offres d’écosystème. Cette offre permet aux développeurs de tester et de régler leurs applications afin d’extraire les meilleures performances au coût optimal.

HDInsight sur AKS s’intègre à l’ensemble de l’écosystème Azure, raccourcit les cycles d’implémentation et améliore le temps de réalisation de la valeur.

Diagramme montrant les avantages de HDInsight sur AKS.

Architecture technique

HDInsight sur AKS introduit le concept de pools de clusters et de clusters, ce qui vous permet d'exploiter pleinement la valeur d'un "data lakehouse". Les pools de clusters vous permettent d’utiliser plusieurs charges de travail de calcul sur un seul lac de données, ce qui supprime la surcharge liée à la gestion du réseau et à la planification des ressources.

  • Les pools de clusters sont un regroupement logique de clusters qui aide à créer une interopérabilité robuste entre différents types de clusters et permet aux entreprises d’intégrer les clusters dans le même réseau virtuel. Les pools de clusters fournissent un accès rapide et économique à tous les types de cluster créés à la demande et à grande échelle. Un pool de clusters correspond à un cluster dans l’infrastructure AKS.
  • clusters sont des charges de travail de calcul individuelles, telles qu’Apache Spark, Apache Flink et Trino, qui peuvent être créées rapidement en quelques minutes avec des configurations prédéfinies.

Vous pouvez créer le pool avec un seul cluster ou une combinaison de types de cluster, qui sont basés sur le besoin et peuvent configurer les options suivantes :

  • Stockage
  • Réseau
  • Exploitation forestière
  • Surveillance

Le diagramme suivant montre l’architecture technique logique des composants installés dans un pool de clusters par défaut. Les clusters sont isolés à l'aide des espaces de noms dans les clusters AKS.

Diagramme montrant l’architecture HDInsight sur AKS.

Plateforme de calcul native cloud modernisée

La dernière version de HDInsight est orchestrée à l’aide d’AKS, ce qui permet à la plateforme d’être plus robuste et de permettre aux utilisateurs de gérer efficacement les clusters. L’approvisionnement de clusters sur HDInsight sur AKS est rapide et fiable, ce qui facilite la gestion des clusters et l’exécution de mises à niveau sur place. Avec de vastes options SKU et des modèles d’abonnement flexibles, la modernisation des data lakehouses à l’aide d’une infrastructure open source, évolutive et cloud native sur HDInsight sur AKS peut répondre à tous vos besoins d’analyse.

Diagramme montrant HDInsight sur AKS et la manière dont il est modernisé sur la plateforme de calcul cloud natif.

Les fonctionnalités clés sont les suivantes :

  • Création et mise à l’échelle rapides du cluster.
  • Facilité de maintenance et mises à jour de sécurité périodiques.
  • Résilience des clusters grâce à des services AKS natifs du cloud modernes.
  • Prise en charge native de l’authentification moderne avec OAuth et Microsoft Entra ID.
  • Intégration approfondie à Azure Services : Azure Data Factory (ADF), Power BI, Azure Monitor.

Connectivité à HDInsight

HDInsight dans AKS peut se connecter de manière fluide avec HDInsight. Vous pouvez tirer parti des avantages de l’utilisation des types de cluster nécessaires dans un modèle hybride. Interopérez avec les types de cluster HDInsight en utilisant le même stockage et le même métastockage pour les deux services.

HDInsight offre Apache Kafka®, Apache HBase® et d’autres charges de travail analytiques sous forme de PaaS (Platform as a Service).

diagramme montrant les concepts de connectivité.

Les scénarios suivants sont pris en charge :

Architecture de sécurité

HDInsight sur AKS est sécurisé par défaut. Elle permet aux entreprises de protéger les ressources de données d’entreprise avec le réseau virtuel Azure, le chiffrement et l’intégration à l’ID Microsoft Entra. Il répond également aux normes de conformité du secteur et du gouvernement les plus populaires qui respectent les normes Azure. Avec plus de 30 certifications qui aident à protéger les données ainsi que les mises à jour périodiques, les notifications d’avis d’intégrité, l’analyse de l’intégrité des services, ainsi que les normes de sécurité Azure les plus performantes. HDInsight sur AKS offre plusieurs méthodes pour répondre aux besoins de sécurité de votre entreprise par défaut. Pour plus d’informations, consultez HDInsight sur la sécurité d'AKS.

Diagramme montrant le concept de sécurité.

Disponibilité de la région (préversion publique)

Asie-Pacifique

  • Australie Est
  • Inde centrale
  • Asie de l’Est
  • Japon Est
  • Corée Centrale
  • Asie du Sud-Est

Europe

  • France Centre
  • Europe Nord
  • Norvège Est
  • Suisse Nord
  • Royaume-Uni Sud
  • Europe Ouest

Amériques

  • Brésil Sud
  • Centre du Canada
  • Centre des États-Unis
  • USA Est
  • Est des États-Unis 2
  • USA Est 2 EUAP
  • USA Centre Sud
  • USA Ouest
  • Ouest des États-Unis 2
  • Ouest des États-Unis 3

Note

  • La marque trino et les marques commerciales sont détenues et gérées par la Trino Software Foundation. Aucune approbation de La Fondation Trino Software n’est implicite par l’utilisation de ces marques.
  • Apache Spark, Spark et le logo Spark sont des marques de la Apache Software Foundation (ASF).
  • Apache, Apache Kafka, Kafka et le logo Kafka sont des marques de commerce de l'Apache Software Foundation (ASF).
  • Apache, Apache Flink, Flink et le logo Flink sont des marques de la Apache Software Foundation (ASF).
  • Apache HBase, HBase et le logo HBase sont des marques de la Apache Software Foundation (ASF).
  • Apache, Apache® Spark™, Apache HBase®, Apache Kafka® et Apache Flink® sont des marques déposées ou des marques déposées de la Apache Software Foundation aux États-Unis et/ou dans d’autres pays. Aucune approbation par Apache Software Foundation n’est implicite par l’utilisation de ces marques.