AKS의 HDInsight - 질문과 대답
이 문서에서는 AKS의 Azure HDInsight에 대한 몇 가지 일반적인 질문을 다룹니다.
중요하다
AKS의 Azure HDInsight는 2025년 1월 31일에 사용 중지되었습니다. 이 공지 에서 자세히 알아보세요.
워크로드가 갑자기 종료되는 것을 방지하기 위해 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 워크로드를 마이그레이션해야 합니다.
중요하다
이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure Preview에 대한 추가 사용 약관은 베타, 미리 보기 또는 아직 일반 제공으로 출시되지 않은 Azure 기능에 적용되는 추가적인 법적 조건을 포함하고 있습니다. 이 특정 미리 보기에 대한 자세한 내용을 보려면 Azure HDInsight on AKS 미리 보기 정보 을 참조하세요. 질문 또는 기능 제안에 대한 자세한 내용은 AskHDInsight 대한 요청을 제출하고 Azure HDInsight Community 대한 자세한 업데이트를.
일반
AKS의 HDInsight란?
AKS의 HDInsight는 Apache Flink(스트리밍용), Trino(임시 분석 및 BI용) 및 Apache Spark와 같은 새로운 오픈 소스 분석 프로젝트를 통해 엔터프라이즈 준비 관리형 클러스터 서비스를 제공하는 새로운 HDInsight 버전입니다. 자세한 내용은 개요참조하세요.
AKS의 HDInsight는 어떤 클러스터 셰이프를 지원합니까?
AKS의 HDInsight는 Trino, Apache Flink 및 Apache Spark를 지원합니다. 그러나 Kafka, Hive 등과 같은 다른 클러스터 셰이프는 로드맵에 있습니다.
AKS에서 HDInsight를 시작하려면 어떻게 해야 하나요?
시작하려면 Azure Marketplace를 방문하여 AKS 서비스에서 Azure HDInsight를 검색한 다음 시작하기를 참조하세요.
VM의 기존 HDInsight 및 현재 실행 중인 클러스터는 어떻게 되나요?
기존 HDInsight(VM의 HDInsight)는 변경되지 않습니다. 모든 기존 클러스터는 계속 실행되며 새 HDInsight 클러스터를 계속 만들고 확장할 수 있습니다.
AKS의 HDInsight에서 지원되는 운영 체제는 무엇인가요?
AKS의 HDInsight는 어떤 지역에서 사용할 수 있나요?
지원되는 지역 목록은 지역 가용성참조하세요.
AKS 클러스터에 HDInsight를 배포하는 데 드는 비용은 어떻게 됩니까?
가격 책정에 대한 자세한 내용은 AKS 가격 책정에 대한 HDInsight를 참조하세요.
클러스터 관리
여러 클러스터를 동시에 실행할 수 있나요?
예, 클러스터 풀당 원하는 만큼 클러스터를 동시에 실행할 수 있습니다. 그러나 구독에 대한 할당량에 따라 제약 조건이 되지 않는지 확인합니다. 클러스터 풀에서 허용되는 최대 노드 수는 250개입니다(공개 미리 보기).
클러스터에 플러그 인/라이브러리를 설치하거나 추가할 수 있나요?
예, 클러스터 셰이프에 따라 사용자 지정 플러그 인 및 라이브러리를 설치할 수 있습니다.
- Trino의 경우 사용자 지정 플러그인 설치를참조하세요.
- Spark의 경우 Spark 라이브러리 관리를 참조하세요.
클러스터에 SSH할 수 있나요?
예, webssh를 통해 클러스터에 SSH를 수행하고 쿼리를 실행하고 해당 위치에서 직접 작업을 제출할 수 있습니다.
메타스토어
외부 메타스토어를 사용하여 클러스터에 연결할 수 있나요?
예, 외부 메타스토어를 사용할 수 있습니다. 그러나 외부 사용자 지정 메타스토어로 Azure SQL Database만 지원합니다.
여러 클러스터에서 메타스토어를 공유할 수 있나요?
예, AKS의 여러 HDInsight에서 메타스토어를 공유할 수 있습니다.
지원되는 Hive 메타스토어 버전은 무엇인가요?
Hive 메타스토어 버전 3.1.2
작업 부하
트리노 ()
트리노란?
Trino는 중앙 데이터 웨어하우스로 이동하지 않고도 다른 데이터 원본에 있는 데이터를 쿼리할 수 있는 오픈 소스 페더레이션 및 분산 SQL 쿼리 엔진입니다. ANSI SQL을 사용하여 데이터를 쿼리할 수 있으며 새 언어를 배울 필요가 없습니다. 자세한 내용은 Trino 개요참조하세요.
지원되는 모든 커넥터는 무엇인가요?
AKS Trino의 HDInsight는 여러 커넥터를 지원합니다. 자세한 내용은 이 Trino 커넥터목록을 참조하세요. 오픈 소스 버전에서 새 커넥터를 사용할 수 있는 경우와 마찬가지로 새 커넥터를 계속 추가합니다.
기존 클러스터에 카탈로그를 추가할 수 있나요?
예, 지원되는 카탈로그를 기존 클러스터에 추가할 수 있습니다. 자세한 내용은 기존 클러스터에 카탈로그 추가을 참조하세요.
Apache Flink
Apache Flink란?
Apache Flink는 스트림 처리 및 바인딩되지 않은 데이터 스트림에 대한 상태 저장 계산을 수행하기 위한 동급 최고의 오픈 소스 분석 엔진입니다. 메모리 내 속도 및 규모에 따라 계산을 수행할 수 있습니다. AKS의 HDInsight에서 Flink는 관리형 오픈 소스 Apache Flink를 제공합니다. 자세한 내용은 Flink 개요참조하세요.
Apache Flink에서 세션 및 앱 모드를 모두 지원합니까?
AKS의 HDInsight에서 Flink는 현재 세션 모드 클러스터를 지원합니다.
상태 백 엔드 관리란 무엇이며 AKS의 HDInsight에서 어떻게 수행됩니까?
백 엔드는 상태가 저장되는 위치를 결정합니다. 검사점이 활성화되면 상태를 검사점에서 유지하여 데이터 손실을 방지하고 일관되게 복구합니다. 상태를 내부적으로 나타내는 방법 및 검사점에서 상태를 유지하는 방법과 위치는 선택한 상태 백 엔드에 따라 달라집니다. 자세한 내용은 Flink 개요 참조하세요.
Apache Spark
Apache Spark란?
Apache Spark는 큰 데이터 집합에서 처리 작업을 신속하게 수행할 수 있는 데이터 처리 프레임워크이며, 자체적으로 또는 다른 분산 컴퓨팅 도구와 함께 여러 컴퓨터에 데이터 처리 작업을 분산할 수도 있습니다.
Spark에서 지원되는 언어 API는 무엇인가요?
AKS의 Azure HDInsight는 Python 및 Scala를 지원합니다.
AKS Spark의 HDInsight에서 외부 메타스토어가 지원되는지 여부
AKS의 HDInsight는 외부 메타스토어 연결을 지원합니다. 현재 외부 메타스토어로 지원되는 Azure SQL DB만 있습니다.
AKS Spark의 HDInsight에서 작업을 제출하는 다양한 방법은 무엇인가요?
Jupyter Notebook, Zeppelin Notebook, SDK 및 클러스터 터미널을 사용하여 AKS Spark의 HDInsight에서 작업을 제출할 수 있습니다. 자세한 내용은 AKS의 HDInsight에서 Spark 클러스터에서 작업 제출 및 관리하기를 참조하세요.