AKS의 HDInsight에서 Apache Flink® 구성 관리

아티클
09/20/2024

중요하다

AKS의 Azure HDInsight는 2025년 1월 31일에 사용 중지되었습니다. 이 공지 을 통해에 대해 자세히 알아보세요.

워크로드가 갑자기 종료되는 것을 방지하기 위해 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 워크로드를 마이그레이션해야 합니다.

중요하다

이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure 미리 보기용 추가 사용 약관은 베타, 미리 보기 또는 아직 일반에게 공개되지 않은 Azure 기능에 적용되는 더 많은 법률 조항을 포함하고 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight 에서 AKS 미리 보기 정보을 참조하세요. 질문 또는 기능 제안이 있으시면, AskHDInsight에 요청을 제출해 주시고, 더 많은 업데이트는 Azure HDInsight Community를 통해 확인해 주세요.

AKS의 HDInsight는 대부분의 속성에 대해 Apache Flink의 기본 구성 집합을 제공하고 일반적인 애플리케이션 프로필을 기반으로 하는 몇 가지 구성을 제공합니다. 그러나 상태 사용량, 병렬 처리 또는 메모리 설정이 있는 특정 애플리케이션의 성능을 향상시키기 위해 Flink 구성 속성을 조정해야 하는 경우 AKS 클러스터의 HDInsight에서 Flink 작업 섹션을 사용하여 Flink 작업 구성을 변경할 수 있습니다.

설정으로 이동하여 > Flink 작업 > 업데이트를 클릭합니다.

업데이트 페이지를 보여 주는
을 클릭하고 행 추가를 선택하여 구성을 편집합니다.

여기서 검사점 간격은 클러스터 수준변경됩니다.
확인을 클릭한 다음 저장를 클릭하여 변경 내용을 업데이트하십시오.
저장되면 새 구성이 몇 분(~5분) 후에 업데이트됩니다.
구성 관리 설정을 사용하여 업데이트할 수 있는 구성입니다.

processMemory size:
프로세스 메모리 크기 또는 작업 관리자 및 작업 관리자에 대한 기본 설정은 클러스터를 만드는 동안 사용자가 구성한 메모리입니다.
이 크기는 아래 구성 속성을 사용하여 구성할 수 있습니다. 작업 관리자 프로세스 메모리를 변경하려면 이 구성을 사용합니다.

taskmanager.memory.process.size : <value>

예: taskmanager.memory.process.size : 2000mb
작업 관리자의 경우

jobmanager.memory.process.size : <value>

메모

구성 가능한 최대 프로세스 메모리는 jobmanager/taskmanager대해 구성된 메모리와 같습니다.

검사점 간격

검사점 간격은 Flink가 검사점을 트리거하는 빈도를 결정합니다. 밀리초 단위로 정의되며 다음 구성 속성을 사용하여 설정할 수 있습니다.

execution.checkpoint.interval: <value>

기본 설정은 60,000밀리초(1분)이며, 이 값은 원하는 대로 변경할 수 있습니다.

상태 관리 백엔드

상태 백 엔드는 Flink가 애플리케이션의 상태를 관리하고 유지하는 방법을 결정합니다. 검사점이 저장되는 방식에 영향을 줍니다. 다음 속성을 사용하여 '상태 백 엔드'를 구성할 수 있습니다.

state.backend: <value>

기본적으로 AKS의 HDInsight에 있는 Apache Flink 클러스터는 Rocks DB를 사용합니다.

검사점 스토리지 경로

기본적으로 사용자가 구성한 대로 abfs 스토리지에 검사점을 저장하여 영구 검사점을 허용합니다. 작업이 실패하더라도 검사점이 유지되므로 최신 검사점에서 쉽게 시작할 수 있습니다.

state.checkpoints.dir: <path> <path> 검사점이 저장된 원하는 경로로 바꿉니다.

기본적으로 사용자가 구성한 ABFS(스토리지 계정)에 저장됩니다. Flink Pod가 액세스할 수 있는 한 이 값은 원하는 경로로 변경할 수 있습니다.

최대 동시 검사점

다음 속성을 설정하여 최대 동시 검사점 수를 제한할 수 checkpoint.max-concurrent-checkpoints: <value>

<value> 원하는 최대 동시 검사점 수로 바꿉니다. 예를 들어 한 번에 하나의 검사점만 허용하려면 1입니다.

최대 보존 검사점

다음 속성을 설정하여 보존할 검사점의 최대 수를 제한할 수 있습니다. state.checkpoints.num-retained: <value> <value> 원하는 최대 수로 바꿉다. 기본적으로 최대 5개의 검사점을 유지합니다.

Savepoint Storage 경로

사용자가 구성한 대로 저장점을 abfs 스토리지에 저장하여 기본적으로 영구 저장점을 허용합니다. 사용자가 특정 저장점에서 작업을 중지하고 나중에 시작하려는 경우 이 위치를 구성할 수 있습니다. state.checkpoints.dir: <path> <path> 저장점이 저장된 원하는 경로로 바꿉니다. 기본적으로 사용자가 구성한 스토리지 계정에 저장됩니다. (ABFS를 지원합니다). Flink Pod가 액세스할 수 있는 한 이 값은 원하는 경로로 변경할 수 있습니다.

작업 관리자 고가용성

AKS의 HDInsight에서 Flink는 Kubernetes를 백 엔드로 사용합니다. 알려진 문제/알 수 없는 문제로 인해 작업 관리자가 실패하더라도 몇 초 내에 Pod가 다시 시작됩니다. 따라서 이 문제로 인해 작업이 다시 시작되더라도, 작업은 최신 검사점에서 복구됩니다.

자주 묻는 질문(FAQ)

그 사이에 작업이 실패하는 이유는 무엇인가요? 작업이 갑자기 실패하더라도 검사점이 지속적으로 발생하는 경우 작업은 기본적으로 최신 검사점에서 다시 시작됩니다.

그 사이에 작업 전략을 변경하시겠습니까? 일부 작업 수준 버그로 인해 프로덕션 환경에서 작업을 수정해야 하는 사용 사례가 있습니다. 이 시간 동안 사용자는 자동으로 저장점을 가져와 저장점 위치에 저장하는 작업을 중지할 수 있습니다.

savepoint 클릭하고 savepoint 완료될 때까지 기다립니다.

저장 지점 옵션을 보여 주는
저장점이 완료되면 시작을 클릭하면 작업 시작 탭이 나타납니다. 드롭다운에서 저장점 이름을 선택합니다. 필요한 경우 구성을 편집합니다. 그런 다음 확인을 클릭합니다.

작업에 저장점이 제공되므로 Flink는 데이터 처리를 시작할 위치를 알고 있습니다.

참조

Apache Flink 설정
Apache, Apache Kafka, Kafka, Apache Flink, Flink 및 관련 오픈 소스 프로젝트 이름은 Apache Software Foundation(ASF)의 상표입니다.

다음을 통해 공유