파일 시스템 트래픽 고려 사항
대상 IOPS, 처리량, 대기 시간 수는 중요한 값입니다. 그러나 성능을 최적화하려면 HPC 워크로드가 파일 시스템과 상호 작용하는 방법도 결정해야 합니다. 다음 단계는 파일 시스템에서 지원해야 하는 트래픽 규모 및 혼합을 수량화하는 것입니다.
트래픽 혼합 고려 사항
트래픽 혼합은 다음 측면의 HPC 워크로드 트래픽 구성을 나타냅니다.
- 읽기 트래픽 대 쓰기 트래픽 비율 (예: 100% 읽기, 50% 읽기, 50% 쓰기, 100% 쓰기)
- 임의 읽기/쓰기, 순차적 읽기/쓰기
- 검사점 및 스냅샷
- 동시성.
- 파일 수량 및 크기
이 단원의 나머지 부분에서는 트래픽 유형 혼합이 스토리지 선택에 미치는 영향을 확인합니다.
읽기 트래픽, 쓰기 트래픽, 만들기/삭제
읽기 및 쓰기 작업은 IOPS를 동일하게 사용합니다. 그러나 선택한 파일 시스템이 들어오는 쓰기 트래픽에 고가용성을 적용할 수도 있으며 이 경우 속도는 더 느리지만 복원력 있는 쓰기 처리량을 얻을 수 있습니다.
HPC 워크로드가 메타데이터를 많이 사용하는 많은 작업을 수행하는 경우 성능에 영향을 미칠 수 있습니다. 예를 들어 파일 만들기, 디렉터리 구조 이름 바꾸기 또는 파일 삭제와 같은 경우입니다. 파일을 만드는 데 여러 작업이 사용될 수 있습니다. (파일이 있는지 확인, 파일 핸들 만들기, 디렉터리 항목 업데이트 등)
HPC 워크로드가 주로 데이터 변환에 집중되어 쓰기 트래픽 양이 중요할 수도 있습니다. 이 경우에는 쓰기 성능 최적화를 우선 순위로 지정하는 것이 좋습니다.
임의 트래픽, 순차적 트래픽
애플리케이션 액세스에 따라 워크로드에 필요할 수 있는 읽기 및 쓰기 트래픽 패턴 유형이 결정됩니다.
HPC 워크로드의 병렬 성능이 뛰어나 많은 컴퓨터가 공유 파일 시스템에서 동일한 데이터를 요청할 수 있습니다. 또는 고유하고 직렬화되어 고유한 임의 데이터 액세스 패턴을 사용할 수도 있습니다. 순차적 트래픽 성능이 임의 트래픽보다 높습니다. 순차적 트래픽의 예로 하나 이상의 컴퓨터에서 이진 라이브러리나 큰 이미지 또는 비디오 파일을 로드하는 경우를 들 수 있습니다. 임의 트래픽의 예로는 전체 파일 읽기가 아닌 단일 파일 또는 여러 파일의 다양한 바이트 범위에 대한 요청을 들 수 있습니다.
검사점 및 스냅샷
워크로드는 종종 ‘검사점’입니다. 검사점을 설정할 때는 애플리케이션 상태와 해당 데이터가 지속형 스토리지에 복사된 후 워크로드가 계속됩니다. 검사점 설정은 전체 작업을 다시 시작하지 않고도 장기 실행 워크로드를 계속하는 데 사용됩니다. 검사점 설정은 ‘스냅샷’과 함께 사용할 수도 있습니다. 스냅샷은 특정 시점에 생성되는 파일 시스템의 읽기 전용 복사본입니다. 스냅샷은 파일 시스템 수준과 관련이 있지만 검사점은 애플리케이션 특정 또는 애플리케이션 종속으로 간주될 수 있습니다.
검사점과 스냅샷은 모두 IOPS 및 스토리지를 사용하므로 빈도와 관련 데이터의 양에 따라 파일 시스템의 전반적인 성능에 영향을 줍니다.
동시성
파일 시스템을 선택할 때 고려해야 할 또 다른 요소는 동시 클라이언트 및 스레드 수입니다. 많은 HPC 워크로드의 경우 작업 시작 및 결과 단계 중에 수백 또는 수천 개의 스레드까지 상당한 동시성이 필요합니다. 예를 들어 작업은 100대의 16코어 머신에서 초기화될 수 있으며 각 코어는 하나 또는 두 개의 동시 스레드로 작동합니다. 이 경우 스레드 동시성은 1,600~3,200개의 스레드일 수 있습니다. 해당 스레드는 모두 작업을 계속하기 전에 필요한 이진 항목(라이브러리, 도구 체인 등)을 읽을 수 있습니다. 작업 실행 시간을 최소화하기 위해 기본 스토리지 시스템이 읽기 요청에 대해 빠른 응답을 제공할 수 있어야 합니다.
동일한 작업이 동시 액세스 요구를 중지할 수 있습니다. 또는 더 많은 파일 데이터에 대한 버스트 액세스가 필요하거나 작업의 다른 스레드가 읽을 수 있도록 중간 결과를 작성해야 할 수 있습니다.
파일 수 및 크기
파일 스토리지를 선택하는 경우 파일의 수와 평균 크기도 고려해야 합니다. 2TB의 데이터를 사용하는 워크로드는 2TB가 10,000개의 200MB 파일이 아니라 100개의 20GB 파일로 구성된 경우 성능 특성이 달라집니다. 특히 10,000개의 파일이 깊은 디렉터리 구조로 중첩된 경우 더욱 그렇습니다.
가장 가능성이 높은 데이터 ‘작업 집합’을 파악하는 것이 좋습니다. 작업 집합은 필요한 잠재적 최대 파일 수 및 파일 크기입니다. 최대 및 평균 작업 집합 정의를 파악하고 최댓값을 참조하여 계획을 수립합니다.
특히 단일 HPC 워크로드가 아닌 환경의 작업 집합 정의가 항상 쉬운 것은 아닙니다. 예를 들어 언젠가 정적 데이터 세트에 대해 작은 시뮬레이션을 만들어야 할 수 있습니다. 다음 날 중간 출력과 검사점 설정을 통해 더 큰 분석을 수행하기 위해 스케일 업해야 할 수 있습니다.