Azure Storage 테이프 마이그레이션 개요
이 문서에서는 테이프 마이그레이션에 중점을 둡니다. 다양한 테이프 미디어에 저장된 데이터를 Azure Storage 서비스로 성공적으로 마이그레이션하여 실행하기 위한 간소화, 지침 및 고려 사항을 제공하는 것을 목표로 합니다.
개요
테이프는 전 세계 데이터의 상당 부분을 저장하며, 스토리지 미디어의 주요 유형 중 하나로 남아 있습니다. 테이프 미디어는 수십 년 동안 존재하며 매년 수백 엑사바이트의 새로운 테이프와 함께 많이 사용됩니다.
테이프는 콜드 데이터를 저장하기 위한 훌륭한 매체입니다. 순차적 읽기는 빠르지만 기계적인 움직임(예: 테이프 로드 및 언로드, 테이프 검색 등)이 필요한 단계는 느립니다. 따라서 기존의 임의 기반 액세스에 테이프를 사용할 수 없게 되며, 오늘날에도 테이프에 저장된 데이터가 거의 사용되지 않는 주된 이유입니다. 또한 테이프는 특수 처리가 필요한 자기 매체입니다. 환경, 특히 온도 및 습도에 민감합니다. 운영 환경 범위 내에 유지하면 높은 내구성과 좋은 복원 성공률을 달성할 수 있습니다. 그러나 비우호적인 환경에서 유지되면 악화가 자주 발생하고 테이프를 읽을 수 없게 됩니다.
테이프의 상당 부분은 어두운 데이터(생성되고 저장되지만 어떤 용도로도 사용되지 않는 데이터)를 저장합니다. 어두운 데이터는 데이터 소유자에게 값을 제공하지 않습니다. AI 기능과 접근성이 증가함에 따라 추세가 변화하고 있습니다. 고객은 어두운 데이터가 효율성을 높이거나, 새로운 수익원을 열거나, 경쟁 우위를 높이는 데 어떻게 도움이 될 수 있는지 조사하고 있습니다. 어두운 데이터를 활용하기 위해 많은 조직에서 테이프에서 클라우드 스토리지로 데이터를 마이그레이션하는 것을 고려하고 있습니다. 클라우드 스토리지는 데이터를 분석하거나, 비즈니스 가치(예: AI, Machine Learning, Azure Search 등)를 추출하거나, 장기 보존을 위해 보관 스토리지를 활용하여 비용을 절감할 수 있는 쉬운 방법을 제공합니다.
테이프에서 클라우드 마이그레이션으로의 증가가 표시되는 주요 이유 중 일부는 다음과 같습니다.
- 어두운 데이터에서 비즈니스 가치 추출
- 장기 보존을 사용하여 데이터를 관리하는 데 필요한 노력을 줄입니다.
- 한 테이프 생성에서 다른 테이프로의 마이그레이션 프로세스를 방지합니다.
- 특히 이전 세대의 테이프에 대한 데이터 손실 위험을 줄입니다.
- 오프사이트 테이프 스토리지 시설 교체,
- 재해 복구 프로세스 간소화,
- 기록 데이터에 AI 및 ML과 같은 최신 도구 적용
고려 사항
테이프 마이그레이션 프로세스가 시작되기 전에 옵션을 신중하게 고려해야 합니다. 첫 번째 고려 사항은 마이그레이션을 실행하는 사람을 결정하는 것입니다. 일반적으로 사용되는 두 가지 옵션은 다음과 같습니다.
- 고객이 종단 간 마이그레이션 을 실행하는 마이그레이션을 수행했습니다.
- 고객이 테이프를 파트너에게 제공하고 파트너가 마이그레이션 프로세스를 실행하는 테이프 마이그레이션 파트너입니다.
| 접근 방식 | 장점 | 단점 |
|---|---|---|
| 고객이 마이그레이션을 수행했습니다. | - 데이터가 사이트를 벗어나지 않습니다. - 테이프 배송을 위한 물류 없음 |
- 하드웨어 리소스 필요 - 직원에게 더 많은 작업 추가 - 테이프 처리에 대한 특정 지식 필요 - 알 수 없는 비용 |
| 테이프 마이그레이션 파트너 | - 간단한 가격 책정 및 알려진 비용 선불(테이프당 지불) - 프로덕션에 영향을 주지 않음 - 직원에게 영향을 주지 않음 |
- 테이프 배송을 위한 물류 필요 - 테이프 배송으로 인한 보안 고려 사항 - 마이그레이션 중에 데이터 가용성에 필요한 여러 복사본 |
몇 가지 주요 고려 사항은 마이그레이션, 고객 또는 파트너를 실행할 수 있는 사용자에 대한 결정을 쉽게 안내할 수 있습니다.
리소스
리소스는 테이프 마이그레이션 프로세스에서 가장 중요한 부분이며 다음 범주로 나눕니다.
| 범주 | 주의 |
|---|---|
| 사람 | - 특정 기술 세트가 필요합니다. - 프로세스는 노동 집약적입니다. |
| 하드웨어 | - 테이프 생성에 따라 다른 유형의 하드웨어가 필요합니다. - 마이그레이션 속도는 사용 가능한 드라이브 및 네트워크 대역폭에 비례합니다. |
| 소프트웨어 | - 데이터를 만든 소프트웨어에 대한 액세스가 필요합니다. - 암호화 키에 대한 액세스가 필요합니다. |
하드웨어는 일반적으로 가장 어려운 부분입니다. 기존 테이프 세대를 마이그레이션하는 경우 하드웨어를 사용할 수 있지만 기존 프로덕션의 일부로 사용됩니다. 그러나 오래된 테이프 세대의 경우 하드웨어는 수명이 종료되는 경우가 많으며 획득하기가 더 어렵습니다. 이전 테이프 생성에서는 테이프 마이그레이션 파트너를 사용하는 것이 선호되고 더 간단한 옵션입니다. 마이그레이션에 프로덕션 하드웨어를 사용하는 경우 마이그레이션이 프로덕션 워크로드를 방해하지 않도록 신중한 계획이 필요합니다. 여기서는 세 가지 다른 모델을 적용할 수 있습니다.
- 마이그레이션에 전용 하드웨어 사용: 가장 간단한 마이그레이션 모델, 쉽게 예약할 수 있으며 프로덕션에 영향을 주지 않고 계획합니다. 하드웨어를 획득하는 데 드는 비용이 추가되고(아직 사용할 수 없는 경우) 마이그레이션 후 하드웨어 사용률이 낮아지게 됩니다.
- 프로덕션 하드웨어에서 마이그레이션 오프 타임을 실행합니다. 프로덕션에 영향을 주지 않는 마이그레이션 모델입니다. 복잡한 일정 예약, 실행 및 근무 시간 을 벗어난 사람들이 필요합니다. 프로덕션 하드웨어가 24x7을 활용하지 않는 경우에만 가능합니다.
- 프로덕션 및 마이그레이션을 함께 실행합니다. 가장 선호도가 낮은 마이그레이션 모델은 프로덕션에 쉽게 영향을 미칠 수 있습니다. 이 모델은 프로덕션에 사용할 수 있는 하드웨어를 줄이고 복잡한 예약 및 계획이 필요합니다. 이 모델을 사용하는 경우 프로덕션에 미치는 영향을 줄이는 프로세스는 마이그레이션 타임라인을 제어하는 데 중요합니다. 이 모델은 프로덕션 하드웨어의 사용률이 낮은 경우에만 권장됩니다.
데이터 전송 옵션
테이프에서 데이터를 읽은 후에는 Azure Storage로 이동해야 합니다. 네트워크를 사용하거나 Azure Data Box와 같은 오프라인 디바이스를 사용하여 데이터를 이동할 수 있습니다. 데이터 전송 옵션 선택에 영향을 주는 몇 가지 매개 변수는 다음과 같습니다.
- 사용 가능한 네트워크 대역폭
- 마이그레이션을 완료하는 데 필요한 타임라인
- 데이터 변경 빈도
여기에서 최적의 옵션을 선택하기 위한 지침에 대해 자세히 알아보세요. 네트워크 전송은 더 간단하고 선호하는 옵션입니다. 네트워크와 오프라인 방법의 조합도 가능하지만 마이그레이션된 데이터가 겹치지 않도록 하기 위해 더 많은 계획이 필요합니다.
마이그레이션을 수행하는 데 사용할 수 있는 리소스가 없는 경우 어떤 리소스 유형이든 테이프 마이그레이션 파트너를 사용하는 것이 유일한 옵션입니다. 이 경우 다음 두 가지 옵션 중에서 선택할 수 있습니다.
- 고객 사이트에서 수행되는 마이그레이션: 테이프 마이그레이션 파트너는 하드웨어를 배송하고, 사용자를 고용하고, 고객의 위치에서 작업을 수행합니다. 고객은 테이프에 대한 액세스, 장비 전용 공간, 네트워크 연결 및 Azure Storage 서비스에 대한 액세스를 제공해야 합니다. 파트너는 다른 모든 활동을 담당합니다.
- 파트너 사이트에서 수행되는 마이그레이션: 고객은 테이프를 파트너에게 제공하고 Azure Storage 서비스에 대한 액세스를 제공합니다. 테이프 마이그레이션 파트너는 테이프에서 Azure Storage로 데이터를 마이그레이션하기 위해 모든 작업을 수행합니다.
두 번째 옵션은 더 쉽고 일반적으로 사용됩니다. 테이프 마이그레이션 파트너는 대규모로 테이프 마이그레이션을 수행하도록 설계되고 준비된 시설을 갖추고 있습니다. 또한 이 옵션은 파트너가 더 많은 하드웨어 리소스를 사용할 수 있으므로 위험 및 타임라인을 줄입니다. 고객의 사이트에서 마이그레이션 수행은 보안 및 개인 정보 보호 문제로 고객이 테이프를 파트너에게 배송할 수 없는 경우에만 사용됩니다.
여러 파트너가 Azure로 테이프 마이그레이션을 수행할 수 있습니다. 파트너의 전체 목록은 오프라인 미디어 가져오기에서 찾을 수 있습니다.
다음은 선택 프로세스를 용이하게 하는 간단한 순서도입니다.
데이터 형식
데이터 형식은 마이그레이션 디자인에 큰 영향을 미치며 향후 데이터 유용성을 위한 중요한 고려 사항입니다. 데이터는 독점 형식 또는 네이티브 형식으로 저장할 수 있습니다. 독점 형식은 일반적으로 가상 테이프로 저장됩니다. 네이티브 형식을 사용하려면 테이프에서 파일을 복원하고 파일 또는 개체로 저장해야 합니다.
| 모델 | 장점 | 단점 |
|---|---|---|
| 가상 테이프 | - 더 쉽고 빠르게 마이그레이션 - 원본과 동일한 테이프 미디어를 다시 만들 수 있습니다. - 데이터를 쓰기 위해 원래 소프트웨어에 액세스할 필요가 없습니다. |
- 가상 테이프 인벤토리를 유지 관리해야 합니다. - 애플리케이션 종속 형식으로 저장된 데이터, 데이터를 복원하려면 원래 소프트웨어가 필요합니다. - 복원 없이 Azure 서비스(AI/ML)에서 액세스할 수 없는 데이터 |
| 네이티브 파일 | - 모든 애플리케이션 및 서비스(AI/ML)에서 액세스할 수 있는 파일 - 데이터로 수익을 창출할 수 있습니다. - 복원을 위해 원래 소프트웨어에 액세스할 필요가 없습니다. |
- 더 복잡한 마이그레이션 - 데이터를 작성하려면 원래 소프트웨어에 액세스해야 합니다. |
형식을 결정하는 주요 기준은 데이터를 사용하려는 방법입니다. 장기 보존을 위해서만 데이터를 마이그레이션하는 경우 가상 테이프를 선택하는 것이 좋습니다. 다른 경우에는 기본 형식으로 데이터를 저장하는 것이 좋습니다. 나중에 데이터를 간단하게 사용할 수 있으며 데이터 분석을 통해 많은 가능성을 열어줍니다.
마이그레이션 프로세스
마이그레이션 실행 및 기본 설정 데이터 형식에 대한 결정을 내린 후에는 마이그레이션을 시작할 수 있습니다. 마이그레이션은 여러 단계를 거치게 됩니다.
정보 단계
정보 단계는 주요 요구 사항을 수집하는 데 중요합니다. 수집된 정보는 올바른 디자인 및 계획을 안내합니다. 일부 정보는 이후 단계에서 업데이트할 수 있지만 정확한 정보를 제공하면 장면이 설정되고 프로세스를 크게 변경할 필요가 없습니다. 이 단계에서 답변해야 하는 몇 가지 주요 질문은 다음과 같습니다.
- 마이그레이션해야 하는 테이프 유형(예: LTO3, LTO6, 3592JC 등)은 무엇인가요?
- 마이그레이션해야 하는 각 모델에 대한 테이프의 수량(예: 100xLTO3, 200xLTO6 등)?
- 테이프에 데이터를 쓰는 데 사용된 소프트웨어는 무엇인가요? 해당 소프트웨어를 계속 사용할 수 있나요?
- 테이프에 데이터를 쓰는 데 사용되는 형식, 열려 있는 형식 또는 독점 형식은 압축이 적용됩니까?
- 암호화가 사용되었으며, 그렇다면 암호화 키를 교환하는 가장 안전한 옵션은 무엇인가요?
- 대상 지역이란?
- 어떤 스토리지 서비스가 사용됩니까?
- 중요한 규제 요구 사항(HIPAA, GDPR 등)은 무엇인가요? 양육권 체인은 필수입니까?
- 마이그레이션 마감일은 무엇인가요? 중요한 이정표가 있나요?
- 마이그레이션에 사용할 수 있는 네트워크 대역폭은 얼마인가요?
- 테이프는 물리적으로 어디에 저장되며 배송할 수 있나요?
- 모든 파일에 대한 해시 값이 이미 있나요? 그렇다면 어떤 해시 알고리즘이 사용되었나요?
- 마이그레이션 후에 테이프가 필요합니까?
- 마이그레이션/전송 중에 테이프의 온도 및 습도를 유지하는 방법
- 주요 이해 관계자는 누구인가요?
준비 단계
기본 정보를 수집한 후 마이그레이션을 준비할 수 있습니다. 준비 단계에는 여러 단계가 포함될 수 있지만 대부분의 마이그레이션에서 수행하는 몇 가지 일반적인 단계는 다음과 같습니다.
데이터 분석은 마이그레이션해야 하는 데이터에 대한 정보를 제공합니다. 정보는 테이프에서 데이터를 읽을 수 있는 속도와 최종 기한 전에 마이그레이션을 성공적으로 완료하기 위해 달성해야 하는 병렬 처리를 예측하는 데 중요합니다. 필요한 하드웨어(라이브러리, 로봇, 드라이브)에 대한 예측에 영향을 줍니다. 데이터 분석은 마이그레이션할 데이터 집합을 나타내는 여러 테이프를 샘플링하여 수행됩니다. 찾고 있는 일반적인 정보는 다음과 같습니다.
- 파일 크기,
- 테이프당 저장된 데이터의 양,
- 테이프당 파일 수,
- 최소 및 최대 파일 크기
- 파일 형식입니다.
데이터 품질 은 마이그레이션해야 하는 최종 데이터 세트와 고유한 데이터 세트를 예측하는 데 도움이 됩니다. 테이프 마이그레이션의 가장 일반적인 문제 중 하나는 데이터 복제입니다. 테이프 마이그레이션은 중복된 데이터를 정리하는 데 이상적인 시간입니다. 이 프로세스는 나중에 사용할 수 있는 데이터 품질을 향상시키고, 비용과 마이그레이션 기간을 줄입니다.
데이터 우선 순위는 데이터를 마이그레이션할 수 있는 순서를 결정합니다. 상수 로드, 언로드 및 검색을 방지하기 위해 다른 테이프에서 파일을 임의로 읽는 대신 각 테이프에서 직접 스트리밍하는 것이 가장 좋습니다. 이 방법은 가능한 가장 높은 처리량을 달성하며 항상 가장 빠른 마이그레이션 경로입니다. 데이터 우선 순위 지정에는 비즈니스 요구 사항과 최상의 결과를 얻기 위한 기술적 타당성이 필요합니다.
마이그레이션 디자인 에는 마이그레이션의 모든 기술적 측면과 최종 마이그레이션 프로세스를 구성하기 위해 수집된 정보가 포함됩니다. 그것은 나머지 단계에 대한 진실의 소스가되는 서면 문서입니다. 최소한 다음을 포함해야 합니다.
- 마이그레이션 프로세스 및 마이그레이션 최종 기한을 지웁
- 하드웨어 및 직원 요구 사항,
- 인프라 및 네트워크 디자인,
- 보안 고려 사항,
- 읽을 수 없는 테이프를 처리하는 방법
- 역할 및 책임 등
마이그레이션 단계
마이그레이션 디자인이 최종적이면 마이그레이션 프로세스를 시작합니다. 전체 마이그레이션 속도를 높이기 전에 항상 더 작은 샘플로 테스트를 수행합니다. 테스트의 목표는 엔드 투 엔드 프로세스가 작동하는지 확인하는 것입니다. 이를 통해 조정을 수행하고 프로세스를 개선할 수 있습니다. 테스트가 성공하고 결과에 만족하면 마이그레이션을 실행합니다. 네이티브 파일과 가상 테이프를 사용하는 경우 마이그레이션 단계는 약간 다릅니다. 두 경우 모두 모든 테이프를 원을 그리며 전체 콘텐츠를 읽는 반복적인 프로세스입니다. 이 순서도는 네이티브 파일로 마이그레이션할 때의 마이그레이션 단계를 보여줍니다.
데이터 유효성
마이그레이션하는 각 파일에 대해 마이그레이션 프로세스 중에 데이터가 손상되지 않았는지 확인하기 위해 데이터 유효성 검사를 수행해야 합니다. 데이터 유효성 검사는 마이그레이션 전과 마이그레이션 후에 해시 값을 비교하여 수행됩니다. 사용할 수 있는 다양한 유형의 해시 알고리즘이 있습니다. 일반적인 방법은 Azure Storage에 마이그레이션 중에 채울 수 있는 미리 정의된 메타데이터 필드 Content-MD5가 포함되어 있으므로 MD5를 사용하는 것입니다. 이 방법을 사용하면 데이터에 액세스할 때 동일한 MD5 값을 검사하여 데이터가 변경되지 않았거나 손상되지 않았는지 확인할 수 있습니다. 이상적인 상황에서 원본 데이터에는 마이그레이션 후 해시 값과 쉽게 비교할 수 있는 해시 값이 이미 포함되어 있습니다. 해시가 없는 경우 파일을 마이그레이션하기 전에 계산해야 합니다. 해시가 일치하면 파일이 마이그레이션된 것으로 표시됩니다. 그렇지 않으면 파일이 삭제되고 다시 마이그레이션됩니다. 원본 테이프에서 데이터가 손상된 경우가 있습니다. 원래 해시 값을 갖는 것은 이러한 드문 경우를 잡는 데 도움이됩니다. 이 경우 보조 복사본(있는 경우)에서 데이터를 읽을 수 있습니다. 데이터 유효성 검사 프로세스는 마이그레이션 디자인에 중요한 구성 요소입니다. 실패한 유효성 검사를 처리하는 프로세스를 정의해야 합니다. 또한 마이그레이션 단계는 예측할 수 없는 상황에 대응하고 이에 적응할 수 있도록 지속적으로 모니터링됩니다. 마이그레이션을 계속 진행하려면 주요 이해 관계자에게 정기적으로 보고하는 것이 중요합니다.
마이그레이션 후 단계
마이그레이션이 완료된 후에도 마이그레이션 프로젝트를 성공적으로 닫기 전에 고려해야 할 몇 가지 단계가 있습니다. 더 이상 필요하지 않은 경우 마이그레이션에 사용되는 하드웨어를 삭제해야 합니다. 가장 중요한 질문은 테이프를 삭제하는 방법입니다. 테이프 삭제는 두 단계 프로세스입니다. 테이프가 중요한 기밀 정보를 저장하는 경우(일반적으로 수행하는 경우) 먼저 제거해야 합니다. 분해는 모든 데이터가 미디어에서 자기적으로 삭제되도록 합니다. 삭제 후 테이프를 제대로 파괴하고 재활용해야 합니다. 테이프 마이그레이션 파트너를 사용한 경우 파트너가 테이프를 안전하게 삭제하도록 할 수도 있습니다.