Apache®, Spark 및 불꽃 로고는 미국 및/또는 기타 국가에서 Apache Software Foundation의 등록 상표 또는 상표입니다. 이러한 표시의 사용은 Apache Software Foundation에 의한 보증을 암시하지 않습니다.
메인프레임 및 미드레인지 데이터 원본에 관한 엔드투엔드 현대화 계획을 이 문서에서 설명합니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
데이터 흐름
메인프레임 데이터 계층에 대한 현대화 프로세스를 다음 데이터 흐름에서 간략히 설명합니다. 이는 이전 다이어그램에 해당합니다.
파일 시스템(VSAM, 플랫 파일, LTFS), 관계형 데이터베이스(z/OS용 Db2, IBM i용 Db2, Linux UNIX 및 Windows용 Db2) 또는 비관계형 데이터베이스(IMS, ADABAS, IDMS) 등의 데이터 원본에 메인프레임 및 미드레인지 시스템이 데이터를 저장합니다.
원본 개체에서 개체 변환 프로세스가 개체 정의를 추출합니다. 다음으로, 대상 데이터 저장소의 해당 개체로 정의가 변환됩니다.
- 스키마 및 데이터를 IBM Db2 데이터베이스에서 Azure 데이터베이스로 마이그레이션하기 위해 Db2용 SSMA(SQL Server Migration Assistant)를 사용합니다.
- 다음을 통해 호스트 파일용 관리되는 데이터 공급자가 개체를 변환합니다.
- COBOL 및 RPG 레코드 레이아웃 또는 복사 문서 구문 분석.
- .NET 애플리케이션에서 사용하는 C# 개체에 복사 문서를 매핑합니다.
- Db2에서 Azure Database for PostgreSQL로 데이터베이스 개체를 변환하기 위해 사용자 지정 도구를 사용합니다. 이 도구에 관한 액세스 요청이 필요할 수도 있음에 유의하세요.
- 타사 도구는 자동화된 개체 변환을 비관계형 데이터베이스, 파일 시스템 및 기타 데이터 저장소에서 수행합니다.
데이터는 수집되고 변환됩니다. 파일 시스템 데이터를 다음과 같은 파일 형식으로 메인프레임 및 미드레인지 시스템이 EBCDIC 인코딩 형식으로 저장합니다.
COBOL, PL/I 및 어셈블리 언어 복사 문서는 이러한 파일의 데이터 구조를 정의합니다.
a. FTP는 Azure로 이진 형식의 단일 레이아웃, 그리고 압축 해제된 필드가 있는 메인프레임 및 미드레인지 파일 시스템 데이터 세트를 전송합니다.
b. 데이터는 변환됩니다. Azure Data Factory 사용자 지정 커넥터는 메인프레임 데이터 세트를 변환하기 위해 호스트 통합 서버의 호스트 파일 클라이언트 구성 요소를 사용하여 개발된 솔루션입니다.
Host Integration Server는 Azure 애플리케이션과 기존 IBM 호스트 시스템, 프로그램, 메시지, 그리고 데이터를 통합합니다. Host Integration Server는 호스트 파일 클라이언트 구성 요소로, 데이터 세트 변환을 위한 사용자 지정 솔루션을 개발하기 위해 사용 가능합니다.
오픈 소스 Spark 프레임워크를 기반으로 하는 Azure Data Factory 사용자 지정 커넥터는 Azure Synapse Analytics에서 실행됩니다. 다른 솔루션과 마찬가지로, 복사 문서에 대한 구문 분석 및 데이터 변환이 가능합니다. 데이터 변환을 위한 서비스를 관리하기 위해 Azure Logic Apps 호스트 파일 콘텐츠 구문 분석 커넥터를 사용합니다.
c. 관계형 데이터베이스 데이터는 마이그레이션됩니다.
다음과 같은 관계형 데이터베이스에 IBM 메인프레임 및 미드레인지 시스템이 데이터를 저장합니다.
데이터베이스 데이터를 다음과 같은 서비스가 마이그레이션합니다.
- Data Factory는 데이터베이스에서 데이터를 추출하고 통합하기 위해 Db2 커넥터를 사용합니다.
- SQL Server 통합 서비스는 여러 가지의 데이터 ETL 작업을 처리합니다.
d. 비관계형 데이터베이스 데이터는 마이그레이션됩니다.
IBM 메인프레임 및 미드레인지 시스템은 다음과 같은 비관계형 데이터베이스에 데이터를 저장합니다.
이러한 데이터베이스의 데이터를 타사 제품이 통합합니다.
Azure 데이터베이스 및 Azure 데이터 스토리지에 Data Factory 및 AzCopy 등의 Azure 서비스가 데이터를 로드합니다. 데이터를 로드하기 위해 타사 솔루션 및 사용자 지정 로드 솔루션을 사용할 수도 있습니다.
많은 관리형 데이터 스토리지 솔루션을 Azure가 제공합니다.
컴퓨팅, 분석, 스토리지 및 네트워킹에 현대화된 데이터 계층을 Azure 서비스가 사용합니다.
클라이언트 애플리케이션은 현대화된 데이터 계층도 사용합니다.
구성 요소
데이터 저장소
- SQL Database는 Azure SQL 제품군의 일부입니다. 클라우드용으로 빌드되었고, 완전 관리형 및 에버그린 플랫폼의 모든 이점을 서비스로 제공합니다. 또한 SQL Database는 성능과 내구성을 최적화하는 AI 기반의 자동화된 기능을 제공합니다. 서버리스 컴퓨팅 및 하이퍼스케일 스토리지 옵션은 필요에 따라 리소스 크기를 자동으로 조정합니다.
- Azure Database for PostgreSQL은 오픈 소스 PostgreSQL 데이터베이스 엔진의 커뮤니티 버전을 기반으로 하는 완전 관리형 관계형 데이터베이스 서비스입니다.
- Azure Cosmos DB는 전역적으로 배포된 다중 모델 NoSQL 데이터베이스입니다.
- Azure Database for MySQL은 완전히 관리되는 관계형 데이터베이스 서비스로, 오픈 소스 MySQL 데이터베이스 엔진의 커뮤니티 버전을 기반으로 합니다.
- SQL Managed Instance는 지능적이고 확장 가능한 데이터베이스 서비스로, 완전 관리형 및 에버그린 Platform as a Service의 모든 이점을 제공합니다. SQL Managed Instance는 최신 SQL Server Enterprise Edition 데이터베이스 엔진과 거의 100%의 호환성을 가집니다. 이는 또한 일반 보안 문제를 해결하는 네이티브 가상 네트워크 구현을 제공합니다.
- Azure Data Lake Storage는 스토리지 리포지토리로, 대량의 데이터를 네이티브, 원시 형식으로 보관합니다. 데이터 레이크 저장소는 테라바이트 및 페타바이트 규모의 데이터에 맞게 크기를 조정할 수 있도록 최적화되었습니다. 일반적으로 데이터는 다양한 이기종 소스에서 제공됩니다. 이는 정형, 반정형 또는 비정형일 수 있습니다.
Compute
- Data Factory는 다양한 네트워크 환경에서 데이터를 통합하기 위해 컴퓨팅 인프라인 IR(통합 런타임)을 사용합니다. Data Factory는 클라우드 데이터 저장소와 온-프레미스 네트워크의 데이터 저장소 간에 데이터를 복사하기 위해 자체 호스팅 IR을 사용합니다.
- Azure Virtual Machines는 확장성이 있는 주문형 컴퓨팅 리소스를 제공합니다. Azure VM(가상 머신)은 가상화의 유연성을 제공하는 동시에 물리적 하드웨어에 대한 유지 관리 요구를 제거합니다. Azure VM은 Windows 및 Linux를 비롯한 다양한 운영 체제를 제공합니다.
데이터 통합자
- Azure Data Factory는 하이브리드 데이터 통합 서비스입니다. 이 솔루션에서, Azure Data Factory 사용자 지정 커넥터는 메인프레임 데이터 세트를 변환하기 위해 호스트 통합 서버의 호스트 파일 클라이언트 구성 요소를 사용합니다. 최소한의 설정으로 다른 Azure Data Factory 커넥터를 사용하는 것과 같이, 메인프레임 데이터 세트를 변환하기 위해 사용자 지정 커넥터를 사용할 수 있습니다.
- AzCopy는 Blob 또는 파일을 스토리지 계정 내/외부로 이동하는 명령줄 유틸리티입니다.
- SQL Server Integration Services는 엔터프라이즈급 데이터 통합 및 변환 솔루션을 생성하기 위한 플랫폼입니다. 이를 사용하여 복잡한 비즈니스 문제를 다음과 같은 방법으로 해결할 수 있습니다.
- 파일을 복사하거나 다운로드합니다.
- Data Warehouse를 로드합니다.
- 데이터를 정리하고 마이닝합니다.
- SQL Server 개체 및 데이터를 관리합니다.
- Azure 애플리케이션과 기존 IBM 호스트 시스템, 프로그램, 메시지 및 데이터를 통합하기 위해 Host Integration Server 기술 및 도구를 사용할 수 있습니다. EBCDIC에서 ASCII로 변환되는 데이터에 대한 유연성을 호스트 파일 클라이언트 구성 요소가 제공합니다. 예를 들어, JSON/XML을 변환된 데이터에서 생성 가능합니다.
- Azure Synapse는 데이터 통합, 엔터프라이즈 데이터 웨어하우징, 그리고 빅 데이터 분석을 결합합니다. Apache Spark를 기반으로 하는 이 아키텍처에 사용되는 Azure Synapse 변환 솔루션은 대규모 메인프레임 데이터 세트 워크로드 변환에 적합한 후보입니다. 광범위한 메인프레임 데이터 구조 및 대상을 지원하며 최소한의 코딩 작업을 필요로 합니다.
기타 도구
- Db2용 SQL Server Migration Assistant는 Db2에서 Microsoft 데이터베이스 서비스로의 마이그레이션을 자동화합니다. 이 도구는 VM에서 실행되는 동안 Db2 데이터베이스 개체를 SQL Server 데이터베이스 개체로 변환하며 해당 개체를 SQL Server에 생성합니다.
- 호스트 파일용 데이터 공급자는 Host Integration Server의 구성 요소로, 오프라인, SNA 또는 TCP/IP 연결을 사용합니다.
- 오프라인 연결을 사용하면 데이터 공급자가 로컬 이진 파일에서 레코드를 읽고 씁니다.
- 데이터 공급자는 SNA 및 TCP/IP 연결을 통해 원격 z/OS(IBM Z 시리즈 메인프레임) 데이터 세트 또는 원격 i5/OS(IBM AS/400 및 iSeries 시스템) 물리적 파일에 저장된 레코드를 읽고 씁니다. i5/OS 시스템만 TCP/IP를 사용합니다.
- Azure 서비스는 퍼블릭 클라우드에서 새로운 애플리케이션을 개발하고 크기 조정할 수 있도록, 환경, 도구 및 프로세스를 제공합니다.
시나리오 정보
Azure 데이터 플랫폼 등의 최신 데이터 스토리지 솔루션은 메인프레임 및 미드레인지 시스템보다 더욱 나은 확장성 및 성능을 제공합니다. 이러한 이점을 활용하기 위해 시스템을 현대화할 수 있습니다. 그러나 기술, 인프라 및 사례를 업데이트하는 것은 복잡합니다. 이 프로세스에는 비즈니스 및 엔지니어링 활동에 대한 철저한 조사가 포함됩니다. 시스템 현대화 시 고려해야 할 사항 중 하나는 데이터 관리입니다. 또한 데이터 시각화와 통합을 살펴봐야 합니다.
성공적인 현대화는 데이터 우선 전략을 사용합니다. 이러한 접근 방식을 사용하는 경우, 새로운 시스템이 아닌 데이터에 집중합니다. 더 이상 데이터 관리는 현대화 검사 목록의 항목이 아닙니다. 대신, 데이터가 중심이 됩니다. 조각화되고 제대로 관리되지 않는 데이터 솔루션을 조정된 품질 지향 데이터 솔루션이 대체합니다.
이 솔루션은 Azure 데이터 플랫폼 구성 요소를 데이터 우선 접근 방식에서 사용합니다. 특히, 다음과 같은 사항이 이 솔루션에 포함됩니다.
- 개체 변환. 원본 데이터 저장소에서 대상 데이터 저장소의 해당 개체로 개체 정의를 변환합니다.
- 데이터 수집. 원본 데이터 저장소에 연결한 다음 데이터를 추출합니다.
- 데이터 변환 적절한 대상 데이터 저장소 구조로 추출된 데이터를 변환합니다.
- 데이터 스토리지. 데이터를 원본 데이터 저장소에서 대상 데이터 저장소로 처음에 및 지속적으로 로드합니다.
잠재적인 사용 사례
특히 메인프레임 및 미드레인지 시스템을 사용하는 조직이 이러한 목표를 달성하고자 하는 경우에 이러한 솔루션의 이점을 활용 가능합니다.
- 중요 업무용 워크로드를 현대화합니다.
- 비즈니스 인텔리전스를 획득하여 운영을 개선하고 경쟁 우위를 확보합니다.
- 메인프레임 및 미드레인지 데이터 저장소와 관련된 높은 비용 및 경직성을 제거합니다.
고려 사항
이러한 고려 사항은 워크로드의 품질 개선에 사용할 수 있는 일련의 기본 지침인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Microsoft Azure Well-Architected Framework를 참조하세요. 데이터를 변환하기 위해 호스트 파일용 Data Provider 클라이언트를 사용하려는 경우에는 연결 시작 시간을 줄이기 위해 연결 풀링을 켭니다. 데이터를 추출하기 위해 Data Factory를 사용하려는 경우, 복사 작업 성능을 조정합니다.
보안
우수한 보안은 중요한 데이터 및 시스템에 대한 고의적인 공격과 악용을 방어합니다. 자세한 내용은 보안 핵심 요소의 개요를 참조하세요.
- Azure의 온-프레미스 클라이언트 ID와 클라이언트 ID 간의 차이점에 유의하세요. 모든 차이점을 보상해야 합니다.
- 관리 ID를 구성 요소-구성 요소 데이터 흐름에 대해 사용합니다.
- 데이터를 변환하기 위해 호스트 파일용 데이터 공급자를 사용하려는 경우, 호스트 파일 보안 및 보호용 데이터 공급자의 권장 사항에 따릅니다.
비용 최적화
불필요한 비용을 줄이는 동시에 운영 효율성을 높이는 것을 비용 최적화라고 합니다. 자세한 내용은 비용 최적화 핵심 요소의 개요를 참조하세요.
- SQL Server Migration Assistant는 무료 지원 도구로, Db2에서 SQL Server, SQL Database 및 SQL Managed Instance로의 데이터베이스 마이그레이션을 간소화하기 위해 사용됩니다. SQL Server Migration Assistant는 마이그레이션 평가 분석, 스키마 및 SQL 문 변환 및 데이터 마이그레이션을 포함하는 마이그레이션의 모든 측면을 자동화합니다.
- 오픈 소스 라이브러리에서 Azure Synapse Spark 기반 솔루션이 빌드됩니다. 이는 라이선스 변환 도구의 비용 부담을 해소합니다.
- Azure 가격 계산기를 사용하여 이 솔루션 구현 비용을 예상합니다.
성능 효율성
성능 효율성은 워크로드의 크기를 조정함으로써 사용자가 배치된 요구 사항을 효율적인 방식으로 충족할 수 있도록 하는 기능입니다. 성능 효율성 핵심 요소 개요를 참조하여 자세한 내용을 확인하세요.
- 성능 관리, 용량 계획, 확장성 및 적절한 성능 패턴 선택은 성능 효율성의 핵심 요소입니다.
- 논리 인스턴스를 활성-활성 모드의 여러 온-프레미스 컴퓨터와 연결하여 자체 호스팅 IR을 확장할 수 있습니다.
- 동적으로 데이터베이스를 스케일링하는 기능을 Azure SQL Database가 제공합니다. 컴퓨팅 리소스의 크기를 서버리스 계층에서 자동으로 조정 가능합니다. Elastic Pool에서, 풀의 리소스를 데이터베이스가 공유 가능하며, 수동으로만 확장 가능합니다.
참가자
Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.
보안 주체 작성자:
- Ashish Khandelwal | 수석 엔지니어링 설계 관리자
기타 기여자:
- Nithish Aruldoss | Engineering Architect
비공개 LinkedIn 프로필을 보려면 LinkedIn에 로그인합니다.
다음 단계
Azure 데이터베이스 마이그레이션 가이드를 검토합니다. 자세한 내용은 Azure 데이터 엔지니어링 - 메인프레임 & 미드레인지 현대화에 문의하세요.
다음 문서를 참조하세요.