편집

다음을 통해 공유

Azure에서 메인프레임 일괄 처리 애플리케이션 다시 엔지니어링

Azure Data Factory
Azure Databricks
AKS(Azure Kubernetes Service)
Azure SQL Database
Azure Storage

이 참조 아키텍처는 Azure를 사용하여 z/OS 메인프레임 일괄 처리 애플리케이션을 다시 엔지니어링하여 Azure를 사용하여 클라우드에서 안전하고 확장 가능하며 고가용성 시스템을 제공하는 방법을 보여줍니다. 끊임없이 진화하는 비즈니스 요구 사항으로 인해 데이터 및 애플리케이션은 인프라에 영향을 주지 않고 제공하고 확장해야 합니다. 클라우드로 다시 엔지니어링하면 재무, 건강, 보험 및 소매 업종의 기업이 제품 또는 기능 배달 시간을 최소화하고 비용을 절감할 수 있습니다.

메인프레임 아키텍처

첫 번째 다이어그램은 z/OS 메인프레임에서 실행되는 일반적인 일괄 처리 애플리케이션의 아키텍처를 보여줍니다.

z/OS 메인프레임에서 실행되는 일반적인 일괄 처리 애플리케이션의 다이어그램입니다.

이 아키텍처의 Visio 파일 다운로드합니다.

워크플로

  1. OPC(작업, 계획 및 제어) 스케줄러를 사용하여 예약된 시간에 메인프레임 일괄 처리 프로세스를 트리거할 수 있습니다. 파일이 생성되었음을 알리는 메시지와 같이 메시지 큐에 배치된 메시지에 의해 트리거될 수도 있습니다.

  2. DASD(메인프레임 직접 액세스 스토리지 디바이스)는 입력 및 출력 파일을 저장하는 데 사용됩니다. 예를 들어 애플리케이션에 필요한 플랫 파일입니다. DASD 스토리지에 파일을 만들어 일괄 처리 프로세스를 트리거할 수 있습니다.

  3. 일괄 처리 프로세스는 사용자 또는 시스템 프로그램을 내부적으로 실행하여 특정 작업을 수행하는 작업과 같은 작업 집합을 실행하는 것입니다. 일반적으로 일괄 처리 프로세스는 사용자 상호 작용 없이 실행됩니다. 메인프레임의 모든 일괄 처리 작업은 JES(작업 실행 시스템)의 제어 하에 실행됩니다.

  4. 일괄 처리 프로세스의 프로그램은 다음에서 데이터를 읽고 쓸 수 있습니다.

    • VSAM(Virtual Storage Access Method)과 같은 파일 기반 데이터베이스입니다.
    • Db2 또는 Informix와 같은 관계형 데이터베이스입니다.
    • IMS(정보 관리 시스템)와 같은 비관계형 데이터베이스입니다.
    • 메시지 큐입니다.

  5. 작업 실행의 출력은 OPC 스케줄러 또는 TWS(Tivoli Workload Scheduler)를 통해 모니터링할 수 있습니다. JES의 SDSF(시스템 표시 및 검색 기능)도 메인프레임에서 작업 실행 상태를 확인하는 데 사용됩니다.

  6. 관리 계층은 다음 서비스를 제공합니다.

    • 소스 제어(예: Endevor 또는 Changeman).
    • RACF(리소스 액세스 제어 시설)와 같은 보안 이 보안은 일괄 처리 실행, 파일 액세스 및 데이터베이스 액세스에 대한 인증을 제공합니다.
    • 작업 실행 로그의 스토리지 및 검색을 지원하는 출력 관리입니다.

Azure 아키텍처

두 번째 다이어그램에서는 Azure 서비스를 사용하여 기능과 유연성이 추가된 유사한 애플리케이션을 다시 엔지니어링하는 방법을 보여 줍니다.

Azure 서비스를 사용하여 다시 엔지니어링된 일괄 처리 애플리케이션의 다이어그램입니다. 여러 예제 서비스가 포함됩니다.

이 아키텍처의 Visio 파일 다운로드합니다.

워크플로

  1. 다음 트리거 중 하나를 사용하여 Azure 일괄 처리 프로세스를 시작합니다.

    • Azure Databricks 작업 스케줄러 또는 Azure Function 스케줄러를 사용합니다.
    • Azure Logic Apps사용하여 되풀이 일괄 처리 프로세스 작업을 만듭니다.
    • Azure Blob 또는 File Storage파일을 만들거나 삭제하는 것과 같은 스토리지 이벤트를 사용합니다.
    • Azure Service Bus메시지 도착과 같은 메시지 기반 트리거를 사용합니다.
    • Azure Data Factory 트리거를 만듭니다.

  2. Azure Blob Storage 또는 Azure Files를 사용하여 메인프레임에서 마이그레이션된 파일을 저장합니다. Azure에서 다시 엔지니어링된 Batch 프로세스는 이 스토리지에서 데이터를 읽고 쓸 수 있습니다.

  3. Azure는 메인프레임 일괄 처리 워크로드를 구현하는 다양한 서비스를 제공합니다. 비즈니스 요구 사항에 따라 특정 서비스를 선택합니다. 예를 들어 컴퓨팅 성능 필요, 총 실행 시간, 메인프레임 일괄 처리 프로세스를 더 작은 단위로 분할하는 기능, 비용 민감도 등이 있습니다.

    1. Azure Databricks는 Apache Spark 기반 분석 플랫폼입니다. 작업은 R, Python, Java, Scala 및 Spark SQL 언어로 작성할 수 있습니다. 빠른 클러스터 시작 시간, 자동 종료 및 자동 크기 조정이 포함된 컴퓨팅 환경을 제공합니다. Azure Blob Storage 및 Azure Data Lake Storage와 같은 Azure Storage와 기본 제공 통합이 있습니다. 짧은 시간 안에 많은 양의 데이터를 처리해야 하는 경우 Azure Databricks를 사용합니다. ETL(추출, 변환 및 로드) 워크로드를 실행해야 하는 경우에도 적합합니다.
    2. AKS 및 Service Fabric은 서비스 기반 애플리케이션 아키텍처를 구현하는 인프라를 제공합니다. 단일 애플리케이션에는 비용 효율적이지 않을 수 있습니다. Java Spring Boot를 사용하여 메인프레임 애플리케이션을 리팩터링할 수 있습니다. Azure에서 Spring Boot 앱을 실행하는 가장 좋은 방법은 완전히 관리되는 Spring 서비스인 Azure Spring Apps를 사용하는 것입니다. Java 개발자는 이를 사용하여 Azure에서 Spring Boot 마이크로 서비스를 쉽게 빌드하고 실행할 수 있습니다.
    3. .NET 또는 Java를 사용하여 메인프레임 일괄 처리 애플리케이션을 다시 엔지니어링할 수 있습니다. Batch는 대규모로 이 애플리케이션을 실행하는 인프라를 제공합니다. VM(가상 머신) 풀을 만들고 관리하고, 애플리케이션을 설치한 다음, VM에서 실행할 작업을 예약합니다. 설치, 관리 또는 크기를 조정할 클러스터 또는 작업 스케줄러 소프트웨어가 없습니다. Windows 또는 Linux에서 지원하는 프로그래밍 언어로 애플리케이션을 작성합니다.
    4. 짧은 실행 COBOL 또는 PL/1 일괄 처리 프로그램을 다시 엔지니어링할 수 있습니다. 이러한 프로그램의 경우 Functions, WebJobs 또는 Logic Apps와 같은 Azure 서비스를 사용합니다.

  4. Azure는 데이터를 저장하고 검색하는 다양한 데이터 서비스를 제공합니다.

    • Azure 관계형 데이터베이스 제품의 가시성을 최소한으로 변경하여 Db2 및 Informix와 같은 메인프레임 관계형 데이터베이스를 마이그레이션할 수 있습니다. 예를 들어 Azure SQL VM, Azure SQL DB 또는 Azure SQL MI와 같은 관계형 데이터베이스 서비스입니다. Azure PostgreSQL과 같은 RDBMS(오픈 소스 관계형 데이터베이스 관리 시스템)를 사용할 수도 있습니다. Azure 데이터베이스 선택은 워크로드 유형, 데이터베이스 간 쿼리, 2단계 커밋 요구 사항 및 기타 여러 요인에 따라 달라집니다.
    • IMS, IDMS(통합 데이터 관리 시스템) 또는 VSAM과 같은 비관계형 데이터베이스를 Azure Cosmos DB로 마이그레이션할 수 있습니다. Azure Cosmos DB는 빠른 응답 시간, 자동 및 즉각적인 확장성 및 모든 규모에서 보장된 속도를 제공합니다. 모든 크기 또는 규모의 예측할 수 없거나 산발적인 워크로드에 대한 비용 효율적인 옵션입니다. 개발자는 용량을 계획하거나 관리할 필요 없이 쉽게 시작할 수 있습니다.
    • Azure Cache for Redis를 사용하여 재설계된 애플리케이션의 속도를 높일 수 있습니다.

  5. 애플리케이션, OS 및 Azure 리소스는 에이전트를 사용하여 로그 및 메트릭을 전송하여 Azure Monitor 로그수 있습니다.

    • Application Insight 마이그레이션된 애플리케이션을 모니터링합니다. 성능 변칙을 자동으로 검색하고 문제를 진단하는 데 도움이 되는 강력한 분석 도구를 포함합니다.
    • azure Log Analytics 수집된 로그 데이터에서 분석을 저장, 인덱싱, 쿼리 및 파생하는 데 도움이 됩니다.

    Log Analytics 및 Application Insights의 출력을 사용하여 경고 및 대시보드를 만들거나 외부 서비스로 내보낼 수 있습니다. 출력을 사용하여 VM 크기 조정과 같은 작업을 수행할 수도 있습니다.

  6. 이 계층은 소스 제어, 보안 및 출력 관리를 위한 Azure 서비스를 제공합니다. 이러한 서비스는 Azure DevOps 및 Microsoft Entra ID로 구성될 수 있습니다.

구성 요소

네트워크 및 ID

  • azure ExpressRoute: ExpressRoute를 사용하면 연결 공급자의 프라이빗 연결을 통해 온-프레미스 네트워크를 Microsoft 클라우드로 확장할 수 있습니다. ExpressRoute를 사용하면 Microsoft Azure 및 Office 365와 같은 Microsoft 클라우드 서비스에 대한 연결을 설정할 수 있습니다.
  • azure VPN Gateway: VPN Gateway는 공용 인터넷을 통해 Azure 가상 네트워크와 온-프레미스 위치 간에 암호화된 트래픽을 보내는 데 사용되는 특정 유형의 가상 네트워크 게이트웨이입니다.
  • Microsoft Entra ID: Microsoft Entra ID는 온-프레미스 디렉터리와 동기화할 수 있는 ID 및 액세스 관리 서비스입니다.

신청

  • Logic Apps: Logic Apps를 사용하면 일정에 따라 자동화된 되풀이 작업 및 프로세스를 만들고 실행할 수 있습니다. HTTP 또는 HTTPS 엔드포인트와 같은 Azure 내부 및 외부 서비스를 호출할 수 있습니다. Azure Service Bus와 같은 Azure 서비스에 메시지를 게시하거나 파일 공유에 업로드된 파일을 가져올 수도 있습니다.
  • Service Bus: 사용자 인터페이스와 백 엔드 서비스 간의 메시징에 Service Bus를 사용할 수 있습니다. 이 시스템은 애플리케이션과 서비스를 분리하고 안정성과 사용을 향상시킬 수 있습니다.
  • Azure Databricks: Azure Databricks는 대량의 데이터를 처리하고 변환하는 데 사용되는 클라우드 기반 데이터 엔지니어링 도구입니다. 그런 다음 기계 학습 모델을 통해 해당 데이터를 탐색할 수 있습니다.
  • azure Spring Apps: Azure Spring Apps를 사용하면 Spring 마이크로 서비스를 Azure에 쉽게 배포, 관리 및 실행할 수 있습니다. Java와 .NET Core를 모두 지원합니다.
  • AKS: AKS는 운영 오버헤드를 Azure로 오프로드하여 Azure에서 관리되는 Kubernetes 클러스터 배포를 간소화합니다.
  • Batch: Batch는 실행되는 워크로드에 따라 확장할 수 있는 여러 VM에서 클라우드에서 범용 일괄 처리 컴퓨팅을 실행하도록 설계되었습니다. 여러 작업이 서로 독립적으로 병렬로 실행되는 ETL 또는 AI 사용 사례에 적합합니다.
  • Functions: 함수를 사용하여 애플리케이션 인프라에 대한 걱정 없이 작은 코드 조각을 실행합니다. Functions를 사용하면 클라우드 인프라는 애플리케이션을 대규모로 실행하는 데 필요한 모든 up-to-date 서버를 제공합니다.
  • azure App Service: App Service의 기능인 WebJobs사용하여 재사용 가능한 백그라운드 비즈니스 논리를 웹 작업으로 코딩할 수 있습니다.
  • Azure Cache for Redis: 대량의 백 엔드 데이터를 사용하는 애플리케이션을 개발하여 Redis와 같은 메모리 내 데이터 저장소와 통합하여 고도로 최적화된 성능을 제공할 수 있습니다. Azure Cache for Redis는 Redis 오픈 소스(OSS Redis)와 Redis Labs, Redis Enterprise의 상용 제품을 관리 서비스로 제공합니다.

보관

Azure Storage는 핫, 쿨 및 보관 데이터의 여러 계층을 제공합니다. 이러한 스토리지 계층을 효과적으로 사용하면 가격 대비 성능 이점을 얻을 수 있습니다.

  • Blob Storage: 클라우드 네이티브 워크로드, 보관, 데이터 레이크, 고성능 컴퓨팅 및 기계 학습을 위한 확장 가능하고 안전한 개체 스토리지입니다.
  • azure Files: 간단하고 안전하며 서버리스 엔터프라이즈급 클라우드 파일 공유입니다. Azure Files는 특히 재설계된 메인프레임 솔루션에 유용할 수 있습니다. 관리되는 SQL 스토리지에 대한 효과적인 추가 기능을 제공합니다.
  • Table Storage: 대규모 반구조화된 데이터 세트를 사용하여 빠르게 개발할 수 있는 NoSQL 키-값 저장소입니다.
  • Azure Queue Storage: 대규모 워크로드에 대한 간단하고 비용 효율적이며 지속성 메시지 큐에 대기합니다.
  • Azure SQL: SQL Server에 대한 Azure의 완전 관리형 서비스 제품군입니다. Azure SQL Managed Instance, Azure Virtual Machines의 SQL Server 및 Azure Database for MariaDB와 같은 다른 Azure 서비스와 함께 관계형 데이터를 효율적으로 마이그레이션하고 사용할 수 있습니다.
  • Azure Cosmos DB: 메인프레임에서 테이블 형식이 아닌 데이터를 마이그레이션하는 데 사용할 수 있는 SQL이 없는 제품입니다.

모니터링

  • azure Monitor: Azure Monitor는 클라우드 및 온-프레미스 환경에서 원격 분석을 수집, 분석 및 작동하기 위한 포괄적인 솔루션을 제공합니다. Application Insights, Azure Monitor 로그 및 Azure Log Analytics 기능이 포함되어 있습니다.

경영

  • Azure DevOps: 소프트웨어 개발 및 팀 협업의 모든 단계에서 Azure에서 메인프레임 애플리케이션을 다시 엔지니어링합니다. DevOps는 다음 서비스를 제공합니다.

    • Azure Boards: Agile 계획, 작업 항목 추적, 시각화 및 보고 도구입니다.
    • azure Pipelines: 컨테이너 또는 Kubernetes를 지원하는 언어, 플랫폼 및 클라우드에 구애받지 않는 CI/CD 플랫폼입니다.
    • Azure Repos: 클라우드 호스팅 프라이빗 git 리포지토리를 제공합니다.
    • Azure Artifacts: 공용 또는 프라이빗 원본의 Maven, npm, Python 및 NuGet 패키지 피드를 지원하는 통합 패키지 관리를 제공합니다.
    • Azure Test Plans: 통합, 계획 및 예비 테스트 솔루션을 제공합니다.

시나리오 세부 정보

메인프레임은 주로 대량의 데이터를 처리하는 데 사용됩니다. 일괄 처리는 함께 그룹화된 대량 트랜잭션을 처리한 다음 데이터베이스에 대해 대량 업데이트를 수행하는 방법입니다. 트리거되면 최소한의 사용자 상호 작용이 필요하지 않습니다. 예를 들어 메인프레임 시스템을 사용하면 은행 및 기타 금융 기관이 분기 말 처리를 수행하고 분기별 주식 또는 연금 명세서와 같은 보고서를 생성할 수 있습니다.

잠재적인 사용 사례

이 솔루션은 금융, 보험, 의료 및 소매 산업에 이상적입니다. 이 아키텍처를 사용하여 Azure에서 메인프레임 애플리케이션을 다시 엔지니어링합니다. 아키텍처는 다음 작업에 가장 적합합니다.

  • 리소스를 많이 사용하는 메인프레임 일괄 처리 애플리케이션입니다.
  • 월말, 분기 또는 연도와 같은 특정 시간 동안 높은 컴퓨팅이 필요한 일괄 처리 애플리케이션
  • 리소스를 많이 사용하지 않고 반복적이지만 외부 시스템의 사용률이 필요할 수 있는 메인프레임 일괄 처리 프로세스입니다.

고려 사항

이러한 고려 사항은 워크로드의 품질을 개선하는 데 사용할 수 있는 지침 원칙 집합인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Microsoft Azure Well-Architected Framework참조하세요.

신뢰도

안정성을 통해 애플리케이션이 고객에 대한 약속을 충족할 수 있습니다. 자세한 내용은 안정성대한 디자인 검토 검사 목록을 참조하세요.

  • Log Analytics 외에도 Azure Monitor 및 Application Insights를 사용하여 Azure 리소스의 상태를 모니터링할 수 있습니다. 리소스 상태를 사전에 관리하도록 경고를 설정합니다.
  • Azure의 복원력에 대한 자세한 내용은 신뢰할 수 있는 Azure 애플리케이션 디자인참조하세요.

안전

보안은 의도적인 공격 및 중요한 데이터 및 시스템의 남용에 대한 보증을 제공합니다. 자세한 내용은 보안대한 디자인 검토 검사 목록을 참조하세요.

  • 이 참조 아키텍처는 온-프레미스 환경에서 Azure에 대한 프라이빗 및 효율적인 연결을 위해 ExpressRoute를 사용합니다. 그러나 사이트 VPN사이트를 만들 수도 있습니다.
  • Microsoft Entra ID를 사용하여 Azure 리소스를 인증할 수 있습니다. RBAC(역할 기반 액세스 제어)를 사용하여 권한을 관리할 수 있습니다.
  • Azure의 데이터베이스 서비스는 미사용 데이터 암호화와 같은 다양한 보안 옵션을 지원합니다.
  • 보안 솔루션 설계에 대한 자세한 내용은 Azure 보안 설명서참조하세요.

비용 최적화

비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 개선하는 방법을 모색하는 것입니다. 자세한 내용은 비용 최적화대한 디자인 검토 검사 목록을 참조하세요.

Azure 가격 계산기 사용하여 Azure 리소스에 대한 비용을 예측합니다.

서비스의 예상 비용 예제는 Azure 메인프레임 일괄 처리 애플리케이션 참조하세요.

운영 우수성

운영 우수성은 애플리케이션을 배포하고 프로덕션 환경에서 계속 실행하는 운영 프로세스를 다룹니다. 자세한 내용은 운영 우수성대한 디자인 검토 검사 목록을 참조하세요.

  • 이 문서의 일괄 처리 아키텍처는 고가용성을 제공하는 다중 노드 컴퓨팅 또는 PaaS 서비스를 사용합니다.
  • Azure 데이터베이스 서비스는 영역 중복성을 지원하며, 중단이 발생하거나 유지 관리 기간 동안 보조 노드로 장애 조치(failover)되도록 디자인할 수 있습니다.

성능 효율성

성능 효율성은 워크로드의 크기를 조정하여 사용자가 효율적인 방식으로 요구 사항을 충족하는 기능입니다. 자세한 내용은 성능 효율성대한 디자인 검토 검사 목록을 참조하세요.

  • 이 아키텍처의 다음 Azure 서비스에는 자동 크기 조정 기능이 있습니다.

    • Azure Databricks
    • AKS
    • Spring Apps
    • 일괄
    • Azure Functions
    • Logic Apps

  • Azure의 자동 크기 조정에 대한 자세한 내용은 자동 크기 조정 가이드참조하세요.

참여자

이 문서는 Microsoft에서 유지 관리합니다. 그것은 원래 다음 기여자에 의해 작성되었습니다.

주 작성자:

공용이 아닌 LinkedIn 프로필을 보려면 LinkedIn에 로그인합니다.

다음 단계

  • 자세한 내용은 datasqlninja@microsoft.com문의하세요.
  • Azure 데이터베이스 마이그레이션 가이드참조하세요.
  • 대용량 일괄 처리 트랜잭션 처리