Synapse 구현 성공 방법론: 데이터 통합 디자인 평가
참고 항목
이 문서는 디자인에 따른 Azure Synapse 구현 성공 문서 시리즈의 일부를 구성합니다. 시리즈에 대한 개요는 Azure Synapse 구현 성공 디자인을 참조하세요.
Azure Synapse Analytics에는 ADF(Azure Data Factory)와 동일한 데이터 통합 엔진과 환경이 포함되어 있으므로 Azure Synapse Analytics를 종료하지 않고도 다양한 규모의 ETL 파이프라인을 만들 수 있습니다.
이 문서에서는 프로젝트에 대한 데이터 통합 구성 요소의 디자인을 평가하는 방법을 설명합니다. 특히 Azure Synapse 파이프라인이 데이터 통합 요구 사항에 가장 적합한지 확인하는 데 도움이 됩니다. 솔루션 개발 전에 디자인을 평가하는 데 시간을 투자하면 프로젝트 타임라인 또는 비용에 영향을 줄 수 있는 예기치 않은 디자인 변경을 제거하는 데 도움이 될 수 있습니다.
간격 분석 맞춤
데이터 통합 전략에 대한 철저한 간격 분석을 수행해야 합니다. Azure Synapse 파이프라인을 데이터 통합 도구로 선택하는 경우 다음 사항을 검토하여 데이터 통합 요구 사항 및 오케스트레이션에 가장 적합한지 확인합니다. 다른 데이터 통합 도구를 선택하는 경우에도 다음 사항을 검토하여 모든 주요 디자인 요소가 고려되었는지와 선택한 도구가 솔루션 요구 사항을 지원하는지 확인해야 합니다. 이 정보는 이 방법론의 앞부분에서 수행된 평가 중에 캡처되어야 합니다.
- 데이터 원본 및 대상을 검토합니다.
- 원본 및 대상 저장소가 지원되는 데이터 저장소인지 확인합니다.
- 지원되지 않는 경우 확장 가능한 옵션을 사용할 수 있는지 확인합니다.
- 데이터 통합의 트리거 지점 및 빈도를 검토합니다.
- Azure Synapse 파이프라인은 일정, 연속 창 및 스토리지 이벤트 트리거를 지원합니다.
- 요구 사항에 대해 최소 되풀이 간격 및 지원되는 스토리지 이벤트의 유효성을 검사합니다.
- 데이터 통합의 필수 모드를 검토합니다.
- 예약, 정기 및 트리거된 일괄 처리는 Azure Synapse 파이프라인에서 효과적으로 디자인할 수 있습니다.
- CDC(변경 데이터 캡처) 기능을 구현하려면 타사 제품을 사용하거나 사용자 지정 솔루션을 만듭니다.
- 실시간 스트리밍을 지원하려면 Azure Event Hubs, Apache Kafka의 Azure Event Hubs 또는 Azure IoT Hub를 사용합니다.
- Microsoft SSIS(SQL Server Integration Services) 패키지를 실행하려면 SSIS 워크로드를 클라우드로 리프트 앤 시프트할 수 있습니다.
- 컴퓨팅 디자인 검토:
- 환경의 보안 요구 사항, 네트워킹 및 방화벽 구성을 검토하고 보안, 네트워킹 및 방화벽 구성 디자인과 비교합니다.
- 데이터 원본의 보안 및 네트워크 연결 방법을 검토합니다.
- 대상 데이터 저장소의 보안 및 네트워크 연결 방법을 검토합니다. Azure Synapse 파이프라인에는 프라이빗 엔드포인트 또는 가상 네트워크를 통해 데이터 저장소를 연결하는 안전한 방법을 제공하는 다양한 데이터 액세스 전략이 있습니다.
- 해당하는 경우 Azure Key Vault를 사용하여 자격 증명을 저장합니다.
- 자격 증명의 CMK(고객 관리형 키) 암호화에 ADF를 사용하고 자체 호스팅 IR에 저장합니다.
- 모든 데이터 통합 구성 요소의 지속적인 모니터링을 위한 디자인을 검토합니다.
아키텍처 고려 사항
데이터 통합 디자인을 검토할 때 솔루션의 데이터 통합 구성 요소가 지속적인 운영 우수성, 성능 효율성, 안정성 및 보안을 제공할 수 있도록 다음 권장 사항 및 지침을 고려합니다.
운영 우수성
운영 우수성에 대해 다음 사항을 평가합니다.
- 환경: 환경을 계획할 때 개발/테스트, UAT(사용자 승인 테스트) 및 프로덕션별로 분리합니다. 폴더 조직 옵션을 사용하여 더 나은 유지 관리를 지원하기 위해 비즈니스/ETL 작업별로 파이프라인 및 데이터 세트를 구성합니다. 주석을 사용하여 파이프라인을 쉽게 모니터링할 수 있도록 파이프라인에 태그를 지정합니다. 매개 변수 및 반복 및 조건부 작업을 사용하여 재사용 가능한 파이프라인을 만듭니다.
- 모니터링 및 경고: Synapse 작업 영역에는 각 파이프라인 실행에 대한 풍부한 모니터링 정보가 포함된 모니터 허브가 포함됩니다. 또한 추가 로그 분석 및 경고를 위해 Log Analytics와 통합됩니다. 사전 오류 알림을 제공하려면 이러한 기능을 구현해야 합니다. 또한 ‘실패 시’ 경로를 사용하여 사용자 지정된 오류 처리를 구현합니다.
- 자동화된 배포 및 테스트: Azure Synapse 파이프라인은 Synapse 작업 영역에 기본 제공되므로 작업 영역 자동화 및 배포를 활용할 수 있습니다. ARM 템플릿을 사용하여 Synapse 작업 영역을 만들 때 수동 작업을 최소화합니다. 또한 Synapse 작업 영역을 Azure DevOps와 통합하여 코드 버전 관리를 빌드하고 게시를 자동화합니다.
성능 효율성
성능 효율성에 대해 다음 사항을 평가합니다.
- 복사 작업을 수행할 때 성능 지침 및 최적화 기능을 따릅니다.
- 일반 커넥터 대신 데이터 전송에 최적화된 커넥터를 선택합니다. 예를 들어 ALDS Gen2(Azure Data Lake Storage Gen2)에서 전용 SQL 풀로 데이터를 이동할 때 대량 삽입 대신 PolyBase를 사용합니다.
- 새 Azure IR을 만들 때 지역 위치를 자동 확인으로 설정하거나 데이터 저장소와 동일한 지역을 선택합니다.
- 자체 호스팅 IR의 경우 통합 요구 사항에 따라 Azure VM(가상 머신) 크기를 선택합니다.
- 빠르고 일관된 대역폭을 위해 Azure ExpressRoute와 같은 안정적인 네트워크 연결을 선택합니다.
안정성
Azure IR을 사용하여 파이프라인을 실행하는 경우 기본적으로 서버리스이므로 복원력을 제공합니다. 고객이 관리해야 하는 사항은 거의 없습니다. 그러나 파이프라인이 자체 호스팅 IR에서 실행되는 경우 Azure VM에서 고가용성 구성을 사용하여 실행하는 것이 좋습니다. 이 구성을 사용하면 VM이 오프라인으로 전환되는 경우에도 통합 파이프라인이 중단되지 않습니다. 또한 온-프레미스와 Azure 간의 빠르고 안정적인 네트워크 연결을 위해 Azure ExpressRoute를 사용하는 것이 좋습니다.
보안
보안 데이터 플랫폼은 모든 조직의 주요 요구 사항 중 하나입니다. 개별 구성 요소가 아닌 전체 플랫폼에 대한 보안을 철저히 계획해야 합니다. 다음은 Azure Synapse 파이프라인 솔루션에 대한 몇 가지 보안 지침입니다.
- Azure Synapse 프라이빗 엔드포인트를 사용하여 클라우드로 데이터 이동을 보호합니다.
- 인증에 Microsoft Entra 관리 ID를 사용합니다.
- 권한 부여를 위해 Azure RBAC(역할 기반 액세스 제어) 및 Synapse RBAC를 사용합니다.
- 자격 증명, 비밀 및 키를 파이프라인이 아닌 Azure Key Vault에 저장합니다. 자세한 내용은 파이프라인 작업에서 Azure Key Vault 비밀 사용을 참조하세요.
- Azure ExpressRoute 또는 프라이빗 엔드포인트의 VPN을 통해 온-프레미스 리소스에 연결합니다.
- 매개 변수가 비밀 또는 암호를 저장할 때 파이프라인 작업에서 보안 출력 및 보안 입력 옵션을 사용하도록 설정합니다.
다음 단계
Azure Synapse 성공 디자인 시리즈의 다음 문서에서 전용 SQL 풀 디자인을 평가하여 문제를 식별하고 지침 및 요구 사항을 충족하는지 확인하는 방법을 알아봅니다.