통합 런타임 관리
Data Factory에서 작업은 수행할 작업을 정의합니다. 연결된 서비스는 대상 데이터 저장소 또는 컴퓨팅 서비스를 정의합니다. 통합 런타임은 작업 및 연결된 서비스용 인프라를 제공합니다.
Integration Runtime은 연결된 서비스 또는 작업에서 참조되며, 작업이 실행되거나 디스패치되는 컴퓨팅 환경을 제공합니다. 이러한 방식으로 보안 및 준수 요구를 충족하면서 가장 성능이 뛰어난 방법으로 대상 데이터 저장소 또는 컴퓨팅 서비스에 가능하면 가장 가까운 영역에서 작업을 수행할 수 있습니다.
간단히 말해서 IR(Integration Runtime)은 Azure Data Factory에서 사용하는 컴퓨팅 인프라입니다. IR은 여러 네트워크 환경에서 다음과 같은 데이터 통합 기능을 제공합니다.
- 데이터 흐름: 관리형 Azure 컴퓨팅 환경에서 데이터 흐름을 실행합니다.
- 데이터 이동: 공용 네트워크의 데이터 저장소 및 개인 네트워크(온-프레미스 또는 가상 사설망)의 데이터 저장소 간에 데이터를 복사합니다. 기본 제공 커넥터, 형식 변환, 열 매핑 및 성능이 뛰어나고 확장 가능한 데이터 전송에 대한 지원을 제공합니다.
- 작업 디스패치: Azure Databricks, Azure HDInsight, Azure Machine Learning, Azure SQL Database, SQL Server 등 다양한 컴퓨팅 서비스에서 실행되는 변환 작업을 디스패치 및 모니터링합니다.
- SSIS 패키지 실행: SSIS(SQL Server 통합 서비스) 패키지를 관리되는 Azure 컴퓨팅 환경에서 고유하게 실행합니다.
Azure Data Factory 인스턴스를 만들 때마다 클라우드 데이터 저장소의 작업 및 공용 네트워크의 컴퓨팅 서비스를 지원하는 기본 Integration Runtime 환경이 만들어집니다. 통합 런타임이 ‘자동 해결’로 설정된 경우 이를 볼 수 있습니다.
통합 런타임 유형
Data Factory는 세 유형의 통합 런타임을 제공하며, 데이터 통합 기능 및 원하는 네트워크 환경 요구에 가장 적합한 유형을 선택해야 합니다. 세 유형은 다음과 같습니다.
- Azure
- 자체 호스팅
- Azure-SSIS
connectVia 속성에서 Integration Runtime 설정을 명시적으로 정의할 수 있으며, 정의되지 않은 경우 ‘자동 확인’으로 설정된 속성과 함께 기본 Integration Runtime이 사용됩니다.
다음 테이블은 각 통합 런타임 유형에 대한 기능 및 네트워크 지원을 설명합니다.
| IR 유형 | 공용 네트워크 | 프라이빗 네트워크 |
|---|---|---|
| Azure | 데이터 흐름 | 데이터 흐름 |
| 데이터 이동 | 데이터 이동 | |
| 작업 디스패치 | 작업 디스패치 | |
| 자체 호스팅 | 데이터 이동 | 데이터 이동 |
| 작업 디스패치 | 작업 디스패치 | |
| Azure-SSIS | SSIS 패키지 실행 | SSIS 패키지 실행 |
사용할 통합 런타임 결정
사용할 Integration Runtime에 영향을 주는 여러 요인이 있습니다. 다음은 올바른 IR을 선택하는 데 도움이 되는 가이드입니다.
복사 활동
복사 작업의 경우 데이터 흐름의 방향을 정의하기 위해 원본 및 싱크 연결된 서비스가 필요합니다. 다음 논리를 사용하여 복사를 수행하는 데 사용하는 통합 런타임 인스턴스를 결정합니다.
두 클라우드 데이터 원본 간에 복사: 원본 및 싱크 연결된 서비스 둘 다 Azure IR을 사용하는 경우 ADF는 사용자가 영역별 Azure IR을 지정하면 영역별 Azure IR을 사용하고, 통합 런타임 위치 섹션에서 설명한 것처럼 사용자가 IR 자동 확인(기본값)을 선택하면 Azure IR 위치를 자동으로 결정합니다.
클라우드 데이터 소스와 프라이빗 네트워크의 데이터 소스 간 복사: 소스 또는 싱크 연결된 서비스 중 하나가 자체 호스팅 IR을 가리키는 경우 해당 자체 호스팅 통합 런타임에서 복사 작업을 실행합니다.
개인 네트워크의 두 데이터 원본 간 복사: 원본 및 싱크 연결된 서비스가 모두 통합 런타임의 같은 인스턴스를 가리켜야 하며 해당 통합 런타임을 사용하여 복사 작업을 실행합니다.
조회 및 GetMetadata 작업
조회 및 GetMetadata 작업은 데이터 저장소 연결된 서비스와 연결된 통합 런타임에서 실행됩니다.
변환 작업
각 변환 작업에는 통합 런타임을 가리키는 대상 컴퓨팅 연결 서비스가 있습니다. 이 통합 런타임 인스턴스는 변환 작업이 디스패치되는 곳입니다.
데이터 흐름 작업
데이터 흐름 작업은 연결된 통합 런타임에 대해 실행됩니다.