Azure Data Factory에서 Microsoft Fabric의 데이터 팩터리로 가져오기
Microsoft Fabric의 데이터 팩터리는 Azure Data Factory의 차세대 서비스로, 가장 복잡한 ETL 시나리오를 해결할 수 있는 클라우드 규모 데이터 이동 및 데이터 변환 서비스를 제공합니다. 환경을 사용하기 쉽고 강력하며 진정한 엔터프라이즈급으로 만들기 위한 것입니다. 이 문서에서는 Azure Data Factory와 Microsoft Fabric의 데이터 팩터리 간의 차이점을 비교합니다.
기능 매핑
패브릭에서 데이터 팩터리의 최신 환경에서는 Azure Data Factory에 비해 몇 가지 다른 기능 개념이 있습니다. 세부 기능 매핑은 아래 표와 같습니다.
| Azure Data Factory | 패브릭의 데이터 팩터리 | 설명 |
|---|---|---|
| 파이프라인 | 데이터 파이프라인 | Fabric의 데이터 파이프라인은 Lakehouse, 데이터 웨어하우스 등을 비롯한 통합 데이터 플랫폼과 더 잘 통합됩니다. |
| 데이터 흐름 매핑 | 데이터 흐름 Gen2 | Dataflow Gen2는 더욱 쉽게 변환을 빌드할 수 있는 환경을 제공합니다. Dataflow Gen2에서 지원되는 매핑 데이터 흐름 기능을 더 많이 제공하고자 진행 중입니다. |
| 활동 | 활동 | 패브릭의 데이터 팩터리에서 더 많은 ADF 작업을 지원하고자 진행 중입니다. 패브릭의 데이터 팩터리에는 Office 365 Outlook 작업과 같은 몇 가지 새로 유치된 작업도 있습니다. 세부 정보는 작업 개요에 있습니다. |
| 데이터 세트 | 해당 없음 | 패브릭의 데이터 팩터리에는 데이터 세트 개념이 없습니다. 연결은 각 데이터 원본을 연결하고 데이터를 끌어오는 데 사용됩니다. |
| 연결된 서비스 | 연결 | 연결은 연결된 서비스와 유사한 기능을 갖지만 패브릭의 연결은 더 직관적인 방식으로 연결을 생성합니다. |
| 트리거 | 트리거 및 파일 이벤트 트리거 예약 | 패브릭은 스케줄러 및 Reflex 이벤트를 사용하여 파이프라인을 자동으로 실행할 수 있습니다. 파일 이벤트 트리거는 Microsoft Fabric Data Factory의 파이프라인에서 기본적으로 지원됩니다. |
| 게시 | 저장, 실행 | 패브릭의 파이프라인의 경우 콘텐츠를 저장하기 위해 게시할 필요가 없습니다. 대신 저장 버튼을 사용하여 콘텐츠를 직접 저장할 수 있습니다. 실행 단추를 선택하면 파이프라인을 실행하기 전에 콘텐츠가 저장됩니다. |
| Autoresolve 및 Azure Integration Runtime | 해당 없음 | 패브릭에서는 통합 런타임이라는 개념이 없습니다. |
| 자체 호스팅 통합 런타임 | 온-프레미스 데이터 게이트웨이 | 온-프레미스 데이터 게이트웨이를 사용하면 Fabric Data Factory를 통해 온-프레미스 데이터에 액세스할 수 있습니다. 자세한 내용은 Microsoft Fabric용 데이터 팩터리에서 온-프레미스 데이터 원본에 액세스하는 방법에 있습니다. |
| Azure-SSIS Integration Runtime | 결정될 예정임 | 패브릭의 기능은 로드맵과 디자인을 확정하지 못했습니다. |
| MVNet 및 프라이빗 엔드포인트 | 결정될 예정임 | 패브릭의 기능은 로드맵과 디자인을 확정하지 못했습니다. |
| 식 언어 | 식 언어 | 식 언어는 ADF와 패브릭에서 비슷합니다. |
| 연결된 서비스의 인증 유형 | 연결의 인증 종류 | 패브릭 파이프라인의 인증 종류는 이미 ADF에서 널리 사용되는 인증 유형을 지원했으며 더 많은 인증 종류가 추가되었습니다. |
| CI/CD | CI/CD | Fabric Data Factory의 CI/CD 기능은 곧 제공될 예정입니다. |
| ARM 내보내기 및 가져오기 | Save as | 패브릭 파이프라인에서 Save as를 사용하여 파이프라인을 복제할 수 있습니다. |
| 모니터링 | 모니터링, 실행 기록 | 패브릭의 모니터링 허브에는 더 나은 인사이트를 위해 다양한 작업 영역에서 모니터링하는 것과 같은 고급 기능과 최신 환경을 갖추고 있습니다. |
Microsoft Fabric에서 데이터 팩터리 파이프라인 사용
Microsoft Fabric의 데이터 팩터리에는 데이터 파이프라인에 대한 여러 가지 흥미로운 기능이 있습니다. 이러한 기능을 활용하여 패브릭에서 파이프라인의 기능을 느낄 수 있습니다.
레이크하우스/Datawarehouse 통합
레이크하우스 및 Data Warehouse는 패브릭 파이프라인에서 원본 및 대상으로 사용할 수 있으므로 레이크하우스 및 Datawarehouse와 통합된 자체 프로젝트를 빌드하는 것이 매우 편리합니다.
Office 365 Outlook 작업
Office 365 Outlook 작업은 간편한 구성을 통해 파이프라인 및 작업 정보와 파이프라인 출력에 대한 사용자 지정 메일 알림을 직관적이고 간단한 방법으로 보낼 수 있도록 합니다.
데이터 가져오기 환경
패브릭의 데이터 팩터리에는 최신 버전의 간편한 데이터 가져오기 환경이 제공되므로 복사 파이프라인을 설정하고 새 연결을 만드는 속도가 매우 빨라집니다.
최신 모니터링 환경
모니터링 허브와 데이터 흐름, 데이터 파이프라인과 같은 데이터 팩터리 항목을 결합하면 모든 워크로드를 전체적으로 파악하고 데이터 팩터리 환경 내의 모든 작업을 세부적으로 살펴볼 수 있습니다. 또한 모니터링 허브를 통해 작업 영역 간 분석을 수행하는 것이 편리합니다.
파이프라인 복사 모니터링 결과는 복사 작업 대한 세부 정보를 제공합니다. 실행 세부 정보 버튼(안경 아이콘이 강조 표시됨)을 선택하여 실행 세부 정보를 볼 수 있습니다. 기간 분석을 확장하면 복사 작업에서 각 단계의 기간을 알 수 있습니다.
Save as
패브릭 파이프라인의 Save as는 기존 파이프라인을 다른 개발 목적으로 복제할 수 있는 편리한 방법을 제공합니다.
