다음을 통해 공유

Azure Data Factory에서 Microsoft Fabric의 Data Factory로 마이그레이션

  • 아티클

이 문서에서는 Azure Data Factory 및 Synapse Gen2 파이프라인 작성자를 대상으로 합니다. 파이프라인을 현대화하고 Microsoft Fabric용 Data Factory로 마이그레이션하는 데 도움이 되는 지침과 근거를 제공합니다.

배경

Microsoft Fabric은 셀프 서비스 및 IT 관리 엔터프라이즈 데이터를 위한 통합 플랫폼입니다. 데이터 볼륨과 복잡성이 기하급수적으로 증가함에 따라 Fabric 고객은 규모가 크고, 안전하고, 관리하기 쉽고, 가장 큰 조직의 모든 사용자가 액세스할 수 있는 엔터프라이즈 솔루션을 요구합니다.

최근 몇 년 동안 Microsoft는 고객에게 확장 가능한 클라우드 기능을 제공하기 위해 상당한 작업을 투자했습니다. 이를 위해 Fabric의 Data Factory는 수십 년 동안 구축된 데이터 통합 개발자 및 데이터 통합 솔루션의 대규모 에코시스템에서 이전 세대에서 사용할 수 있는 비슷한 기능을 훨씬 뛰어넘는 모든 기능과 기능을 사용할 수 있도록 지원합니다.

당연히 고객은 Fabric 내에서 데이터 통합 솔루션을 호스팅하여 통합할 기회가 있는지 묻고 있습니다. 그들은 종종 다음과 같은 질문을합니다.

  • 우리가 사용하는 모든 기능이 패브릭 파이프라인에서 작동하나요?
  • 패브릭 파이프라인에서만 사용할 수 있는 기능은 무엇인가요?
  • 기존 파이프라인을 패브릭 파이프라인으로 마이그레이션하려면 어떻게 해야 할까요?
  • 엔터프라이즈 데이터 수집을 위한 Microsoft의 로드맵은 무엇인가요?

이러한 많은 질문에 대한 답변은 이 문서에 설명되어 있습니다.

메모

패브릭 용량으로 마이그레이션하는 결정은 각 고객의 요구 사항에 따라 달라집니다. 고객은 정보에 입각한 결정을 내리기 위해 다른 혜택을 신중하게 평가해야 합니다. 시간이 지남에 따라 패브릭 파이프라인으로의 유기적 마이그레이션이 예상되며, 각 고객이 편안하게 사용할 수 있는 측면에서 이 작업이 수행되기를 기대합니다.

명확히 하기 위해 현재는 데이터 수집을 위해 Azure Data Factory 또는 Synapse Gen2를 더 이상 사용하지 않을 계획이 없습니다. 엔터프라이즈 데이터 수집을 위한 패브릭 파이프라인에 대한 투자를 집중해야 하므로 패브릭 용량에서 제공하는 추가 값은 시간이 지남에 따라 증가합니다. 패브릭 용량을 선택하는 고객은 Microsoft Fabric 제품 로드맵에 부합하는 이점을 기대할 수 있습니다.

엔터프라이즈 및 셀프 서비스 데이터 통합의 수렴

Fabric에서 항목을 통합하면 리소스를 공동 배치하여 검색, 공동 작업 및 관리가 간소화됩니다. 이를 통해 중앙 IT 팀은 중요 업무용 데이터 이동 및 데이터 계보 및 모니터링을 비롯한 회사 표준에 맞는 변환 서비스를 운영하면서 인기 있는 셀프 서비스 항목을 보다 쉽게 통합할 수 있습니다.

패브릭 파이프라인은 조직의 공동 작업 및 확장 가능한 요구 사항을 지원하기 위해 메시지를 보내기 위한 Office 365 및 Teams 활동, Power BI 의미 체계 모델의 원활한 새로 고침 및 강력한 거버넌스 기능을 도입하여 조직이 데이터 계보 및 파이프라인 모니터링을 관리할 수 있도록 지원합니다. Copilot를 통한 생성 AI의 통합은 지능형 파이프라인 생성 및 오류 해결 설명을 제공하여 파이프라인 환경을 더욱 향상시켜 복잡한 솔루션의 생성 및 관리를 간소화합니다.

공통 플랫폼을 활용하면 워크플로가 간소화되어 비즈니스와 IT 간의 솔루션 개발이 향상됩니다. 이를 통해 조직은 데이터 솔루션을 엔터프라이즈 수준으로 확장하여 방대한 양의 데이터를 관리하는 데 있어 고성능, 유연성 및 효율성을 보장할 수 있습니다.

패브릭 용량

분산 아키텍처로 인해 패브릭 용량은 전체 부하, 임시 급증 및 높은 동시성에 덜 민감합니다. 더 큰 패브릭 용량 SKU에 용량을 통합하면 고객은 향상된 성능과 처리량을 달성할 수 있습니다.

기능 비교

다음 표에서는 Azure Data Factory 및 Fabric Data Factory에서 지원되는 기능을 나열합니다.

특징 Azure Data Factory 패브릭 데이터 팩토리
파이프라인 작업
office 365 및 Teams 활동을 메시지를 원활하게 전송하여 조직 전체에서 효율적인 커뮤니케이션 및 공동 작업을 촉진할 수 있습니다. 아니요 예
Power BI 의미 체계 모델 대한 연결을 만들고 Dataflow Gen2 데이터를 일관되게 새로 고치고 -date를 up-to. 아니요 예
파이프라인에서 유효성 검사 연결된 데이터 세트 참조가 있는지, 지정된 조건을 충족하는지 또는 시간이 초과되었는지를 검사한 후에만 파이프라인이 실행을 계속하도록 합니다. 예 예1
SSIS(SQL Server Integration Services) 패키지를 실행하여 데이터 통합 및 변환 작업을 수행합니다. 예 계획
데이터 변환
그래픽 인터페이스를 통해 데이터 변환 프로세스를 만들고 관리하는 매핑 데이터 흐름 Apache Spark 클러스터를 사용하여 시각적으로 디자인된 데이터 변환 예 2 없음
Dataflow Gen2의 파워 쿼리 직관적인 그래픽 인터페이스와 패브릭 컴퓨팅 엔진을 사용하여 시각적으로 설계된 데이터 변환 아니요 예
연결
모든 Data Factory 데이터 원본에 대한 지원 예 진행 중인3
확장성
예약된 실행으로 파이프라인에서 활동이 원활하게 진행되도록 보장합니다 예 예
유연하고 효율적인 파이프라인 관리를 위해 하나의 파이프라인에 여러 번 실행을 예약하세요. 예 계획된
텀블링 윈도우 트리거를 활용하여 뚜렷하고 오버랩되지 않는 시간 창 내에서 파이프라인 실행을 예약하십시오. 예 계획된
특정 또는 관련 이벤트 발생에 대한 응답으로 파이프라인 실행 실행을 자동화하는 이벤트 트리거 예 예4
인공 지능
Data Factory 용 Copilot은 데이터를 쉽게 수집할 수 있는 지능형 파이프라인 생성을 제공하며, 복잡한 파이프라인을 더 잘 이해하거나 오류 메시지에 대한 제안을 제공하기 위한 설명을 제공합니다. 아니요 예
콘텐츠 관리
사용자가 파이프라인 종속성을 이해하고 평가하는 데 도움이 되는 데이터 계보 보기 아니요 예
콘텐츠의 수명 주기를 관리하는 배포 파이프라인 아니요 예
플랫폼 확장성 및 복원력
확장 및 성능 향상을 지원하는 프리미엄 용량 아키텍처 아니요 예
다국적 고객이 지역, 산업별 또는 조직 데이터 상주 요구 사항을 해결하는 데 도움이 되는 Multi-Geo 지원 예 예
보안
가상 네트워크(가상 네트워크) 데이터 게이트웨이 연결을 통해 패브릭이 조직의 가상 네트워크에서 원활하게 작동할 수 있습니다. 아니요 계획된
온-프레미스 데이터 게이트웨이 연결을 통해 조직의 온-프레미스 데이터 원본과 패브릭 항목 간에 데이터에 안전하게 액세스할 수 있습니다. 아니요 예
Azure 서비스 태그는 네트워크 보안 규칙의 업데이트 또는 변경의 복잡성을 최소화하기 위해 자동으로 관리되는 정의된 IP 주소 그룹인 지원합니다. 예 예
거버넌스
콘텐츠 인증, 귀중하고 고품질의 패브릭 항목을 홍보하거나 인증합니다. 아니요 예
Microsoft Purview 통합 은 고객이 패브릭 항목을 관리하고 통제하는 데 도움이 됩니다. 예 예
MIP(Microsoft Information Protection)민감도 레이블 데이터 손실 방지를 위한 Microsoft Defender for Cloud Apps 통합 아니요 예
모니터링 및 진단 로깅
파이프라인 실행 이벤트를 이벤트 저장소에 로깅하여 파이프라인 성능 모니터링, 분석 및 문제 해결 예 계획
패브릭 항목에 대한 모니터링 기능을 제공하는 모니터링 허브 아니요 예
Microsoft Fabric 용량 메트릭 앱 은 패브릭 용량에 대한 모니터링 기능을 제공합니다 아니요 예
감사 로그, 패브릭 및 Microsoft 365에서 사용자 활동을 추적합니다. 아니요 예

1 유효성 검사 작업의 동등한 메타데이터 검색을 위해 '메타데이터 가져오기', 'Until' 및 'If 조건' 활동을 사용합니다.

2 원격 파이프라인 호출 함수를 사용하여 매핑 데이터 흐름 작업을 실행하려면 호출 파이프라인 작업참조하세요.

3 현재 데이터 파이프라인에 대해 지원되는 커넥터를 보려면 Pipeline 지원참조하세요.

4개, Fabric 이벤트 스트림 및 Reflex를 사용하여 실행 런 이벤트를 트리거하려면 Pipeline 이벤트 트리거을 참조하세요.

고려 사항

패브릭 파이프라인으로 마이그레이션하기 전에 계획에 고려해야 할 몇 가지 다른 고려 사항이 있습니다.

라이센스

패브릭 파이프라인은 프리미엄 용량 작업 영역에서 작성하려면 최소한 Microsoft Fabric(무료) 라이선스가 필요하며, 자세한 내용은 Fabric 라이선스참조하세요.

로드맵

Microsoft Fabric 릴리스 계획 설명서에서는 Microsoft Fabric의 Data Factory에 대한 새로운 기능과 계획된 기능을 포함하여 향후 릴리스에 대한 기능이 준비됨에 따라 고객에게 최신 업데이트 및 타임라인을 발표합니다.

자세한 내용은 microsoft Fabric 릴리스 계획 설명서 참조하세요.

관련 콘텐츠

ADF에서 Fabric Data Factory로 마이그레이션계획하는 방법을 알아봅니다.