Data Factory 프로세스 설명
데이터 기반 워크플로
Azure Data Factory의 파이프라인(데이터 기반 워크플로)는 일반적으로 다음 네 단계를 수행합니다.
연결 및 수집
오케스트레이션 시스템 빌드의 첫 번째 단계는 데이터베이스, 파일 공유, FTP 웹 서비스 등 필요한 모든 데이터 원본을 정의하고 연결하는 것입니다. 다음 단계는 후속 처리를 위해 필요에 따라 중앙 위치에 데이터를 수집하는 것입니다.
변환 및 보강
Databricks 및 Machine Learning과 같은 컴퓨팅 서비스를 사용하여, 유지 관리 가능하고 제어되는 일정에 따라 변환된 데이터를 준비하거나 생성하여 정리 및 변환된 데이터를 프로덕션 환경을 제공할 수 있습니다. 경우에 따라 분석을 지원하기 위해 추가 데이터를 사용하여 원본 데이터를 확장하거나, Machine Learning 실험에서 예제로 사용할 수 있도록 정규화 프로세스를 통해 통합할 수도 있습니다.
게시
변환 및 보강 단계에서 원시 데이터를 비즈니스에 사용할 수 있는 형태로 정제했으면 Azure Data Warehouse, Azure SQL Database, Azure Cosmos DB 또는 비즈니스 사용자가 비즈니스 인텔리전스 도구에서 가리킬 수 있는 분석 엔진으로 데이터를 로드할 수 있습니다.
모니터
예약된 작업 및 파이프라인의 성공률과 실패율을 모니터링할 수 있도록 Azure Data Factory는 Azure Monitor, API, PowerShell, Azure Monitor 로그, Azure Portal의 상태 패널을 통한 파이프라인 모니터링을 기본적으로 지원합니다.