다음을 통해 공유

데이터를 복사하고 동적 매개 변수를 사용하여 시간별 변환

  • 아티클

적용 대상: Azure Data Factory Azure Synapse Analytics

팁

기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!

이 시나리오에서는 30일 동안 8시간씩 매시간 일정으로 AWS S3에서 Azure Blob Storage로 데이터를 복사하고 Azure Databricks(스크립트의 동적 매개 변수와 함께)를 사용하여 매시간 일정으로 변환하려고 합니다.

아래 예에 사용된 가격 책정은 가상의 가격 책정이며 정확한 실제 가격 책정을 의미하지는 않습니다. 읽기/쓰기 및 모니터링 비용은 일반적으로 무시할 수 있는 정도이며 전체 비용에 큰 영향을 미치지 않으므로 표시되지 않습니다. 활동 실행 또한 가격 책정 계산기 예상 비용에서 가장 가까운 1000으로 반올림됩니다.

더 구체적인 시나리오에 대한 Azure 가격 책정 계산기를 참조하고 서비스를 사용하기 위해 향후 비용을 예측합니다.

구성

시나리오를 달성하려면 다음 항목을 사용하여 파이프라인을 만들어야 합니다.

  • AWS S3에서 복사될 데이터에 대한 입력 데이터 세트 및 Azure Storage의 데이터에 대한 출력 데이터 세트가 있는 하나의 복사 작업
  • 변환 스크립트에 매개 변수를 동적으로 전달하는 하나의 조회 작업
  • 데이터 변환에 대한 하나의 Azure Databricks 작업
  • 매일 8시간 동안 매시간 파이프라인을 실행하는 단일 일정 트리거. 파이프라인을 실행하려는 경우 즉시 트리거하거나 예약할 수 있습니다. 파이프라인 자체 외에도 각 트리거 인스턴스는 단일 활동 실행으로 계산됩니다.

다이어그램은 일정 트리거가 있는 파이프라인을 보여줍니다. 파이프라인에서 복사 작업은 입력 데이터 세트, 출력 데이터 세트로 흐르고 조회 작업은 Azure Databricks에서 실행되는 DataBricks 작업으로 흐릅니다. 입력 데이터 세트는 AWS S3 연결된 서비스로 흐릅니다. 출력 데이터 세트는 Azure Storage 연결된 서비스로 흐릅니다.

비용 예측

작업 형식 및 단위
파이프라인 실행 실행당 4 활동 실행(트리거 실행에 대해 1, 활동 실행에 대해 3) = 960 활동 실행, 계산기는 1000 단위로만 증가할 수 있으므로 반올림합니다.
데이터 복사 가정: 실행당 DIU 시간 = 10분 10분 \ 60분 * 4 Azure Integration Runtime(기본 DIU 설정 = 4) 데이터 통합 단위 및 복사 성능 최적화에 대한 자세한 내용은 이 문서를 참조하세요.
조회 활동 실행 가정: 실행당 파이프라인 활동 시간 = 1분 1분/60분 파이프라인 활동 실행
Databricks 활동 실행 가정: 실행당 외부 실행 시간 = 10분 10분 / 60분 외부 파이프라인 작업 실행

가격 책정 예제: 가격 계산기 예제

30일 동안의 총 시나리오 가격 책정: $41.03

동적 매개 변수 시나리오를 사용하여 데이터 복사 및 변환에 대해 구성된 가격 계산기의 스크린샷

관련 콘텐츠