Azure Data Factory를 사용하는 경우
이 단원에서는 Azure Data Factory가 조직에 적합한 데이터 통합 솔루션인지 확인하는 방법을 살펴봅니다. 다음 조건에 대해 Azure Data Factory를 평가합니다.
- 데이터 통합 요구 사항
- 리소스 코딩
- 여러 데이터 원본 지원
- 서버리스 인프라
의사 결정 기준
Azure Data Factory를 사용할지를 결정할 때는 아래 표에 설명된 조건을 사용합니다.
| 조건 | 분석 |
|---|---|
| 데이터 통합이 필요한가요? | 조직이 빅 데이터를 사용하거나 기존 관계형 데이터 웨어하우징 조직인 경우 데이터 통합 솔루션에 관심이 있을 수 있습니다. |
| 필요한 코딩 리소스가 있나요? | 데이터를 사용하는 모든 사용자가 코딩을 경험한 것은 아닙니다. 일부는 원본 데이터를 사용할 작업을 만드는 데 도움이 되는 시각화를 제공하는 그래픽 도구를 사용하는 것을 선호할 수 있습니다. |
| 여러 데이터 원본을 사용해야 하나요? | 일부 조직은 원시 데이터가 온-프레미스 및 클라우드 기반의 서로 다른 시스템에 저장되어 있을 수 있습니다. 데이터 분석 솔루션은 많은 데이터 원본에 쉽게 연결할 수 있어야 합니다. |
| 별도의 데이터 통합 구성 요소를 만들고, 관리하고, 유지 관리할 수 있나요? | 데이터 분석을 위한 관리되는 서비스가 없으면 기업은 사용자 지정 데이터 이동 구성 요소를 빌드해야 합니다. 또는 기업은 데이터 원본과 처리를 통합하기 위해 사용자 지정 서비스를 만들 수 있습니다. 그러한 시스템을 통합하고 유지 관리하는 일은 비용도 많이 들고 어려울 수 있습니다. 또한 일부 시스템에는 완전 관리형 서비스에서 제공하는 모니터링, 경고, 컨트롤이 포함되지 않습니다. |
조건 적용
Azure Data Factory를 데이터 통합 솔루션으로 고려하는 경우 다음 질문을 검토합니다.
데이터 통합이 필요한가요?
조직이 소규모이고 제한된 데이터 원본을 사용하는 경우에는 데이터 통합 서비스가 전혀 필요하지 않을 수 있습니다. 그러나 조직이 빅 데이터를 사용하거나 기존 관계형 데이터 웨어하우징 조직인 경우 데이터 통합 솔루션을 활용할 수 있습니다. 다음 사항을 고려하세요.
- 빅 데이터 조직은 다양한 대용량 데이터를 처리하는 기술을 사용합니다. 이를 위해 Azure Data Factory는 클라우드에서 파이프라인을 만들고 실행하는 수단을 제공합니다. 이 파이프라인은 클라우드 및 온-프레미스 데이터 서비스에 둘 다 액세스할 수 있습니다. 이러한 파이프라인은 일반적으로 Azure Synapse Analytics, Azure Blob, Azure Data Lake와 같은 기술을 사용합니다. 또한 Azure HDInsight와 Azure Databricks, Azure Machine Learning도 있습니다.
- 관계형 데이터 웨어하우징 조직은 일반적으로 SQL Server와 같은 기술을 사용합니다. SSIS(SQL Server Integration Services)는 종종 SSIS 패키지를 만드는 데 사용됩니다. 관련 조직의 경우 Azure Data Factory는 Azure에서 SSIS 패키지를 실행하는 기능을 제공하여 클라우드 및 온-프레미스 데이터 서비스에 둘 다 액세스할 수 있도록 합니다.
필요한 코딩 리소스가 있나요?
조직에 필요한 활동을 만드는 데 필요한 코딩 리소스가 없는 경우 Azure Data Factory를 고려하세요. Azure Data Factory는 데이터 원본 및 관련 활동을 사용하기 위한 로우 코드(low code)/노 코드(no code) 프로세스를 제공합니다. 예를 들어, Azure Data Factory 작성 및 모니터링 도구를 사용하면 활동을 디자인 화면으로 끌어서 놓아 그래픽으로 파이프라인을 만들 수 있습니다. 다음 스크린샷은 데이터 엔지니어가 여러 활동이 있는 파이프라인을 만드는 인터페이스를 보여 줍니다.
여러 데이터 원본을 사용해야 하나요?
조직이 여러 위치 및 여러 원본에 있는 데이터에 액세스해야 하는 경우 이 지원을 제공하는 데이터 통합 솔루션을 고려해야 합니다. Azure Data Factory는 커넥터를 사용하여 서로 다른 데이터 원본과 통합합니다. 현재 90개 이상의 데이터 원본이 지원됩니다. 또한 Azure Data Factory는 다른 데이터 원본에 접근하기 위한 확장 가능한 옵션을 지원합니다.
별도의 데이터 통합 구성 요소를 만들고, 관리하고, 유지 관리할 수 있나요?
자체 서버 기반 데이터 통합 솔루션을 만들고 관리하는 것은 복잡하고 시간이 많이 걸릴 수 있습니다. 그러나 조직의 데이터 센터 내에서 이러한 솔루션을 실행하는 것이 효과적이라면 Azure Data Factory를 고려할 필요가 없습니다. 그러나 데이터 통합을 위해 완전 관리형 서버리스 솔루션을 사용하면 이점이 있습니다. 주요 이점은 다음과 같습니다.
- 더 많은 워크로드를 지원하기 위해 필요에 따라 크기 조정할 수 있는 기능.
- 데이터 통합 워크로드를 호스트하기 위해 서버를 배포, 구성, 유지 관리하지 않아도 됩니다.
요약
요약하면, 다음 조건 중 하나 이상을 충족하는 경우 Azure Data Factory를 고려하세요.
- 데이터 엔지니어는 데이터 분석 작업을 수행하는 코드를 만드는 데 필요한 시간이 없습니다.
- 서로 다른 위치에 여러 데이터 원본이 있습니다.
- 완전 관리형 클라우드 기반 솔루션을 활용하려고 합니다.