데이터 팀 및 Microsoft Fabric
Microsoft Fabric의 통합 데이터 분석 플랫폼을 사용하면 데이터 전문가가 데이터 프로젝트에 더욱 쉽게 협력할 수 있습니다. Fabric을 사용하면 데이터 사일로가 필요하지 않고 여러 시스템에 액세스할 필요가 없으므로 데이터 전문가 간에 협업이 향상됩니다.
전통적인 역할과 과제
기존의 분석 개발 프로세스에서는 데이터 엔지니어와 데이터 분석가가 여러 가지 과제에 직면합니다. 데이터 엔지니어는 복잡한 데이터 처리를 수행한 후 데이터 원본을 정리하여 제공하므로 데이터 분석가가 비즈니스에 필요한 데이터를 효과적으로 표시할 수 있습니다. 이 프로세스에는 두 역할 간에 광범위한 의사소통과 조정이 필요하며, 이로 인해 종종 잠재적인 지연과 오해가 발생합니다.
데이터 분석가는 Power BI 보고서를 만들기 전에 광범위한 다운스트림 데이터 변환을 수행해야 합니다. 이와 같이 시간이 많이 걸리는 프로세스에는 컨텍스트가 부족한 경우가 많아 분석가가 데이터에 직접 연결하기 어렵습니다.
데이터 과학자들은 복잡하고 다루기 힘든 경우가 많은 기존 데이터 시스템에 네이티브 데이터 과학 기술을 통합하는 데도 어려움을 겪습니다. 결과적으로 데이터 과학자들은 데이터 기반 인사이트를 효율적으로 제공하는 데 어려움을 겪습니다.
협업 워크플로의 발전
Microsoft Fabric은 도구를 SaaS 플랫폼으로 통합하여 분석 개발 프로세스를 혁신하고, 다양한 역할이 중복된 노력 없이 필요한 기술을 수행할 수 있는 유연성을 제공합니다.
데이터 엔지니어는 이제 대량의 데이터를 OneLake에 수집, 변환, 로드하여 가장 적합한 데이터 저장소에 제공할 수 있습니다. 파이프라인과 medallion과 같은 아키텍처를 사용하면 데이터 로딩 패턴이 간소화되고 작업 영역을 사용하여 쉽게 구성할 수 있습니다.
데이터 분석가는 Data Factory를 사용하여 업스트림 데이터를 변환하고 DirectLake 모드를 사용하여 데이터와 보다 직접적으로 연결하여 더 광범위한 컨텍스트를 얻고 프로세스를 간소화합니다.
데이터 과학자는 네이티브 데이터 과학 기술을 보다 쉽게 통합하고 Power BI의 대화형 보고 기능을 사용하여 데이터 기반 인사이트를 제공합니다.
분석 엔지니어는 데이터 저장소 자산을 정리하고, 데이터 품질을 보장하고, 셀프 서비스 분석을 가능하게 함으로써 데이터 엔지니어링과 데이터 분석 간의 간격을 메웁니다.
낮은 코드에서 노코드 사용자와 시민 개발자는 이제 OneLake 허브를 통해 정리된 데이터를 검색하고, 데이터 엔지니어에 의존하거나 데이터를 복제하지 않고도 필요에 맞게 데이터를 추가로 처리하고 분석할 수 있습니다.