Azure에서 클라우드 규모 분석을 위한 팀 및 함수 이해

클라우드 규모 분석을 위해 수집, 처리, 분석, 소비 및 시각화와 같은 팀을 수평적 사일로 구조의 팀에서 각 계층의 민첩한 수직적 교차 도메인 팀으로 이동하는 것이 좋습니다. 데이터 플랫폼 운영팀 및 플랫폼 운영팀과 같은 플랫폼 팀은 공통 플랫폼 그룹으로 그룹화됩니다.

플랫폼 그룹

플랫폼 그룹은 다음 두 팀으로 구성됩니다.

• 플랫폼 운영: 플랫폼 운영은 플랫폼 그룹의 일부입니다. 클라우드 플랫폼을 운영하고 소유합니다. 이 팀은 클라우드 규모 분석 내에서 네트워킹, 피어링, 핵심 서비스 및 모니터링과 같은 데이터 관리 랜딩 존 및 데이터 랜딩 존 스캐폴딩을 인스턴스화할 책임이 있습니다. 일반적으로 데이터 플랫폼 운영 팀은 클라우드 규모 분석 구현 초기 단계에서 데이터 랜딩 존의 페르소나를 위한 IT 서비스 관리 인터페이스를 개발하는 데 기여합니다. 이러한 인터페이스는 데이터 제품을 온보딩하고, 보안을 설정하고, 데이터 랜딩 존에 서비스를 추가하는 서비스에 대한 REST API 호출인 경향이 있습니다.

• 데이터 플랫폼 작업: 데이터 플랫폼 작업 그룹은 플랫폼 그룹 내에 속합니다. 데이터 플랫폼 운영은 데이터 랜딩 존 및 제품에 대한 중앙 모니터링, 카탈로그 및 재사용 가능한 정책과 같은 서비스를 제공합니다. 데이터 플랫폼 운영 팀은 데이터 관리 랜딩 존을 소유하고 있으며 팀의 다른 책임은 다음과 같습니다.

인프라 개발

• 데이터 랜딩 존에 대한 코드 기반 인프라 템플릿 개발 템플릿은 시간이 지남에 따라 업데이트 및 유지 관리되어야 하며 여러 시나리오를 다룰 수 있습니다.
• 템플릿의 우선 순위를 지정하고 다른 팀의 피드백에 따라 새 기능을 추가합니다.
• 표준 인프라 템플릿을 생성하는 일반적인 목표를 사용하여 민첩한 프레임워크에서 작업합니다.

새 데이터 랜딩 존 요청에 응답

데이터 플랫폼 운영 팀은 만든 템플릿을 지원하는 도구와 서비스를 제공해야 합니다. ServiceNow와 같은 IT 서비스 관리 도구는 데이터 플랫폼 운영 팀이 새 데이터 랜딩 존을 만들기 위해 승인한 티켓 요청을 처리할 수 있습니다. 승인된 후 새 랜딩 존은 기본 템플릿에서 포크하여 새 DevOps 프로젝트를 만들고 파이프라인은 템플릿을 새 환경에 배포합니다.

데이터 플랫폼 운영 피드백 및 개선 주기

템플릿을 개선하는 데 사용할 수 있는 두 가지 옵션은 다음과 같습니다.

• 인프라 템플릿 인스턴스를 담당하는 팀은 DevOps 템플릿 및 배포를 향상시킬 수 있습니다. 팀이 템플릿에서 문제를 발견하면, 데이터 플랫폼 운영 팀이 지원하고 각 포크의 변경 사항을 템플릿에 병합하도록 돕습니다.
• 다른 데이터 랜딩 존 팀은 티켓의 우선 순위에 따라 템플릿을 개선하기 위한 개선 및 백로그 티켓을 생성할 수 있어야 합니다.

클라우드 규모 분석을 위한 Azure 정책

클라우드 규모 분석 원칙은 셀프 서비스 민첩성과 가드레일을 강조하여 데이터, 비용 및 패턴을 보호합니다. 데이터 플랫폼 작업은 플랫폼 작업과 협력하여 품질을 정의하고, 이러한 팀은 협업하여 특정 데이터 정책을 구현합니다. 데이터 플랫폼 작업은 검토 프로세스를 따라 제품에 추가된 새 기능을 업데이트하고 유지 관리해야 합니다.

데이터 관리 랜딩 존 배포 및 운영

데이터 플랫폼 운영 및 플랫폼 운영은 함께 작동하여 데이터 관리 랜딩 존을 배포하고 운영합니다. 데이터 관리 랜딩 존은 데이터 랜딩 존에 공유 서비스를 제공하여 클라우드 규모 분석의 중심이 됩니다.

데이터 랜딩 존 작업

데이터 랜딩 존 운영 팀은 데이터 애플리케이션 팀 요청에 응답하면서 데이터 랜딩 존 인스턴스를 운영 및 관리합니다. 데이터 플랫폼 운영과 동일한 많은 서비스를 제공하지만, 그들의 데이터 랜딩 존으로 제한됩니다.

데이터 랜딩 존이 설정될 때 생성되는 포크된 리포지토리에서 작업합니다. 정책 변경을 요청하려면 이러한 예외를 허용하기 위해 데이터 플랫폼 운영 티켓을 제출해야 합니다.

데이터 애플리케이션 팀이 데이터 제품을 사용자 지정하도록 지원

데이터 랜딩 존 운영 팀은 풀 리퀘스트를 사용하여 각각의 데이터 제품 리포지토리에 새 제품 템플릿을 제출함으로써 데이터 애플리케이션 팀을 지원합니다.

랜딩 존의 소유자인 Azure DevOps는 데이터 랜딩 존 작업에 대한 변경에 대한 승인을 라우팅합니다.

• 승인되면 템플릿 변경 내용이 주 분기로 이동되고 지속적인 통합/지속적인 개발을 통해 프로덕션으로 배포되어 데이터 제품 플랫폼/인프라가 업데이트됩니다.
• 거부된 경우, 데이터 랜딩 존 운영 팀은 데이터 애플리케이션 팀과 협력하여 변경 사항을 해결합니다.

새 데이터 제품 요청에 응답

데이터 랜딩 존 ops는 새 데이터 제품을 만드는 데 데이터 애플리케이션 팀을 지원합니다. 데이터 애플리케이션 팀이 지원을 요청하면 자동화 논리 앱과 같은 IT 서비스 관리 솔루션이 새 데이터 애플리케이션 리포지토리의 승인 또는 배포를 오케스트레이션합니다. 데이터 랜딩 존 작업은 새 요청에 대한 알림을 받고 배포를 승인하거나 거부합니다. 승인되면 새 DevOps 프로젝트가 만들어지고, 기본 템플릿 및 아티팩트가 포크되고, 새 데이터 애플리케이션이 배포됩니다.

Azure Well-Architected Framework 준수

데이터 랜딩 존 운영팀은 데이터 랜딩 존을 책임지며, 비용 최적화, 안정성 및 보안에 대한 지침을 제공하는 Azure Well-Architected Framework에 능숙하도록 권장됩니다.

평소와 같이 비즈니스

데이터 랜딩 존 작업은 피드백 수집 및 개선 요청을 포함하는 비즈니스 작업을 담당합니다. 이러한 요청은 우선 순위가 지정되고 데이터 플랫폼 작업과 정기적으로 공유됩니다. 팀은 데이터 랜딩 존의 인시던트와 건강 이벤트를 모니터링합니다. 심각한 인시던트 중 다른 ops 팀과 협력하여, 서비스를 복구하고, 장애 조치를 수행하며, 서비스의 규모를 확장하거나 조정합니다.

데이터 애플리케이션 팀

데이터 애플리케이션 팀은 새 데이터 제품을 비즈니스에 제공합니다. 데이터 통합의 읽기 전용 데이터 저장소에서 데이터를 얻어 비즈니스 솔루션으로 변환합니다. 사용할 데이터를 변환하는 모든 항목은 데이터 제품분류됩니다. 이 팀은 비즈니스가 신속하게 가치를 달성하는 데 도움이 될 수 있는 기술 전문가와 실무 전문가가 혼합된 경우가 많습니다. 데이터 제품은 간단한 보고서 및 새 데이터 제품부터 데이터 기반 Kubernetes 웹앱을 사용하는 사용자 지정 설정에 이르기까지 다양할 수 있습니다.

새 데이터 제품

제품 소유자 및 비즈니스 담당자는 필요할 때 새 데이터 제품에 대한 요청을 만듭니다. 데이터 오피스는 요구 사항을 평가하고 다양한 전문 지식을 갖춘 새 데이터 애플리케이션 팀을 구성합니다. 팀은 필요한 데이터 제품을 식별하고 데이터 자산에 대한 액세스 권한을 요청합니다. 새 데이터 제품이 필요한 경우 데이터 애플리케이션 팀은 수집 티켓을 받습니다. 팀은 새 데이터 제품에 필요한 서비스를 식별하고 데이터 애플리케이션 배포 프로세스통해 새 데이터 제품을 요청합니다. 데이터 애플리케이션 팀은 마스터 데이터 애플리케이션 템플릿에서 포크된 리포지토리를 받아 데이터 애플리케이션을 배포합니다.

데이터 제품 인증

셀프 서비스 플랫폼에서는 누구나 보고서를 만들고, Azure Data Lake 개발자 스토리지 계정에서 데이터 제품을 큐레이팅하고, 비즈니스에서 사용할 데이터 제품을 릴리스할 수 있습니다. 데이터 제품 검토 요청은 다음과 같은 경우에 발생합니다.

• 비즈니스 후원자는 데이터 제품을 인증하기 위해 티켓을 기록합니다.
• 데이터 플랫폼 운영 팀은 인기도에 따라 데이터 제품을 선정합니다.

데이터 애플리케이션 팀은 다음을 포함할 수 있는 데이터 플랫폼 작업 및 디지털 보안으로 정의된 인증 프로세스를 추진할 수 있습니다.

• 데이터 변환 및 비즈니스 논리의 유효성을 검사하기 위해 고안된 테스트
• 보안, 규정 준수 또는 성능 영향에 대한 평가

인증 시 아티팩트가 데이터 제품 리포지토리에 정렬되고 업로드되고 설명서가 게시되고 데이터 애플리케이션 팀에 알림이 표시됩니다.

제품 지원

사용자는 IT 서비스 관리 솔루션을 사용하거나 제품 내에서 직접 데이터 제품 소유자에게 라우팅된 티켓으로 피드백을 제출할 수 있습니다. 이 개인은 요청을 심사하고 데이터 애플리케이션 팀에 에스컬레이션할지 또는 제품 백로그에 피드백을 입력하고 제품 계획 주기 동안 검토할지 결정합니다.

데이터 과학 애플리케이션 팀

데이터 과학 제품 팀은 데이터 제품을 만들지만, 그들이 만드는 기능은 데이터 제품으로 이어지기 때문에 고유합니다. 이러한 작업으로 인해 게시된 모델은 다른 사용자가 사용할 수 있는 데이터 제품이 되며, 패턴은 데이터 랜딩 존과 연결된 Machine Learning ops 모델을 따릅니다.

데이터 과학 제품 팀은 사용 사례에 대한 관련 데이터 제품을 검색하고 찾는 것으로 시작합니다. 데이터 거버넌스 솔루션은 데이터 품질, 계보 또는 유사한 데이터 세트 또는 프로필과 같은 세부 정보를 표시할 수 있습니다. 샘플 데이터 세트를 사용할 수 있는지, 데이터가 프로젝트와 관련이 있는지 조사합니다. 데이터 카탈로그 또는 Microsoft Entra 액세스 패키지를 통해 데이터 액세스 권한을 부여한 후 팀은 데이터 랜딩 존의 서비스를 사용하여 데이터를 탐색하고 분석합니다.

모든 데이터를 처리하기 전에 팀은 로컬 또는 원격 컴퓨팅을 사용하여 샘플 데이터 제품을 처리하고 분석합니다. 더 큰 데이터 제품으로 원격 컴퓨팅 대상을 최적화하여 Azure Machine Learning 내에서 실행, 출력 및 모델을 추적하여 기계 학습 모델을 학습하고 개발할 수 있습니다.

팀이 기계 학습 모델을 개발하면 운영하기 시작합니다. 이 목표를 달성하기 위해 데이터 애플리케이션 팀 역할에 설명된 대로 모델을 새 데이터 제품으로 이동하는 데 도움을 줄 수 있는 DataOps 및 기계 학습 엔지니어를 포함하도록 팀을 확장합니다.

데이터 과학 팀은 연결된 데이터 제품 소유자와 계속 협력하여 기계 학습 작업 방법론사용하여 프로덕션 환경에서 피드백, 지원 및 업데이트 모델을 캡처합니다.

분석자

분석가는 비즈니스 분석가, 파워 사용자 및 일반적으로 새로운 비즈니스 인사이트를 만들기 위해 데이터를 최적화하는 데 관심이 있는 조직의 모든 사용자를 포함하는 대규모 그룹을 나타냅니다. 셀프 서비스 활성화는 공식적인 IT 예산 및 리소스를 확보하지 않고도 분석 및 데이터에 액세스할 수 있도록 분석가를 지원하는 주요 원칙입니다.

조언

기업은 분석가가 만든 인사이트를 다른 사용자가 비즈니스 내에서 사용할 수 있도록 인증할 수 있는 다음 잠재적 데이터 제품 집합으로 보아야 합니다.

데이터 찾기 및 요청

분석가는 데이터 마켓플레이스/카탈로그를 참조하여 관련 데이터 제품을 검색합니다.

• 데이터 자산을 찾을 수 없거나 존재하지 않는 경우 분석가는 데이터 애플리케이션 팀과 함께 지원 티켓을 엽니다. 데이터 애플리케이션 팀은 데이터 세트를 찾는 데 도움을 주거나 백로그에 요청을 추가하여 다른 개발 주기에서 평가합니다.

• 데이터 세트가 있는 경우 분석가는 카탈로그에 나열된 자산에 대한 Microsoft Entra 그룹 멤버 자격을 식별하고 Azure 액세스 패키지 포털을 사용하여 Microsoft Entra 그룹에 대한 액세스를 요청할 수 있습니다.

새 보고서 빌드

분석가는 Microsoft Power BI와 같은 도구를 사용하여 데이터 제품을 보고서에 통합할 수 있습니다. 이러한 보고서는 개별 용도로 사용하거나 인증된 데이터 제품을 게시하는 데 사용할 수 있습니다. 조직 전체에 보고서를 게시하기 전에 보안, 규정 준수 및 성능에 대한 데이터 제품 인증 프로세스를 인증해야 합니다.

필요에 따라 쿼리 실행

클라우드 규모 분석에는 분석가가 사용 권한에 따라 데이터를 쿼리할 수 있는 공유 작업 영역이 있습니다. 데이터 제품은 필요에 따라 쿼리를 실행하는 전용 컴퓨팅을 제공하는 것이 일반적입니다. 두 경우 모두 분석가는 사용 권한에 따라 데이터 랜딩 존의 데이터 제품에 대한 쿼리를 실행할 수 있습니다. 쿼리의 결과를 Azure Data Lake 작업 영역에 저장하여 다시 사용할 수 있습니다.

사용자 피드백

분석가는 미개발 정보 및 개선의 원본 역할을 할 수 있으므로 기업에서는 각 데이터 랜딩 존에 대한 사용자 피드백 그룹을 만드는 것이 좋습니다.

분석가는 이러한 사용자 그룹에 참여하는 것 외에도 데이터 자산 피드백을 데이터 애플리케이션 팀 및 데이터 카탈로그 또는 IT 서비스 관리 솔루션 내의 데이터 카탈로그 문제에 제출해야 합니다. 데이터 프로세스 문제를 데이터 애플리케이션 팀 또는 IT 서비스 관리 솔루션 내에 제출할 수 있습니다.

메모

IT 서비스 관리 솔루션은 피드백을 제출하고 문제를 에스컬레이션하기 위한 중앙 위치 역할을 해야 합니다. 개별 팀에 직접 피드백을 제출하는 것이 더 빠른 솔루션인 것처럼 보일 수 있지만 이 접근 방식은 플랫폼의 과제에 대한 비즈니스 가시성을 제공하지 않습니다. 데이터 애플리케이션 팀에 대한 올바른 라우팅을 사용하는 IT 서비스 관리 솔루션은 기업 전체에서 비즈니스에 하나의 보기를 제공할 수 있습니다.

책임 할당 매트릭스

• 책임: 작업을 완료하는 사람은 누구인가요?
• 책임: 누가 결정을 내리고 작업에 대한 조치를 취하고 있습니까?
• 컨설팅: 의사 결정 및 작업에 대한 의사 소통을 받는 사람은 누구인가요?
• 전달된 사람: 프로젝트 중에 결정 및 작업에 대해 업데이트되는 사람은 누구인가요?

역할	클라우드 환경	데이터 관리 랜딩 존	데이터 착륙 지대	데이터 통합	데이터 제품
서비스 소유자	알려진	책임을 지는	상담된 정보	상담 후 동의	상담된 정보
데이터 랜딩 존 서비스 소유자	알고 있는	상담된 정보	책임이 있는	책임이 있는	책임을 지는
클라우드 플랫폼 작업	책임 있는	상담을 받았다	상담했다	상담했다	자문
데이터 플랫폼 작업	상담	책임 있는	책임 있는	상담됨	상담
데이터 랜딩 존 작업	알려진	책임 있는	책임 있는	책임이 있는	책임 있는
데이터 애플리케이션 팀		알려진	알고 있는	알고 있는	책임이 있는

다음 단계

데이터 워크로드에 대한 Azure Well-Architected Framework