워크로드 관리
적용 대상:✅ Microsoft Fabric의 SQL 분석 엔드포인트 및 웨어하우스
이 문서에서는 Microsoft Fabric의 데이터 웨어하우징 뒤에 있는 아키텍처 및 워크로드 관리에 대해 설명합니다.
데이터 처리
웨어하우스 및 SQL 분석 엔드포인트는 동일한 기본 처리 아키텍처를 공유합니다. 데이터를 검색하거나 수집할 때는 소규모 및 대규모 데이터 및 계산 함수 모두에 대해 빌드된 분산 엔진을 활용합니다.
처리 시스템은 백 엔드 컴퓨팅 용량이 워크로드 요구를 충족하기 위해 자율적으로 확장 및 축소되는 서버리스입니다.
쿼리가 제출되면 SQL FE(프런트 엔드)는 쿼리 최적화를 수행하여 데이터 크기 및 복잡성에 따라 최상의 계획을 결정합니다. 계획이 생성되면 DQP(분산 쿼리 처리) 엔진에 제공됩니다. DQP는 백 엔드 컴퓨팅 노드에서 실행되는 더 작은 쿼리로 분할하여 쿼리의 분산 실행을 오케스트레이션합니다. 작은 쿼리를 각각 태스크라고 하며 분산 실행 단위를 나타냅니다. 태스크는 OneLake에서 파일을 읽고, 다른 태스크의 결과를 조인하고, 다른 태스크에서 검색된 데이터를 그룹화 또는 정렬합니다. 수집 작업의 경우 적절한 대상 테이블에 데이터를 씁니다.
데이터가 처리되면 결과를 사용자에게 다시 제공하거나 애플리케이션을 호출하기 위해 SQL 프런트 엔드로 반환됩니다.
탄력성 및 복원력
백 엔드 컴퓨팅 용량은 빠른 프로비전 아키텍처의 이점입니다. 리소스 할당에는 SLA가 없지만 일반적으로 새 노드는 몇 초 내에 획득됩니다. 리소스 수요가 증가함에 따라 새 워크로드는 확장된 용량을 사용합니다. 크기 조정은 온라인 작업이며 쿼리 처리는 중단되지 않습니다.
시스템은 내결함성이 있으며 노드가 비정상 상태가 되면 노드에서 실행되는 작업이 완료를 위해 정상 노드로 재배포됩니다.
웨어하우스 및 SQL 분석 엔드포인트는 워크로드가 더 많은 리소스를 사용하여 더 나은 성능을 달성할 수 있도록 하는 버스트 가능한 용량을 제공하고, 스무딩을 사용하여 사용량이 많은 시간 동안 급격한 급증을 발생시키는 고객에게 완화를 제공하지만, 사용하지 않는 유휴 용량은 많습니다. 스무딩은 컴퓨팅 평가를 분산하여 용량 관리를 간소화하여 고객 작업이 원활하고 효율적으로 실행되도록 보장합니다.
일정 관리와 리소싱
분산 쿼리 처리 스케줄러는 작업 수준에서 작동합니다. 쿼리는 스케줄러에 작업의 지시된 DAG(순환 그래프)로 표시됩니다. 이 개념은 Spark 사용자에게 익숙합니다. DAG를 사용하면 서로 종속되지 않는 작업을 동시에 또는 순서대로 실행할 수 있으므로 병렬 처리 및 동시성을 사용할 수 있습니다.
쿼리가 도착하면 해당 작업은 FIFO(선착순) 원칙에 따라 예약됩니다. 유휴 용량이 있는 경우 스케줄러는 "최적" 접근 방식을 사용하여 동시성을 최적화할 수 있습니다.
스케줄러는 자원 조달 압력을 식별할 때 배율 연산을 호출합니다. 크기 조정은 자율적으로 관리되며 백 엔드 토폴로지는 동시성이 증가함에 따라 증가합니다. 노드를 획득하는 데 몇 초 정도 걸리기 때문에 분산 처리가 필요한 쿼리의 일관된 1초 미만 성능에 대해 시스템이 최적화되지 않습니다.
압력이 가라앉으면 백 엔드 토폴로지의 축소가 축소되고 리소스가 지역으로 다시 해제됩니다.
수집 격리
적용 대상:✅ Microsoft Fabric 내 웨어하우스
Microsoft Fabric의 웨어하우스 백 엔드 컴퓨팅 풀에서 로드 작업은 분석 워크로드에서 리소스 격리를 제공합니다. 이렇게 하면 ETL에 최적화된 전용 노드에서 수집 작업이 실행될 수 있고 리소스에 대한 다른 쿼리 또는 애플리케이션과 경쟁하지 않으므로 성능과 안정성이 향상됩니다.
세션
웨어하우스 및 SQL 분석 엔드포인트의 사용자 세션 제한은 작업 영역당 724개입니다. 이 제한에 도달하면 오류가 반환됩니다.: The user session limit for the workspace is 724 and has been reached
참고 항목
Microsoft Fabric은 SaaS 플랫폼이므로 환경을 지속적으로 최적화하기 위해 실행되는 많은 시스템 연결이 있습니다. DMV는 시스템 및 사용자 세션을 모두 표시합니다. 자세한 내용은 DMVs를 사용하여 모니터링을 참조하세요.
모범 사례
Microsoft Fabric 작업 영역은 분산 컴퓨팅 시스템의 자연스러운 격리 경계를 제공합니다. 워크로드는 이 경계를 활용하여 비용과 성능을 모두 관리할 수 있습니다.
OneLake 바로 가기를 사용하여 다른 작업 영역에 있는 테이블의 읽기 전용 복제본을 만들어 여러 SQL 엔진에 부하를 분산하여 격리 경계를 만들 수 있습니다. 이렇게 하면 읽기 전용 쿼리를 수행하는 최대 세션 수를 효과적으로 늘릴 수 있습니다.
