Fabric Notebook에 대한 높은 동시성 모드 구성
Microsoft Fabric에서 Notebook을 실행하면 Apache Spark 세션이 시작되고 Notebook 셀 실행의 일부로 제출된 쿼리를 실행하는 데 사용됩니다. 높은 동시성 모드를 사용하도록 설정하면 Notebook을 실행할 때마다 새 Spark 세션을 시작할 필요가 없습니다.
이미 높은 동시성 세션이 실행 중인 경우 높은 동시성 세션에 Notebook을 연결하여 즉시 Spark 세션을 가져오면 쿼리를 실행하고 더 큰 세션 사용률을 달성할 수 있습니다.
참고 항목
높은 동시성 모드 기반 세션 공유는 항상 단일 사용자 경계 내에 있습니다. Notebook에는 일치하는 Spark 구성이 있어야 하고, 동일한 작업 영역의 일부여야 하며, 동일한 기본 레이크하우스 및 라이브러리를 공유하여 단일 Spark 세션을 공유해야 합니다.
세션 공유 조건
Notebook이 단일 Spark 세션을 공유하려면 Notebook은 다음과 같아야 합니다.
- 동일한 사용자가 실행합니다.
- 동일한 기본 레이크하우스가 있습니다. 기본 레이크하우스가 없는 Notebook은 기본 레이크하우스가 없는 다른 Notebook과 세션을 공유할 수 있습니다.
- 동일한 Spark 컴퓨팅 구성을 갖습니다.
- 동일한 라이브러리 패키지를 갖습니다. Notebook 셀의 일부로 다른 인라인 라이브러리 설치를 수행할 수 있으며 라이브러리 종속성이 다른 Notebook과 세션을 공유할 수 있습니다.
높은 동시성 모드 구성
기본적으로 모든 패브릭 작업 영역은 높은 동시성 모드로 사용하도록 설정됩니다. 다음 단계를 사용하여 높은 동시성 기능을 구성합니다.
패브릭 워크스페이스에서 작업 영역 설정 옵션을 클릭합니다.
데이터 엔지니어링/과학 섹션 >Spark 설정>높은 동시성으로 이동합니다.
높은 동시성 섹션에서 Notebooks 설정을 사용하도록 설정합니다. 이 창에서 설정을 사용하도록 선택하거나 사용하지 않도록 선택할 수 있습니다.
높은 동시성 옵션을 사용하도록 설정하면 사용자가 Notebook에서 높은 동시성 세션을 시작하거나 기존 높은 동시성 세션에 연결할 수 있습니다.
높은 동시성 모드를 사용하지 않도록 설정하면 비활성 기간을 구성하는 섹션이 숨겨지고 Notebook 메뉴에서 새 높은 동시성 세션을 시작하는 옵션도 숨깁니다.
높은 동시성 세션에서 Notebook 실행
패브릭 작업 영역을 엽니다.
Notebook을 만들거나 기존 Notebook을 엽니다.
메뉴 리본에서 실행 탭으로 이동한 다음, 세션 유형 드롭다운에서 기본 옵션으로 선택된 표준을 선택합니다.
새로운 높은 동시성 세션을 선택합니다.
높은 동시성 세션이 시작되면 이제 높은 동시성 세션에서 최대 5개의 Notebook을 추가할 수 있습니다.
새 Notebook을 만들고 위의 단계에서 설명한 대로 실행 메뉴로 이동하여 드롭다운 메뉴에서 새로 만든 높은 동시성 세션이 나열됩니다.
기존 높은 동시성 세션을 선택하면 두 번째 Notebook이 세션에 연결됩니다.
Notebook이 연결되면 Notebook 단계를 즉시 실행할 수 있습니다.
높은 동시성 세션 상태는 특정 시점에 지정된 세션에 연결된 Notebook의 개수도 표시합니다.
높은 동시성 세션에 연결된 Notebook에 더 많은 전용 컴퓨팅이 필요하다고 생각되면 언제든지 실행 메뉴 탭의 높은 동시성에서 Notebook을 분리하는 옵션을 선택하여 Notebook을 표준 세션으로 전환하도록 선택할 수 있습니다.
상태 표시줄세션 상태, 형식 및 ID를 볼 수 있습니다. 세션 ID 선택하여 이 높은 동시성 세션에서 실행된 작업을 탐색하고 모니터링 세부 정보 페이지에서 Spark 세션의 로그를 봅니다.
높은 동시성 세션에서 실행 중인 Notebook 모니터링 및 디버깅
공유 세션에서 여러 Notebook을 실행하는 경우 모니터링 및 디버깅은 일반적으로 사소한 작업이 아닙니다. Fabric에서 높은 동시성 모드의 경우 사용자가 다른 Notebook의 Spark 이벤트에서 내보낸 로그를 추적할 수 있도록 로그 분리가 제공됩니다.
세션이 진행 중이거나 완료된 상태인 경우 실행 메뉴로 이동하고 모든 실행 옵션을 선택하여 세션 상태를 볼 수 있습니다.
이렇게 하면 현재 활성 및 기록 Spark 세션 목록을 보여 주는 Notebook의 실행 기록이 열립니다.
사용자는 세션을 선택하여 세션에서 실행된 모든 Spark 작업 목록을 보여 주는 모니터링 세부 정보 보기에 액세스할 수 있습니다.
동시성 세션이 높은 경우 사용자는 관련 Notebook 탭을 사용하여 여러 Notebook의 작업 및 관련 로그를 식별할 수 있습니다. 이 탭에는 해당 작업이 실행된 Notebook이 표시됩니다.
관련 콘텐츠
이 문서를 읽으면 Notebook에서 높은 동시성 모드를 통해 세션 공유를 기본적으로 이해하게 됩니다. 다음 문서로 이동하면 레이크하우스 및 Notebook을 사용하여 고유한 데이터 엔지니어 환경을 만들고 시작하는 방법을 알아봅니다.
- Lakehouse를 시작하려면 Microsoft Fabric레이크하우스 만들기를 참조하세요.
- 노트북을 시작하려면 Microsoft Fabric 노트북사용하는 방법을 참조하세요.