이 문서에서는 Apache Spark 작업 영역 관리 설정에 대한 질문과 대답을 나열합니다.
RBAC 역할을 사용하여 Spark 워크스페이스 설정을 구성하려면 어떻게 해야 하나요?
액세스 관리 메뉴를 사용하여 특정 사용자, 메일 그룹 또는 보안 그룹에 대한 관리자 권한을 추가합니다. 이 메뉴를 사용하여 작업 영역을 변경하고 Spark 작업 영역 설정을 추가, 수정 또는 삭제할 수 있는 액세스 권한을 부여할 수도 있습니다.
환경 수준의 Spark 속성에 대한 변경 내용은 활성 Notebook 세션 또는 예약된 Spark 작업에 적용합니까?
작업 영역 수준에서 구성을 변경하는 경우 활성 Spark 세션에 적용되지 않습니다. 여기에는 일괄 처리 또는 Notebook 기반 세션이 포함됩니다. 설정을 적용하려면 새 구성 설정을 저장한 후 새 Notebook 또는 일괄 처리 세션을 시작해야 합니다.
용량 수준에서 노드 패밀리, Spark 런타임 및 Spark 속성을 구성할 수 있나요?
예, 용량 관리자 설정 페이지의 일부로 데이터 엔지니어/Science 설정을 사용하여 런타임을 변경하거나 spark 속성을 관리할 수 있습니다. 이러한 용량 설정을 보고 변경하려면 용량 관리자 액세스 권한이 필요합니다.
내 작업 영역에서 다른 Notebook 및 Spark 작업 정의에 대해 다른 노드 패밀리를 선택할 수 있나요?
현재 전체 작업 영역에 대해 메모리 최적화 기반 노드 패밀리만 선택할 수 있습니다.
Notebook 수준에서 이러한 설정을 구성할 수 있나요?
예, %%configure를 사용하여 Notebooks의 Spark 세션 수준에서 속성을 사용자 지정할 수 있습니다.
선택한 노드 패밀리에 대한 최소 및 최대 노드 수를 구성할 수 있나요?
예, Fabric 작업 영역에 연결된 Fabric 용량의 허용되는 최대 버스트 제한에 따라 최소 및 최대 노드를 선택할 수 있습니다.
메모리 최적화 또는 하드웨어 가속 GPU 기반 노드 패밀리에서 Spark 풀에 대해 자동 크기 조정을 사용하도록 설정할 수 있나요?
자동 크기 조정은 Spark 풀에 사용할 수 있으며, 이를 사용하면 시스템이 런타임 중에 작업 단계에 따라 컴퓨팅을 자동으로 스케일 업할 수 있습니다. GPU는 현재 사용할 수 없습니다. 이 기능은 향후 릴리스에서 활성화될 예정입니다.
Spark 풀에 대한 지능형 캐싱은 기본적으로 작업 영역에서 지원되거나 사용하도록 설정되어 있나요?
지능형 캐싱은 기본적으로 모든 작업 영역에 대한 Spark 풀에 사용하도록 설정됩니다.