Notebook에서 Delta Live Tables 파이프라인 개발 및 디버그

Important

Delta Live Tables 개발을 위한 Notebook 환경은 공개 미리 보기로 제공됩니다.

이 문서에서는 Delta Live Tables 코드의 개발 및 디버깅을 지원하는 Azure Databricks Notebook의 기능을 설명합니다.

기능 개요

기존 Delta Live Tables 파이프라인의 소스 코드인 Python 또는 SQL Notebook에서 작업하는 경우 Notebook을 파이프라인에 직접 연결할 수 있습니다. Notebook이 파이프라인에 연결되면 다음 기능을 사용할 수 있습니다.

• Notebook에서 파이프라인을 시작하고 유효성을 검사합니다.
• Notebook의 최신 업데이트에 대한 파이프라인의 데이터 흐름 그래프 및 이벤트 로그를 봅니다.
• Notebook 편집기에서 파이프라인 진단을 봅니다.
• Notebook에서 파이프라인 클러스터의 상태를 확인합니다.
• Notebook에서 Delta Live Tables UI에 액세스합니다.

필수 조건

• Python 또는 SQL Notebook을 소스 코드로 사용하는 기존 Delta Live Tables 파이프라인이 있어야 합니다.
• 파이프라인의 소유자이거나 CAN_MANAGE 권한이 있어야 합니다.

제한 사항

• 이 문서에서 다루는 기능은 Azure Databricks Notebook에서만 사용할 수 있습니다. 작업 영역 파일은 지원되지 않습니다.
• 웹 터미널은 파이프라인에 연결할 때 사용할 수 없습니다. 따라서 아래쪽 패널에 탭으로 표시되지 않습니다.

Delta Live Tables 파이프라인에 Notebook 연결

Notebook 내에서 컴퓨팅을 선택하는 데 사용되는 드롭다운 메뉴를 클릭합니다. 드롭다운 메뉴에는 이 Notebook을 소스 코드로 사용하는 모든 Delta Live Tables 파이프라인이 표시됩니다. Notebook을 파이프라인에 연결하려면 목록에서 선택합니다.

파이프라인의 클러스터 상태 보기

파이프라인 클러스터의 상태를 쉽게 이해하기 위해 해당 상태는 컴퓨팅 드롭다운 메뉴에 녹색으로 표시되어 클러스터가 실행 중임을 나타냅니다.

파이프라인 코드 유효성 검사

파이프라인의 유효성을 검사하여 데이터를 처리하지 않고 소스 코드에서 구문 오류를 확인할 수 있습니다.

파이프라인의 유효성을 검사하려면 다음 중 하나를 수행합니다.

• 전자 필기장의 오른쪽 위 모서리에서 유효성 검사를 클릭합니다.
• 전자 필기장 셀을 누릅니 Shift+Enter 다.
• 셀의 드롭다운 메뉴에서 파이프라인 유효성 검사를 클릭합니다.

참고 항목

기존 업데이트가 이미 실행 중인 동안 파이프라인의 유효성을 검사하려고 하면 기존 업데이트를 종료할지 묻는 대화 상자가 표시됩니다. 예를 클릭하면 기존 업데이트가 중지되고 유효성 검사 업데이트가 자동으로 시작됩니다.

파이프라인 시작

파이프라인 업데이트는 클러스터를 시작하고, 정의된 모든 테이블 및 뷰를 검색 및 유효성을 검사하고, 사용 가능한 최신 데이터로 테이블과 뷰를 만들거나 업데이트합니다.

파이프라인 업데이트를 시작하려면 Notebook의 오른쪽 위 모서리에 있는 시작 단추를 클릭합니다.

업데이트 상태 보기

Notebook의 위쪽 패널에는 파이프라인 업데이트가 다음과 같은지 여부를 표시합니다.

• 시작 중
• 유효성 검사 중
• 중지 중

오류 및 진단 보기

파이프라인을 시작하거나 유효성을 검사한 후에는 오류가 빨간색 밑줄과 함께 인라인으로 표시됩니다. 오류 위로 마우스를 가져가서 자세한 정보를 확인합니다.

파이프라인 이벤트 보기

파이프라인에 연결된 경우 Notebook 아래쪽에 Delta Live Tables 이벤트 로그 탭이 있습니다.

파이프라인 데이터 흐름 그래프 보기

파이프라인의 데이터 흐름 그래프를 보려면 Notebook 아래쪽에 있는 Delta Live Tables 그래프 탭을 사용합니다. 그래프에서 노드를 선택하면 오른쪽 패널에 해당 스키마가 표시됩니다.

Notebook에서 Delta Live Tables UI에 액세스하는 방법

Delta Live Tables UI로 쉽게 이동하려면 Notebook의 오른쪽 위 모서리에 있는 메뉴를 사용합니다.

Notebook에서 드라이버 로그 및 Spark UI에 액세스

개발 중인 파이프라인과 연결된 드라이버 로그 및 Spark UI는 Notebook의 보기 메뉴에서 쉽게 액세스할 수 있습니다.