스트리밍 데이터 원본 구성
Azure Databricks는 Databricks 레이크하우스에 거의 실시간으로 데이터 수집을 위해 스트림 메시징 서비스와 통합할 수 있습니다. Azure Databricks는 레이크하우스의 보강 및 변환된 데이터를 다른 스트리밍 시스템과 동기화할 수도 있습니다.
구조적 스트리밍은 Apache Spark에서 지원하는 파일 형식에 대한 네이티브 스트리밍 액세스를 제공하지만 Databricks는 클라우드 개체 스토리지에서 데이터를 읽는 대부분의 구조적 스트리밍 작업에 대해 자동 로더를 권장합니다. 자동 로더란?을 참조하세요.
Delta Lake에 스트리밍 메시지를 수집하면 메시지를 무기한 보존할 수 있으므로 보존 임계값으로 인해 데이터가 손실되는 것을 두려워하지 않고 데이터 스트림을 재생할 수 있습니다.
메시지 큐에서 스트리밍하기 위한 특정 구성에 대한 자세한 내용은 다음을 참조하세요.