다음을 통해 공유

LakeFlow 연결

  • 아티클

Important

LakeFlow Connect는 제어된 공개 미리 보기로 제공됩니다. 미리 보기에 참여하려면 Databricks 계정 팀에 문의합니다.

이 문서에서는 엔터프라이즈 애플리케이션 및 데이터베이스에서 데이터를 수집하기 위한 기본 제공 커넥터를 제공하는 Databricks LakeFlow Connect의 개요를 제공합니다.

LakeFlow Connect란?

Databricks LakeFlow Connect는 엔터프라이즈 애플리케이션 및 데이터베이스에서 수집하기 위한 기본 제공 커넥터를 제공합니다. 결과 수집 파이프라인은 Unity 카탈로그에 의해 제어되며 서버리스 컴퓨팅 및 델타 라이브 테이블에 의해 구동됩니다.

LakeFlow Connect는 효율적인 증분 읽기 및 쓰기를 활용하여 데이터 수집을 더 빠르고 확장 가능하며 비용 효율적으로 만드는 반면, 데이터는 다운스트림 사용을 위해 최신 상태로 유지됩니다.

SaaS 커넥터 구성 요소

SaaS 커넥터는 다음 구성 요소에 의해 모델링됩니다.

  • 연결: 데이터베이스에 대한 인증 세부 정보를 저장하는 Unity 카탈로그 보안 개체입니다.
  • 수집 파이프라인: 준비된 데이터를 델타 테이블로 수집합니다. 이 구성 요소는 서버리스 DLT 파이프라인으로 모델링됩니다.

SaaS 커넥터 구성 요소 다이어그램

데이터베이스 커넥터 구성 요소

데이터베이스 커넥터는 다음 구성 요소에 의해 모델링됩니다.

  • 연결: 데이터베이스에 대한 인증 세부 정보를 저장하는 Unity 카탈로그 보안 개체입니다.
  • 게이트웨이: 원본 데이터베이스에서 데이터를 추출하고 전송하는 동안 트랜잭션의 무결성을 유지 관리합니다. 클라우드 기반 데이터베이스의 경우 게이트웨이는 클래식 컴퓨팅을 사용하는 DLT 파이프라인으로 구성됩니다.
  • 스테이징 스토리지: 델타 테이블에 적용하기 전에 게이트웨이의 데이터가 준비되는 Unity 카탈로그 볼륨입니다. 스테이징 스토리지 계정은 게이트웨이를 배포할 때 만들어지고 지정한 카탈로그 및 스키마 내에 있습니다.
  • 수집 파이프라인: 준비된 데이터를 델타 테이블로 수집합니다. 이 구성 요소는 서버리스 DLT 파이프라인으로 모델링됩니다.

데이터베이스 커넥터 구성 요소 다이어그램

LakeFlow Connect vs. Lakehouse Federation vs. Delta Sharing

Lakehouse 페더레이션을 사용하면 데이터를 이동하지 않고도 외부 데이터 원본을 쿼리할 수 있습니다. 델타 공유를 사용하면 플랫폼, 클라우드 및 지역에서 라이브 데이터를 안전하게 공유할 수 있습니다. Databricks는 높은 데이터 볼륨, 짧은 대기 시간 쿼리 및 타사 API 제한을 수용하도록 크기가 조정되므로 LakeFlow Connect를 사용하여 수집을 권장합니다. 그러나 데이터를 이동하지 않고 쿼리할 수 있습니다.

LakeFlow Connect, Lakehouse Federation 및 Delta Sharing 중에서 선택할 수 있는 경우 다음 시나리오에 대해 델타 공유를 선택합니다.

  • 데이터 중복을 제한합니다.
  • 가능한 가장 최신 데이터를 쿼리합니다.

다음 시나리오에 대해 Lakehouse 페더레이션을 선택합니다.

  • ETL 파이프라인에서 임시 보고 또는 개념 증명 작업이 수행됩니다.

LakeFlow Connect 및 자동 로더

LakeFlow Connect는 엔터프라이즈 애플리케이션 및 데이터베이스에서 데이터를 증분 방식으로 수집할 수 있는 기본 제공 커넥터를 제공합니다. 자동 로더는 S3, ADLS 및 GCS에 도착할 때 파일을 증분 방식으로 수집할 수 있는 클라우드 개체 스토리지용 커넥터입니다. 구조적 스트리밍 및 델타 라이브 테이블과 호환되지만 LakeFlow Connect와 통합되지는 않습니다.

LakeFlow Connect가 타사 앱 및 데이터베이스에 다시 쓸 수 있나요?

아니요. 이 기능에 관심이 있는 경우 계정 팀에 문의하세요.

LakeFlow Connect의 비용은 어떻게 됩니까?

현재 고객은 원본(Salesforce와 같은 엔터프라이즈 애플리케이션에 연결하는 경우) 또는 스테이징 볼륨(SQL Server와 같은 데이터베이스에 연결하는 경우)에서 데이터를 로드하는 데 필요한 서버리스 Delta Live Tables 사용량에 대해서만 요금이 청구됩니다. Lakeflow Connect의 최종 가격 책정 모델에는 추가 요금이 포함될 수 있으며 향후 발표될 예정입니다.

서버리스 델타 라이브 테이블 가격은 가격 책정 페이지에 표시됩니다.