Delen via

Lakeflow Connect

  • Artikel

Belangrijk

Beheerde SaaS- en databaseconnectors die door Lakeflow Connect worden geleverd, bevinden zich in verschillende releasestatussen.

Dit artikel bevat een overzicht van Databricks Lakeflow Connect, dat volledig beheerde connectors biedt voor het opnemen van gegevens uit SaaS-toepassingen zoals Salesforce en databases zoals SQL Server in een Azure Databricks Lakehouse. De resulterende opnamepijplijn wordt beheerd door Unity Catalog en wordt mogelijk gemaakt door serverloze berekeningen en DLT. Lakeflow Connect maakt gebruik van efficiënte incrementele lees- en schrijfbewerkingen om gegevensopname sneller, schaalbaar en rendabeler te maken, terwijl uw gegevens vers blijven voor downstreamverbruik.

Onderdelen van SaaS-connector

Een SaaS-connector wordt gemodelleerd door de volgende onderdelen:

  • Connection: een beveiligbaar Unity Catalog-object waarin verificatiegegevens voor de database worden opgeslagen.
  • pijplijn voor opname: neemt de gefaseerde gegevens op in Delta-tabellen. Dit onderdeel is gemodelleerd als een serverloze DLT-pijplijn.

Diagram met onderdelen van SaaS-connector

Onderdelen van databaseconnector

Een databaseconnector wordt gemodelleerd door de volgende onderdelen:

  • Connection: een beveiligbaar Unity Catalog-object waarin verificatiegegevens voor de database worden opgeslagen.
  • Gateway: extraheert gegevens uit de brondatabase en behoudt de integriteit van transacties tijdens de overdracht. Voor clouddatabases wordt de gateway geconfigureerd als een DLT-pijplijn met klassieke rekenkracht.
  • faseringsopslag: een Unity Catalog-volume waarin gegevens van de gateway worden gefaseerd voordat ze worden toegepast op een Delta-tabel. Het faseringsopslagaccount wordt gemaakt wanneer u de gateway implementeert en bestaat in de catalogus en het schema dat u opgeeft.
  • pijplijn voor opname: neemt de gefaseerde gegevens op in Delta-tabellen. Dit onderdeel is gemodelleerd als een serverloze DLT-pijplijn.

Diagram met onderdelen van databaseconnector

Lakeflow Connect versus Lakehouse Federation versus Delta Sharing

Met Lakehouse Federation kunt u externe gegevensbronnen opvragen zonder uw gegevens te verplaatsen. Met Delta Sharing kunt u livegegevens veilig delen tussen platforms, clouds en regio's. Databricks raadt aan om gegevensopname te gebruiken met Lakeflow Connect, omdat deze wordt geschaald voor grote gegevensvolumes, query's met lage latentie en API-limieten van derden. Mogelijk wilt u echter query's uitvoeren op uw gegevens zonder deze te verplaatsen.

Als u een keuze hebt tussen Lakeflow Connect, Lakehouse Federation en Delta Sharing, kiest u Delta Sharing- voor de volgende scenario's:

  • Het beperken van gegevensduplicatie.
  • Query's uitvoeren op de meest recente gegevens.

Kies Lakehouse Federation voor de volgende scenario's:

  • Ad-hocrapportage of proof-of-concept-werk aan uw ETL-pijplijnen.

Lakeflow Connect versus automatisch laden

Lakeflow Connect biedt ingebouwde connectors waarmee u incrementeel gegevens uit bedrijfstoepassingen en -databases kunt opnemen. Auto Loader is een connector voor cloudobjectopslag waarmee u bestanden incrementeel kunt opnemen wanneer ze binnenkomen in S3, ADLS en GCS. Het is compatibel met Structured Streaming en DLT, maar kan niet worden geïntegreerd met Lakeflow Connect.

Kan Lakeflow Connect terugschrijven naar apps en databases van derden?

Nee Als u geïnteresseerd bent in deze functionaliteit, neemt u contact op met uw accountteam.

Wat zijn de kosten voor Lakeflow Connect?

Momenteel worden klanten alleen gefactureerd voor het serverloze DLT-gebruik dat nodig is om gegevens uit de bron te laden (als er verbinding wordt gemaakt met een bedrijfstoepassing, zoals Salesforce) of vanaf het faseringsvolume (als er verbinding wordt gemaakt met een database, zoals SQL Server). Het uiteindelijke prijsmodel voor Lakeflow Connect kan extra kosten bevatten en wordt in de toekomst aangekondigd.

Serverloze DLT-prijzen zijn zichtbaar op onze pagina met prijzen.