Delen via

Referentieverkoop voor Unity Catalog voor toegang tot externe systemen

  • Artikel

Belangrijk

Deze functie bevindt zich in openbare preview-versie.

Fooi

Zie Microsoft Fabric gebruiken om gegevens te lezen die zijn geregistreerd in Unity Catalogvoor meer informatie over het lezen van Azure Databricks-gegevens met behulp van Microsoft Fabric.

In dit artikel wordt beschreven hoe de functionaliteit voor referentieverkoop van Unity Catalog toegang biedt tot gegevens in Azure Databricks vanuit externe verwerkingsengines.

Referentieverstrekking ondersteunt externe systemen die verbinding maken met Unity Catalog met behulp van de Unity REST API en de Iceberg REST-catalogus. Zie Databricks-tabellen lezen van Delta-clients en Access Databricks-gegevens met behulp van externe systemen.

Wat is referentieverkoop voor Unity Catalog?

referentieverkoop verleent kortstondige referenties met behulp van de Unity Catalog REST API. De verleende referenties erven de bevoegdheden van de Azure Databricks-principal die wordt gebruikt om de integratie te configureren. Deze referenties verlenen externe clients toegang tot gegevens die zijn geregistreerd in uw Unity Catalog-metastore.

Notitie

Referentieverkoop voor Unity Catalog biedt ondersteuning voor alleen-lezentoegang tot Unity Catalog-gegevens. Sommige clients ondersteunen toegang tot tabellen die worden ondersteund door Delta Lake, terwijl andere vereisen dat u Iceberg-leesbewerkingen (UniForm) inschakelt voor tabellen. Zie Delta-tabellen lezen met Iceberg-clients.

Om een tijdelijke referentie te krijgen, moet de Azure Databricks-principal (gebruiker, groep of service-principal) die de aanvraag doet het EXTERNAL USE SCHEMA privilege hebben voor het schema dat de tabel bevat waar ze vanuit de externe engine toegang toe moeten hebben. De Unity Catalog-metastore die het schema bevat, moet ook expliciet worden ingeschakeld voor externe toegang. Zie Externe gegevenstoegang tot Unity Catalog inschakelen.

Referenties omvatten een tokentekenreeks met korte levensduur en URL voor cloudopslaglocatie die de externe engine kan gebruiken voor toegang tot tabelgegevens en metagegevens van de cloudopslaglocatie.

Eisen

  • U moet externe toegang configureren in de metastore en EXTERNAL USE SCHEMA verlenen aan de principal die de verbinding configureert. Zie Externe gegevenstoegang tot Unity Catalog inschakelen.
  • Voor toegang tot de Azure Databricks-werkruimte met behulp van Unity Catalog Open API's of Iceberg REST API's moet de WERKRUIMTE-URL toegankelijk zijn voor de engine die de aanvraag uitvoert. Dit omvat werkruimten die gebruikmaken van IP-toegangslijsten of Azure Private Link-.
  • Voor toegang tot de onderliggende cloudopslaglocatie voor geregistreerde Unity Catalog-gegevensobjecten, moeten de opslag-URL's die zijn gegenereerd door de tijdelijke referentie-API van Unity Catalog, toegankelijk zijn voor de engine die de aanvraag uitvoert. Dit betekent dat de engine moet worden toegestaan op de lijsten voor firewall- en netwerktoegangsbeheer voor de onderliggende cloudopslagaccounts.

Een tijdelijke referentie aanvragen voor toegang tot externe gegevens

Ondersteuning voor referentieverkoop verschilt per externe client. Indien ondersteund, moet de client automatisch gebruikmaken van versleutelde referenties wanneer een verbinding is geconfigureerd.

In deze sectie vindt u een voorbeeld van het expliciet aanroepen van het eindpunt van de referentieverkoop-API. Voor sommige externe clients moet u mogelijk expliciet configuraties instellen voor toegang tot gegevens en metagegevens in de opslag van cloudobjecten die back-ups maken van uw Unity Catalog-tabellen. U kunt waarden gebruiken die worden geretourneerd door het verstrekken van referenties om toegang te configureren.

Notitie

U kunt een lijst met tabellen ophalen die referentieverkoop ondersteunen door de ListTables-API aan te roepen met de optie include_manifest_capabilities ingeschakeld. Alleen tabellen die zijn gemarkeerd HAS_DIRECT_EXTERNAL_ENGINE_READ_SUPPORT of HAS_DIRECT_EXTERNAL_ENGINE_WRITE_SUPPORT komen in aanmerking voor verwijzing in de API voor tijdelijke tabelreferenties. Zie GET /api/2.1/unity-catalog/tables.

In het volgende curl voorbeeld wordt expliciet een tijdelijke referentie voor externe gegevenstoegang aangevraagd. Deze aanvraag moet worden voltooid door een werkruimte-principal met voldoende bevoegdheden.

curl -X POST -H "Authentication: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-table-credentials \
-d '{"table_id": "<string>", "operation_name": "<READ|READ_WRITE>"}'

Zie POST /api/2.1/unity-catalog/temporary-table-credentials in de naslaginformatie over de REST API van Azure Databricks voor meer informatie.

Beperkingen

De volgende beperkingen bestaan:

  • Niet alle externe clients ondersteunen de verstrekking van inloggegevens, en de ondersteuning kan variëren, afhankelijk van de onderliggende cloud-objectopslag.
  • Alleen door Unity Catalog beheerde tabellen en externe Unity Catalog-tabellen die worden ondersteund door Delta Lake, worden ondersteund.
  • De volgende tabeltypen of tabellen waarvoor functies zijn ingeschakeld, worden niet ondersteund:
    • Tabellen met rijfilters of kolommaskers.
    • Tabellen die worden gedeeld met Delta Sharing.
    • Federatieve tabellen van Lakehouse (externe tabellen).
    • Weergaven.
    • Gematerialiseerde views.
    • Delta Live Tables-streamingtabellen.
    • Onlinetabellen.
    • Vector Search-indexen.