Beheerd versus extern volumes

In dit artikel worden de verschillen besproken tussen beheerde volumes en externe volumes en de redenen waarom u ervoor kunt kiezen om externe volumeste gebruiken. Databricks raadt beheerde volumes aan als de eenvoudigste oplossing voor het opslaan en beheren van toegang tot niet-tabellaire gegevens.

Zie Verbinding maken met cloudobjectopslag en -services met behulp van Unity Catalogvoor meer informatie over het gebruik van Unity Catalog voor het configureren van toegang tot opslag van cloudobjecten.

Gedragsverschillen tussen beheerde en externe volumes

Beheerde en externe volumes bieden bijna identieke ervaringen bij het gebruik van Azure Databricks-hulpprogramma's, UIs en API's. Hier volgen de verschillen tussen deze volumetypen.

Beheerde volumes bieden een volledig beheerde opslagervaring. Dit betekent het volgende:

• Alle interacties met bestanden in beheerde volumes moeten door Unity Cataloggaan.
• Mapnaamgeving en gegevensindeling worden beheerd door Unity Catalog. Mapnamen bevatten hashes om conflicten in onderliggende opslagaccounts voor cloudobjecten te voorkomen.
• Wanneer u een beheerd volume neerzet, verwijdert Azure Databricks de onderliggende gegevens binnen 30 dagen.

Externe volumes brengt gegevensbeheer naar cloudobjectopslag. Dit betekent het volgende:

• U kunt cloud-URI's gebruiken in Azure Databricks of externe systemen om te communiceren met bestanden in externe volumes.
• Alle mappen die zijn gemaakt binnen een extern volume of bestanden die zijn geüpload, zijn relatief ten opzichte van de opgegeven bij het LOCATION maken.
• Wanneer u een extern volume verwijdert, remove u het volume uit Unity Catalog, maar de onderliggende gegevens blijven ongewijzigd op de externe locatie.

Waarom externe volumesgebruiken?

Met externe volumes kunt u Unity Catalog gegevensbeheer toevoegen aan bestaande cloudobjectopslagmappen. Enkele gebruiksvoorbeelden voor externe volumes zijn onder andere:

• Governance toevoegen aan gegevensbestanden zonder migratie.
• Bestanden beheren die worden geproduceerd door andere systemen die moeten worden opgenomen of geopend door Azure Databricks.
• Gegevens beheren die worden geproduceerd door Azure Databricks die rechtstreeks vanuit de opslag van cloudobjecten door andere systemen moeten worden geopend.

Databricks raadt aan externe volumes te gebruiken om niet-tabellaire gegevensbestanden op te slaan die naast Azure Databricks worden gelezen of geschreven door externe systemen. Unity Catalog beheert geen lees- en schrijfbewerkingen die rechtstreeks worden uitgevoerd op basis van cloudobjectopslag van externe systemen. U moet dus aanvullende beleidsregels en credentials configureren in uw cloudaccount om ervoor te zorgen dat het beleid voor gegevensbeheer buiten Azure Databricks wordt gerespecteerd.