Wat is Azure Databricks Clean Rooms?
In dit artikel maakt u kennis met Clean Rooms, een Azure Databricks-functie die gebruikmaakt van Delta Sharing en serverloze berekeningen om een veilige en privacybeveiligde omgeving te bieden waarin meerdere partijen kunnen samenwerken aan gevoelige bedrijfsgegevens zonder directe toegang tot elkaars gegevens.
Vereisten
Als u in aanmerking wilt komen voor het gebruik van schone kamers, moet u het volgende hebben:
- Een account dat is ingeschakeld voor serverloze berekeningen. Zie Serverloze berekening inschakelen.
- Een werkruimte die is ingeschakeld voor Unity Catalog. Zie Een werkruimte inschakelen voor Unity Catalog.
- Delta Sharing ingeschakeld voor uw Unity Catalog-metastore. Zie Delta Sharing inschakelen op een metastore.
Hoe werkt Clean Rooms?
Wanneer u een schone ruimte maakt, maakt u het volgende:
- Een beveiligbaar clean room-object in uw Unity Catalog-metastore.
- De 'centrale' schone ruimte, een geïsoleerde kortstondige omgeving die wordt beheerd door Databricks.
- Een beveiligbaar clean room-object in de Unity Catalog-metastore van uw samenwerker.
Tabellen, volumes (niet-tabellaire gegevens), weergaven en notitieblokken die medewerkers in de clean room delen, worden alleen met de centrale clean room gedeeld, met behulp van Delta Sharing.
Samenwerkers kunnen de gegevens niet zien in de tabellen, weergaven of volumes van andere medewerkers, maar ze kunnen kolomnamen en kolomtypen zien en ze kunnen goedgekeurde notebookcode uitvoeren die via de gegevensassets werkt. De notebookcode wordt uitgevoerd in de centrale clean room. Notebooks kunnen ook uitvoertabellen genereren waarmee uw samenwerker tijdelijk alleen-lezenuitvoer kan opslaan in hun Unity Catalog-metastore, zodat ze ermee kunnen werken in hun werkruimten.
Hoe zorgt Clean Rooms voor een omgeving zonder vertrouwen?
Het Databricks Clean Rooms-model is 'geen vertrouwen'. Alle medewerkers in een no-trust clean room hebben gelijke bevoegdheden, waaronder de maker van de schone kamer. Clean Rooms is ontworpen om te voorkomen dat niet-geautoriseerde code en het niet-geautoriseerd delen van gegevens worden voorkomen. Alle medewerkers moeten bijvoorbeeld een notitieblok goedkeuren voordat het kan worden uitgevoerd. Deze vertrouwensrelatie wordt impliciet afgedwongen door te voorkomen dat een samenwerker een notitieblok uitvoert dat ze zelf hebben gemaakt: u kunt alleen een notitieblok uitvoeren dat is gemaakt door de andere samenwerker.
Aanvullende beveiliging of beperkingen
Naast het hierboven genoemde impliciete goedkeuringsproces voor notebooks zijn de volgende beveiligingsmaatregelen aanwezig:
Nadat een schone ruimte is gemaakt, wordt deze vergrendeld om te voorkomen dat nieuwe medewerkers lid worden van de schone ruimte.
Als een medewerker de schone kamer verwijdert, is de centrale schone ruimte leeg en kunnen geen clean room-taken door elke gebruiker worden uitgevoerd.
Tijdens de openbare preview is elke schone kamer beperkt tot twee medewerkers.
U kunt de naam van de schone kamer niet wijzigen.
De naam van de clean room moet uniek zijn in de metastore van elke samenwerker, zodat alle medewerkers ondubbelzinnig naar dezelfde schone ruimte kunnen verwijzen.
Opmerkingen over de schone ruimte die kunnen worden beveiligd in de werkruimte van elke samenwerker, worden niet doorgegeven aan andere medewerkers.
Wat wordt er gedeeld met andere medewerkers?
- Schone kamernaam.
- Cloud en regio van de centrale schone kamer.
- De naam van uw organisatie (dit kan elke gewenste naam zijn).
- De id voor het delen van een schone ruimte (globale metastore-id + werkruimte-id + e-mailadres van de gebruiker).
- Aliassen van gedeelde tabellen, weergaven of volumes.
- Kolommetagegevens (kolomnaam of alias en type).
- Notitieblokken (alleen-lezen).
- Uitvoertabellen (alleen-lezen, tijdelijk).
- Systeemtabel clean room events.
- Uitvoeringsgeschiedenis, waaronder:
- De naam van het notebook dat wordt uitgevoerd
- Samenwerker die het notebook heeft uitgevoerd (geen gebruiker).
- De status van het notebook wordt uitgevoerd.
- De begintijd van de notebookuitvoering.
Wat wordt gedeeld met de centrale schone kamer?
Alles wat in de vorige sectie wordt vermeld.
Alleen-lezen tabellen, volumes, weergaven en notebooks.
Tabellen, weergaven en volumes worden geregistreerd in de metastore van de centrale clean room met eventuele opgegeven aliassen. Gegevensbronnen worden gedurende de hele levenscyclus van de cleanroom gedeeld.
Veelgestelde vragen over Clean Rooms
Hieronder vindt u veelgestelde vragen over schone kamers.
Hoe worden mijn gegevens beheerd in een schone ruimte?
De centrale clean room wordt beheerd door Azure Databricks. In de centrale schone kamer:
- Geen van beide partijen heeft beheerdersbevoegdheden.
- Alleen metagegevens zijn zichtbaar voor alle partijen.
- Elke partij kan gegevens toevoegen aan de centrale clean room.
- Clean rooms gebruiken Delta Sharing om gegevens veilig te delen in de schone ruimte, maar niet tussen deelnemers. Zie Wat is Delta Sharing?.
Hoe worden mijn gegevens privé gehouden?
Centrale schone ruimtes worden uitgevoerd in een geïsoleerde, door Databricks beheerde serverloze rekenlaag die wordt gehost in een regio van een cloudprovider die door de maker van de schone ruimte wordt gekozen.
Schone kamers bieden:
- Goedkeuring van code: De maker van de schone ruimte en medewerkers kunnen tabellen en volumes delen met de centrale clean room, maar kunnen alleen notitieblokken uitvoeren die door de andere partij zijn geüpload. U kunt de code bekijken die door de andere partij is toegevoegd voordat u deze goedkeurt. Als u een notebook uitvoert dat door een andere partij is toegevoegd, keurt u de code impliciet goed.
- nl-NL: Versiebeheer: Clean rooms-notebooks beschikken over versiecontrole om ervoor te zorgen dat alle partijen alleen volledig goedgekeurde notebooks kunnen uitvoeren. Alleen de meest recente versie van een notebook kan worden uitgevoerd. U kunt de systeemtabel voor clean rooms gebruiken om te bekijken welke versie van het notebook is uitgevoerd en om wijzigingen bij te houden.
- Beperkte toegang: Wanneer u een cleanroom maakt, kunt u serverloze egresscontrole gebruiken om uitgaande netwerkverbindingen te beheren. Als u de toegang tot uw schone ruimte beperkt, wordt de toegang tot niet-geautoriseerde opslag geblokkeerd. Zie Wat is serverloze egresscontrole?.
Zie Serverloze rekenvlak netwerkenvoor meer informatie over beveiliging en het serverloze rekenvlak.
Hoe worden acties vastgelegd?
Clean room acties die door jou of je medewerkers zijn uitgevoerd, worden geregistreerd in de cleanroom-gebeurtenissensysteem tabel. Deze records bevatten gedetailleerde metagegevens over de specifieke actie die is ondernomen. Zie tabelreferentie voor clean room events-systeem.
Clean room acties worden ook geregistreerd in het auditlog van uw account onder de service clean-room. Zie Verwijzing naar systeemtabel auditlogboeken.
Beperkingen
Tijdens de openbare preview gelden de volgende beperkingen:
- Er zijn geen Scala-bibliotheken met servicereferenties opgenomen in de vereiste Databricks Runtime-versie.
Resourcequota
Azure Databricks dwingt resourcequota af voor alle clean room beveiligbare objecten. Deze quota worden vermeld in resourcelimieten. Als u verwacht deze resourcelimieten te overschrijden, neemt u contact op met uw Azure Databricks-accountteam.
U kunt uw quotumgebruik bewaken met behulp van de quota-API's voor Unity Catalog-resources. Zie Monitor your usage of Unity Catalog resource quotas.