Co to jest usługa Azure Databricks Clean Rooms?
W tym artykule przedstawiono funkcję Clean Rooms, czyli funkcję usługi Azure Databricks, która korzysta z funkcji delta sharing i przetwarzania bezserwerowego w celu zapewnienia bezpiecznego i ochrony prywatności środowiska, w którym wiele stron może współpracować w zakresie poufnych danych przedsiębiorstwa bez bezpośredniego dostępu do danych.
Wymagania
Aby kwalifikować się do korzystania z czystych pomieszczeń, musisz mieć:
- Konto, które jest włączone na potrzeby obliczeń bezserwerowych. Zobacz Włączanie przetwarzania bezserwerowego.
- Obszar roboczy obsługujący Unity Catalog. Zobacz Włączenie obszaru roboczego dla Unity Catalog.
- Funkcja Delta Sharing została włączona dla metastore Unity Catalog. Zobacz Włącz Delta Sharing w magazynie metadanych.
Jak działają czyste pokoje?
Podczas tworzenia czystego pokoju utworzysz następujące elementy:
- Obiekt zabezpieczanej strefy czystej w metamagazynie katalogu Unity.
- "Centralne" czyste pomieszczenie, które jest izolowanym środowiskiem efemerycznym zarządzanym przez usługę Databricks.
- Zabezpieczalny obiekt czystej przestrzeni w Katalogu Unity współpracownika w jego magazynie metadanych.
Tabele, dane woluminowe (inne niż tabelaryczne), widoki i notesy, które współpracownicy udostępniają w ramach pomieszczenia czystego, są udostępniane tylko centralnemu pomieszczeniu czystemu za pomocą Delta Sharing.
Współpracownicy nie widzą danych w tabelach, widokach lub woluminach innych współpracowników, ale mogą wyświetlać nazwy kolumn i typy kolumn i mogą uruchamiać zatwierdzony kod notesu, który działa na zasobach danych. Kod notesu jest uruchamiany w centralnym pomieszczeniu w czystym pomieszczeniu. Notatniki mogą również generować tabele danych wyjściowych , które umożliwiają współpracownikowi tymczasowe zapisywanie danych wyjściowych tylko do odczytu w magazynie katalogu Unity Catalog, aby mógł z nimi pracować w swoich obszarach roboczych.
W jaki sposób clean rooms zapewnia środowisko bez zaufania?
Model Clean Rooms usługi Databricks to "no-trust". Wszyscy współpracownicy w pomieszczeniu bez zaufania mają równe uprawnienia, w tym twórcę czystego pokoju. Funkcja Clean Rooms została zaprojektowana w celu zapobiegania uruchamianiu nieautoryzowanego kodu i nieautoryzowanego udostępniania danych. Na przykład wszyscy współpracownicy muszą zatwierdzić notes, zanim będzie można go uruchomić. To zaufanie jest wymuszane niejawnie, uniemożliwiając współpracownikowi uruchamianie dowolnego notesu utworzonego przez siebie: możesz uruchomić tylko notes utworzony przez innego współpracownika.
Dodatkowe zabezpieczenia lub ograniczenia
Oprócz procesu niejawnego zatwierdzania notesu wymienionego powyżej obowiązują następujące zabezpieczenia:
Po utworzeniu czystego pokoju jest on zablokowany, aby uniemożliwić nowym współpracownikom dołączenie do czystego pokoju.
Jeśli jakikolwiek współpracownik usunie czyste pomieszczenie, centralna czysta sala jest pusta i nie może być uruchamiana żadna czysta sala zadań przez dowolnego użytkownika.
W publicznej wersji zapoznawczej każdy pokój czysty jest ograniczony do dwóch współpracowników.
Nie można zmienić nazwy czystego pokoju.
Nazwa czystego pokoju musi być unikatowa w magazynie metadanych każdego współpracownika, aby wszyscy współpracownicy mogli jednoznacznie odwoływać się do tego samego czystego pokoju.
Komentarze dotyczące zabezpieczanego pokoju w obszarze roboczym każdego współpracownika nie są propagowane do innych współpracowników.
Co jest udostępniane innym współpracownikom?
- Czysta nazwa pokoju.
- Chmura i region centralnego czystego pokoju.
- Nazwa organizacji (która może być dowolną wybraną nazwą).
- Identyfikator udostępniania pomieszczeń czystych (globalny identyfikator magazynu metadanych + identyfikator obszaru roboczego i adres e-mail użytkownika).
- Aliasy udostępnionych tabel, widoków lub woluminów.
- Metadane kolumn (nazwa kolumny lub alias i typ).
- Notesy (tylko do odczytu).
- tabele wyjściowe (tylko do odczytu, tymczasowe).
- Tabela systemowa zdarzeń w pomieszczeniu czystym.
- Historia uruchamiania, w tym:
- Nazwa uruchamianego notesu
- Współpracownik, który uruchomił notes (a nie użytkownik).
- Stan uruchomienia notesu.
- Godzina rozpoczęcia przebiegu notesu.
Co jest udostępniane centralnej czystej sali?
Wszystkie elementy wymienione w poprzedniej sekcji.
Tabele, woluminy, widoki i notesy tylko do odczytu.
Tabele, widoki i woluminy są rejestrowane w repozytorium metadanych głównego pomieszczenia czystego z podanymi aliasami. Zasoby danych są współużytkowane w całym cyklu życia czystego pomieszczenia.
Czyszczenie pomieszczeń — często zadawane pytania
Poniżej przedstawiono często zadawane pytania dotyczące czystych pomieszczeń.
W jaki sposób moje dane są zarządzane w czystym pomieszczeniu?
Centralna czysta sala jest zarządzana przez usługę Azure Databricks. W centralnym czystym pomieszczeniu
- Żadna ze stron nie ma uprawnień administratora.
- Tylko metadane są widoczne dla wszystkich stron.
- Każda strona może dodać dane do centralnego czystego pokoju.
- Czyste pokoje korzystają z funkcji Delta Sharing, aby bezpiecznie udostępniać dane czystemu pomieszczeniu, ale nie między uczestnikami. Zobacz Co to jest Delta Sharing?.
W jaki sposób moje dane są przechowywane prywatnie?
Centralne pomieszczenia czyste działają w izolowanej, bezserwerowej płaszczyźnie obliczeniowej zarządzanej przez usługę Databricks hostowanej w regionie dostawcy usług w chmurze wybranym przez twórcę pomieszczenia.
Czyste pokoje zapewniają:
- Zatwierdzanie kodu: Twórca i współpracownicy w czystym pomieszczeniu mogą udostępniać tabele i woluminy z centralnym czystym pomieszczeniem, ale mogą uruchamiać tylko notatniki przekazane przez inną stronę. Przed zatwierdzeniem można przejrzeć kod dodany przez inną stronę. Jeśli uruchomisz notatnik dodany przez inną stronę, milcząco zatwierdzisz kod.
- Kontrola wersji: Notatniki cleanroom mają kontrolę wersji, aby upewnić się, że wszyscy użytkownicy mogą uruchamiać tylko w pełni zatwierdzone notatniki. Można uruchomić tylko najnowszą wersję notesu. Możesz użyć tabeli systemu czyszczenia pomieszczeń, aby zobaczyć, która wersja notesu została uruchomiona i monitorować wszelkie wprowadzone zmiany.
- Ograniczony dostęp: Podczas tworzenia "clean room" można użyć bezserwerowej kontroli ruchu wychodzącego do zarządzania połączeniami sieciowymi wychodzącymi. Jeśli ograniczysz dostęp z czystego pokoju, dostęp do nieautoryzowanego magazynu zostanie zablokowany. Zobacz Czym jest kontrola ruchu wychodzącego bezserwerowego?.
Aby dowiedzieć się więcej o zabezpieczeniach i bezserwerowej płaszczyźnie obliczeniowej, zobacz sieci bezserwerowej płaszczyzny obliczeniowej.
Jak są rejestrowane akcje?
Akcje czyszczenia pomieszczeń wykonywane przez Ciebie lub współpracowników są rejestrowane w tabeli systemu zdarzeń w pomieszczeniu czystym. Te rekordy obejmują szczegółowe metadane dotyczące konkretnej akcji podjętej. Zobacz tabelę referencyjną systemu zdarzeń dla pomieszczeń czystych .
Akcje czyszczenia pomieszczeń są również rejestrowane w dzienniku inspekcji konta w usłudze clean-room. Zobacz tabela odwołania systemu dzienników audytu.
Ograniczenia
W publicznej wersji zapoznawczej obowiązują następujące ograniczenia:
- Brak bibliotek scala poświadczeń usługi zawartych w wymaganej wersji środowiska Databricks Runtime.
Limity przydziałów zasobów
Usługa Azure Databricks wymusza limity przydziału zasobów dla wszystkich zabezpieczanych obiektów clean room. Te limity przydziału są wymienione w temacie Limity zasobów. Jeśli spodziewasz się przekroczyć te limity zasobów, skontaktuj się z zespołem konta usługi Azure Databricks.
Można monitorować zużycie limitu przydziałów za pomocą zasobów API Unity Catalog. Sprawdź Monitoruj użycie zasobów Unity Catalog.