Azure Databricks und Sicherheit
Azure Databricks ist eine Datenanalyseplattform, die für Azure-Clouddienste optimiert ist. Die Plattform bietet drei Umgebungen für die Entwicklung datenintensiver Anwendungen:
Weitere Informationen zur Optimierung der Sicherheit von Big Data-Analysen durch Azure Databricks finden Sie unter Azure Databricks concepts (Konzepte von Azure Databricks).
Die folgenden Abschnitte enthalten Entwurfsüberlegungen, eine Konfigurationsprüfliste und empfohlene Konfigurationsoptionen speziell für Azure Databricks.
Überlegungen zum Entwurf
Alle Notebooks und Notebookergebnisse aller Benutzer werden standardmäßig im Ruhespeicher verschlüsselt. Ziehen Sie bei anderen Anforderungen die Verwendung von kundenseitig verwalteten Schlüsseln für Notebooks in Betracht.
Checkliste
Haben Sie bei der Konfiguration von Azure Databricks an Sicherheit gedacht?
- Verwenden Sie die Passthrough für Anmeldeinformationen der Microsoft Entra-ID, um die Notwendigkeit von Dienstprinzipalen bei der Kommunikation mit Azure Data Lake Storage zu vermeiden.
- Isolieren Sie Ihre Arbeitsbereiche, Compute-Ressourcen und Daten vom öffentlichen Zugriff. Stellen Sie sicher, dass nur berechtigte Personen über sichere Kanäle Zugriff haben.
- Stellen Sie sicher, dass die Cloudarbeitsbereiche für Ihre Analysen nur ordnungsgemäß verwalteten Benutzern zugänglich sind.
- Implementieren Sie Azure Private Link.
- Beschränken und überwachen Sie Ihre virtuellen Computer.
- Verwenden Sie dynamische IP-Zugriffslisten, um Administratoren Zugriff auf Arbeitsbereiche nur über ihre Unternehmensnetzwerke zu ermöglichen.
- Sorgen Sie mit VNet-Injektion für sicherere Szenarien.
- Überwachen Sie Berechtigungen und den Zugriff auf Arbeitsbereiche mit Diagnoseprotokollen.
- Erwägen Sie die Verwendung des Feature Sichere Clusterkonnektivität und der Hub/Spoke-Architektur, um das Öffnen von Ports zu verhindern, sowie die Zuweisung öffentlicher IP-Adressen auf Clusterknoten.
Konfigurationsempfehlungen
Folgende Liste mit Empfehlungen hilft Ihnen, Ihre Azure Databricks-Konfiguration in puncto Sicherheit zu optimieren:
| Empfehlung | Beschreibung |
|---|---|
| Stellen Sie sicher, dass die Cloudarbeitsbereiche für Ihre Analysen nur ordnungsgemäß verwalteten Benutzern zugänglich sind. | Die Microsoft Entra-ID kann einmaliges Anmelden für den Remotezugriff verarbeiten. Informationen zu mehr Sicherheit finden Sie unter Bedingter Zugriff. |
| Implementieren Sie Azure Private Link. | Stellen Sie sicher, dass der gesamte Datenverkehr zwischen den Benutzern Ihrer Plattform, den Notebooks und den abfrageverarbeitenden Computeclustern verschlüsselt ist und über das Netzwerkbackbone des Cloudanbieters übertragen wird – und somit der Öffentlichkeit unzugänglich ist. |
| Beschränken und überwachen Sie Ihre virtuellen Computer. | Auf abfrageausführenden Clustern sollte eingeschränkter SSH- und Netzwerkzugriff die Installation beliebiger Pakete verhindern. Die von Clustern verwendeten Images müssen regelmäßig auf Sicherheitsrisiken überprüft werden. |
| Sorgen Sie mit VNet-Injektion für sicherere Szenarien. | Beispiel: – Herstellen einer Verbindung mit anderen Azure-Diensten über Dienstendpunkte – Herstellen einer Verbindung mit lokalen Datenquellen über benutzerdefinierte Routen – Herstellen einer Verbindung mit einem virtuellen Netzwerkgerät zur Untersuchung des ausgehenden Datenverkehrs; Ergreifen von Maßnahmen entsprechend der Zulassungs- und Zurückweisungsregeln – Verwenden eines benutzerdefinierten DNS – Bereitstellen von Azure Databricks-Clustern in bestehenden virtuellen Netzwerken |
| Überwachen Sie Berechtigungen und den Zugriff auf Arbeitsbereiche mit Diagnoseprotokollen. | Verwenden Sie Überwachungsprotokolle, um privilegierte Aktivitäten in Arbeitsbereichen, veränderte Clustergrößen sowie die im Cluster freigegebenen Dateien und Ordner zu überwachen. |
Quellartefakte
In den Azure Databricks-Quellartefakten empfehlen wir Ihnen u. a. den Databricks-Blog Best practices to secure an enterprise-scale data platform (Bewährte Methoden zum Schützen einer Datenplattform auf Unternehmensebene).