Freigeben über

Herstellen einer Verbindung mit und Verwalten von Google BigQuery-Projekten in Microsoft Purview

  • Artikel

In diesem Artikel wird beschrieben, wie Sie Google BigQuery-Projekte registrieren, sich authentifizieren und mit Google BigQuery in Microsoft Purview interagieren. Weitere Informationen zu Microsoft Purview finden Sie im Einführungsartikel.

Unterstützte Funktionen

Metadatenextraktion Vollständiger Scan Inkrementelle Überprüfung Bereichsbezogene Überprüfung Klassifizierung Bezeichnen Zugriffsrichtlinie Herkunft Datenfreigabe Live-Ansicht
Ja Ja Nein Ja Nein Nein Nein Ja Nein Nein

Beim Scannen der Google BigQuery-Quelle unterstützt Microsoft Purview Folgendes:

  • Extrahieren von technischen Metadaten, einschließlich:

    • Projekte
    • Datasets
    • Tabellen einschließlich der Spalten
    • Ansichten einschließlich der Spalten

  • Abrufen der statischen Herkunft für Ressourcenbeziehungen zwischen Tabellen und Sichten.

Beim Einrichten der Überprüfung können Sie ein gesamtes Google BigQuery-Projekt überprüfen oder die Überprüfung auf eine Teilmenge von Datasets festlegen, die den angegebenen Namen oder Namensmustern entsprechen.

Bekannte Einschränkungen

  • Derzeit unterstützt Microsoft Purview nur das Scannen von Google BigQuery-Datasets an einem multiregionalen Standort in den USA. Wenn sich das angegebene Dataset an einem anderen Speicherort befindet, z. B. us-east1 oder EU, werden Sie feststellen, dass die Überprüfung abgeschlossen ist, aber keine Ressourcen in Microsoft Purview angezeigt werden.
  • Wenn das Objekt aus der Datenquelle gelöscht wird, wird das entsprechende Objekt in Microsoft Purview bei der nachfolgenden Überprüfung derzeit nicht automatisch entfernt.

Voraussetzungen

Erforderliche Berechtigungen für die Überprüfung

Das Google BigQuery-Dienstkonto, das Sie für die Überprüfung verwenden, muss sowohl die Rolle BigQuery Metadata Viewer als auch die IAM-Rolle "BigQuery-Auftragsbenutzer" für die Projekte aufweisen, die Sie überprüfen möchten. Diese Berechtigungen sind erforderlich, da Microsoft Purview die Metadaten extrahiert, indem die Systemtabellen der Google BigQuery-Datenbank gelesen werden (z. B. INFORMATION_SCHEMA). Und der zugrunde liegende Google BigQuery JDBC-Treiber erstellt einen BigQuery-Auftrag, wenn er aus diesen Systemtabellen lesen muss.

Microsoft Purview verwendet das Oauth 2.0-Protokoll für den Zugriff auf den Google BigQuery-Dienst. Richten Sie die Anmeldeinformationen ein, indem Sie den Anweisungen im Abschnitt Erstellen und Ausführen der Überprüfung folgen.

Registrieren

In diesem Abschnitt wird beschrieben, wie Sie ein Google BigQuery-Projekt in Microsoft Purview mithilfe des Microsoft Purview-Governanceportals registrieren.

Schritte zum Registrieren

  1. Öffnen Sie das Microsoft Purview-Governanceportal wie folgt:

  2. Wählen Sie im linken Navigationsbereich Data Map aus.

  3. Wählen Sie Registrieren aus.

  4. Wählen Sie unter Quellen registrieren die Option Google BigQuery aus. Wählen Sie Weiter aus.

    BigQuery-Quelle registrieren

Gehen Sie auf dem Bildschirm Quellen registrieren (Google BigQuery) wie folgt vor:

  1. Geben Sie einen Namen ein, mit dem die Datenquelle im Katalog aufgeführt wird.

  2. Geben Sie die ProjectID ein. Dies sollte eine vollqualifizierte Projekt-ID sein. Beispiel: mydomain.com:myProject

  3. Wählen Sie eine Sammlung aus der Liste aus.

  4. Wählen Sie Registrieren aus.

    Konfigurieren der BigQuery-Quelle

Überprüfung

Führen Sie die folgenden Schritte aus, um ein Google BigQuery-Projekt zu überprüfen, um Ressourcen automatisch zu identifizieren. Weitere Informationen zum Scannen im Allgemeinen finden Sie in unserer Einführung in Scans und Erfassung.

Erstellen und Ausführen der Überprüfung

  1. Wählen Sie im Management Center Integration Runtimes aus. Stellen Sie sicher, dass eine selbstgehostete Integration Runtime eingerichtet ist. Wenn sie nicht eingerichtet ist, führen Sie die unter Voraussetzungen beschriebenen Schritte aus.

  2. Navigieren Sie zu Quellen.

  3. Wählen Sie das registrierte BigQuery-Projekt aus.

  4. Wählen Sie + Neuer Scan aus.

  5. Geben Sie die folgenden Details an:

    1. Name: Der Name der Überprüfung

    2. Herstellen einer Verbindung über Integration Runtime: Wählen Sie die konfigurierte selbstgehostete Integration Runtime aus.

    3. Anmeldeinformationen: Stellen Sie beim Konfigurieren von BigQuery-Anmeldeinformationen folgendes sicher:

      • Wählen Sie Standardauthentifizierung als Authentifizierungsmethode aus.
      • Geben Sie die E-Mail-ID des Dienstkontos im Feld Benutzername an. Beispiel: xyz\@developer.gserviceaccount.com
      • Führen Sie die folgenden Schritte aus, um den privaten Schlüssel zu generieren, kopieren Sie die gesamte JSON-Schlüsseldatei, und speichern Sie sie dann als Wert eines Key Vault Geheimnisses.

      So erstellen Sie einen neuen privaten Schlüssel über die Cloudplattform von Google:

      1. Wählen Sie im Navigationsmenü IAM & Admin –> Dienstkonten –> Projekt auswählen aus.>
      2. Wählen Sie die E-Mail-Adresse des Dienstkontos aus, für das Sie einen Schlüssel erstellen möchten.
      3. Wählen Sie die Registerkarte Schlüssel aus.
      4. Wählen Sie das Dropdownmenü Schlüssel hinzufügen und dann Neuen Schlüssel erstellen aus.
      5. Wählen Sie JSON-Format aus.

      Hinweis

      Der Inhalt des privaten Schlüssels wird in einer temporären Datei auf dem virtuellen Computer gespeichert, wenn Überprüfungsprozesse ausgeführt werden. Diese temporäre Datei wird gelöscht, nachdem die Überprüfungen erfolgreich abgeschlossen wurden. Im Falle eines Überprüfungsfehlers versucht das System weiterhin, bis der Vorgang erfolgreich ist. Stellen Sie sicher, dass der Zugriff auf den virtuellen Computer, auf dem SHIR ausgeführt wird, entsprechend eingeschränkt ist.

      Weitere Informationen zu Anmeldeinformationen finden Sie unter diesem Link.

    4. Treiberspeicherort: Geben Sie den Pfad zum JDBC-Treiberspeicherort auf Ihrem Computer an, auf dem die Selbsthost-Integration Runtime ausgeführt wird. Beispiel: D:\Drivers\GoogleBigQuery.

      1. Für selbstgehostete Integration Runtime auf einem lokalen Computer: D:\Drivers\GoogleBigQuery. Dies ist der Pfad zum gültigen Speicherort des JAR-Ordners. Der Wert muss ein gültiger absoluter Dateipfad sein und enthält keinen Speicherplatz. Stellen Sie sicher, dass auf den Treiber über die selbstgehostete Integration Runtime zugegriffen werden kann;; Weitere Informationen finden Sie im Abschnitt "Voraussetzungen".
      2. Für von Kubernetes unterstützte selbstgehostete Integration Runtime: ./drivers/GoogleBigQuery. Dies ist der Pfad zum gültigen Speicherort des JAR-Ordners. Der Wert muss ein gültiger relativer Dateipfad sein. Informationen zum Einrichten einer Überprüfung mit externen Treibern zum Hochladen von Treibern finden Sie in der Dokumentation.

    5. Dataset: Geben Sie eine Liste der zu importierenden BigQuery-Datasets an. Beispiel: dataset1;dataset2. Wenn die Liste leer ist, werden alle verfügbaren Datasets importiert. Zulässige Datasetnamensmuster können statische Namen sein oder Denkplatzhalter %enthalten.

      Beispiel: A%;%B;%C%;D

      • Beginnen Sie mit A oder
      • enden sie mit B oder
      • enthalten C oder
      • gleich D

      Die Verwendung von NOT- und Sonderzeichen ist nicht zulässig.

    6. Maximal verfügbarer Arbeitsspeicher: Maximal verfügbarer Arbeitsspeicher (in GB) auf Ihrem virtuellen Computer, der von Überprüfungsprozessen verwendet werden kann. Dies hängt von der Größe des zu scannenden Google BigQuery-Projekts ab.

      BigQuery-Quelle überprüfen

  6. Wählen Sie Verbindung testen aus.

  7. Wählen Sie Weiter.

  8. Wählen Sie Ihren Scantrigger aus. Sie können einen Zeitplan einrichten oder die Überprüfung einmal ausführen.

  9. Überprüfen Sie Ihre Überprüfung, und wählen Sie Speichern und ausführen aus.

Anzeigen Ihrer Überprüfungen und Überprüfungsausführungen

So zeigen Sie vorhandene Überprüfungen an:

  1. Wechseln Sie zum Microsoft Purview-Portal. Wählen Sie im linken Bereich Data Map aus.
  2. Wählen Sie die Datenquelle aus. Sie können eine Liste der vorhandenen Überprüfungen für diese Datenquelle unter Zuletzt verwendete Überprüfungen anzeigen, oder Sie können alle Überprüfungen auf der Registerkarte Scans anzeigen.
  3. Wählen Sie die Überprüfung aus, die Ergebnisse enthält, die Sie anzeigen möchten. Im Bereich werden alle vorherigen Überprüfungsausführungen zusammen mit den status und Metriken für jede Überprüfungsausführung angezeigt.
  4. Wählen Sie die Ausführungs-ID aus, um die Details der Überprüfungsausführung zu überprüfen.

Verwalten ihrer Überprüfungen

So bearbeiten, abbrechen oder löschen Sie eine Überprüfung:

  1. Wechseln Sie zum Microsoft Purview-Portal. Wählen Sie im linken Bereich Data Map aus.

  2. Wählen Sie die Datenquelle aus. Sie können eine Liste der vorhandenen Überprüfungen für diese Datenquelle unter Zuletzt verwendete Überprüfungen anzeigen, oder Sie können alle Überprüfungen auf der Registerkarte Scans anzeigen.

  3. Wählen Sie die Überprüfung aus, die Sie verwalten möchten. Anschließend können Sie:

    • Bearbeiten Sie die Überprüfung, indem Sie Überprüfung bearbeiten auswählen.
    • Brechen Sie eine laufende Überprüfung ab, indem Sie Überprüfungsausführung abbrechen auswählen.
    • Löschen Sie Ihre Überprüfung, indem Sie Überprüfung löschen auswählen.

Hinweis

  • Durch das Löschen Ihrer Überprüfung werden keine Katalogressourcen gelöscht, die aus vorherigen Überprüfungen erstellt wurden.

Herkunft

Nachdem Sie Ihre Google BigQuery-Quelle überprüft haben, können Sie den Datenkatalog durchsuchen oder den Datenkatalog durchsuchen , um die Ressourcendetails anzuzeigen.

Wechseln Sie zur Registerkarte Asset –> Herkunft. Die Ressourcenbeziehung wird angezeigt, falls zutreffend. Informationen zu den unterstützten Google BigQuery-Herkunftsszenarien finden Sie im Abschnitt Unterstützte Funktionen . Weitere Informationen zur Herkunft im Allgemeinen finden Sie im Benutzerhandbuch zur Datenherkunft und -herkunft.

Google BigQuery-Herkunftsansicht

Nächste Schritte

Nachdem Sie Ihre Quelle registriert haben, folgen Sie den folgenden Anleitungen, um mehr über Microsoft Purview und Ihre Daten zu erfahren.