Qualità dei dati per Google BigQuery (anteprima)

Articolo
11/11/2024

Funzionalità supportate

Durante l'analisi dell'origine Google BigQuery, Microsoft Purview supporta:

Estrazione di metadati tecnici, tra cui:
- Progetti e set di dati
- Tabelle che includono le colonne
- Viste incluse le colonne
Recupero della derivazione statica sulle relazioni tra gli asset tra tabelle e viste.

Quando si configura l'analisi, è possibile scegliere di analizzare un intero progetto Google BigQuery. È anche possibile definire l'ambito dell'analisi a un subset di set di dati corrispondenti ai nomi specificati o ai modelli di nome.

Limitazioni note

Attualmente, Microsoft Purview supporta solo l'analisi dei set di dati di Google BigQuery nella posizione multiarea degli Stati Uniti. Se il set di dati specificato si trova in un'altra posizione, ad esempio us-east1 o EU, si osserva che l'analisi viene completata ma non vengono visualizzati asset in Microsoft Purview.
Quando l'oggetto viene eliminato dall'origine dati, attualmente l'analisi successiva non viene rimossa automaticamente l'asset corrispondente in Microsoft Purview.

Configurare l'analisi della mappa dati per catalogare i dati di Google BigQuery in Microsoft Purview

Registrare un progetto Google BigQuery

Aprire Microsoft Purview e selezionare Mappa dati nel riquadro di spostamento sinistro.
Selezionare Registra.
In Registra origini selezionare Google BigQuery. Selezionare Continua.
- Immettere un nome in cui l'origine dati verrà elencata all'interno del catalogo.
- Immettere projectID. Deve trattarsi di un ID progetto completo. Ad esempio, mydomain.com: myProject
- Selezionare una raccolta dall'elenco.
- Selezionare Registra.

Configurare un'analisi della mappa dati per il progetto Google BigQuery

Assicurarsi che sia configurato un runtime di integrazione self-hosted. Se non è configurato, usare i passaggi indicati nei prerequisiti
Passare a Origini.
Selezionare il progetto BigQuery registrato.
Selezionare + Nuova analisi.
Specificare i dettagli seguenti:
- Nome: nome dell'analisi
- Connettersi tramite il runtime di integrazione: selezionare il runtime di integrazione self-hosted configurato
- Credenziali: durante la configurazione delle credenziali di BigQuery, assicurarsi di:
  - Selezionare Autenticazione di base come metodo di autenticazione
  - Specificare l'ID di posta elettronica dell'account del servizio nel campo Nome utente. Ad esempio, xyz@developer.gserviceaccount.com
  - Per generare la chiave privata, seguire questa procedura. Copiare l'intero file di chiave JSON e archiviarlo come valore di un segreto Key Vault.
  - Per creare una nuova chiave privata dalla piattaforma cloud di Google:
    - Nel menu di spostamento selezionare IAM (Identity Access Management) e selezionare Amministrazione --> Account del servizio --> Selezionare un progetto -->
    - Selezionare l'indirizzo di posta elettronica dell'account del servizio per cui si vuole creare una chiave.
    - Selezionare la scheda Chiavi.
    - Selezionare il menu a discesa Aggiungi chiave e quindi selezionare Crea nuova chiave.
    - Scegliere il formato JSON.
- Specificare il percorso del driver JDBC (Java Database Connectivity) nel computer in cui è in esecuzione il runtime di integrazione self-host. Ad esempio: D:\Drivers\GoogleBigQuery.
- Specificare un elenco di set di dati BigQuery da importare. Ad esempio, dataset1; set di dati2. Quando l'elenco è vuoto, vengono importati tutti i set di dati disponibili.
- Memoria massima (in GB) disponibile nella macchina virtuale (macchina virtuale) da usare per l'analisi dei processi. Dipende dalle dimensioni del progetto Google BigQuery da analizzare.
Selezionare Test connessione.
Selezionare Continua.
Scegliere il trigger di analisi. È possibile configurare una pianificazione o eseguire l'analisi una sola volta.
Esaminare l'analisi e selezionare Salva ed esegui.

Dopo l'analisi, gli asset di dati nel progetto Google BigQuery saranno disponibili nella ricerca Unified Catalog. Per altre informazioni su come connettersi e gestire Google BigQuery in Microsoft Purview, seguire questo documento.

Importante

L'eliminazione dell'analisi non elimina gli asset del catalogo creati dalle analisi precedenti.

Configurare la connessione al progetto Google BigQuery per l'analisi della qualità dei dati

A questo punto l'asset analizzato è pronto per la catalogazione e la governance. Associare gli asset analizzati ai prodotti dati in un dominio di governance per configurare l'analisi della qualità dei dati.

Selezionare la scheda Gestione dominio > di governance della qualità > dei dati per creare la connessione.
Configurare la connessione
- Aggiungere il nome e la descrizione della connessione
- Selezionare il tipo di origine Google BigQuery
- Aggiungere l'ID progetto, il nome del set di dati e il nome della tabella
- Selezionare Chiave privata dell'account del servizio
  - Aggiungere una sottoscrizione di Azure
  - Connessione dell'insieme di credenziali delle chiavi
  - nome del segreto
  - versione del segreto
Testare la connessione per impostare la connessione all'origine dati correttamente configurata.

Importante

Gli amministratori di Data Quality devono accedere in sola lettura a Google BigQuery per configurare la connessione alla qualità dei dati. La rete virtuale e l'endpoint privato non sono ancora supportati per l'origine dati Google BigQuery per il servizio di analisi della qualità dei dati.

Profilatura e analisi della qualità dei dati per i dati in Google BigQuery

Dopo aver completato correttamente la configurazione della connessione, è possibile profilare, creare e applicare regole ed eseguire l'analisi della qualità dei dati in Google BigQuery. Seguire le linee guida dettagliate descritte nei documenti seguenti:

Condividi tramite