Kopírování dat z Google BigQuery pomocí služby Azure Data Factory nebo Synapse Analytics

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Tento článek popisuje, jak pomocí aktivity kopírování v kanálech Azure Data Factory a Synapse Analytics kopírovat data z Google BigQuery. Vychází z článku s přehledem aktivity kopírování, který představuje obecný přehled aktivity kopírování.

Důležité

Nový konektor Google BigQuery poskytuje vylepšenou nativní podporu Google BigQuery. Pokud ve svém řešení používáte starší konektor Google BigQuery, upgradujte prosím konektor Google BigQuery před 31. říjnem 2024. Podrobnosti o rozdílu mezi starší verzí a nejnovější verzí najdete v této části .

Podporované funkce

Tento konektor Google BigQuery je podporovaný pro následující funkce:

Podporované funkce	IR
aktivita Copy (zdroj/-)	(1) (2)
Aktivita Lookup	(1) (2)

(1) Prostředí Azure Integration Runtime (2) Místní prostředí Integration Runtime

Seznam úložišť dat podporovaných jako zdroje nebo jímky aktivitou kopírování najdete v tabulce Podporované úložiště dat.

Služba poskytuje integrovaný ovladač, který umožňuje připojení. Proto pro použití tohoto konektoru nemusíte ručně instalovat ovladač.

Poznámka:

Tento konektor Google BigQuery je založený na rozhraních API BigQuery. Mějte na paměti, že BigQuery omezuje maximální rychlost příchozích požadavků a vynucuje příslušné kvóty na základě jednotlivých projektů, projděte si kvóty a limity – požadavky rozhraní API. Ujistěte se, že neaktivujete příliš mnoho souběžných požadavků na účet.

Začínáme

K provedení aktivita Copy s kanálem můžete použít jeden z následujících nástrojů nebo sad SDK:

• Nástroj pro kopírování dat
• Azure Portal
• Sada .NET SDK
• Sada Python SDK
• Azure PowerShell
• Rozhraní REST API
• Šablona Azure Resource Manageru

Vytvoření propojené služby s Google BigQuery pomocí uživatelského rozhraní

Pomocí následujícího postupu vytvořte propojenou službu s Google BigQuery v uživatelském rozhraní webu Azure Portal.

1. Přejděte na kartu Správa v pracovním prostoru Azure Data Factory nebo Synapse a vyberte Propojené služby a pak klikněte na Nový:

   Azure Data Factory

   

   Azure Synapse

   

2. Vyhledejte Google BigQuery a vyberte konektor.

   

3. Nakonfigurujte podrobnosti o službě, otestujte připojení a vytvořte novou propojenou službu.

   

Podrobnosti konfigurace konektoru

Následující části obsahují podrobnosti o vlastnostech, které slouží k definování entit specifických pro konektor Google BigQuery.

Vlastnosti propojené služby

Pro propojenou službu Google BigQuery se podporují následující vlastnosti.

Vlastnost	Popis	Povinní účastníci
type	Vlastnost typu musí být nastavena na GoogleBigQueryV2.	Ano
projectId	ID projektu výchozího projektu BigQuery, na který se má dotazovat.	Ano
authenticationType	Mechanismus ověřování OAuth 2.0 používaný k ověřování. Povolené hodnoty jsou UserAuthentication a ServiceAuthentication. Další vlastnosti a ukázky JSON pro tyto typy ověřování najdete v částech pod touto tabulkou.	Ano

Použití ověřování uživatelů

Nastavte vlastnost authenticationType na UserAuthentication a zadejte následující vlastnosti spolu s obecnými vlastnostmi popsanými v předchozí části:

Vlastnost	Popis	Povinní účastníci
clientId	ID aplikace použité k vygenerování obnovovacího tokenu	Ano
clientSecret	Tajný kód aplikace použité k vygenerování obnovovacího tokenu. Označte toto pole jako securestring, abyste ho mohli bezpečně uložit, nebo odkazovat na tajný klíč uložený ve službě Azure Key Vault.	Ano
refreshToken	Obnovovací token získaný googlem slouží k autorizaci přístupu k BigQuery. Zjistěte, jak získat přístupové tokeny OAuth 2.0 a tento blog komunity. Označte toto pole jako securestring, abyste ho mohli bezpečně uložit, nebo odkazovat na tajný klíč uložený ve službě Azure Key Vault.	Ano

Příklad:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "typeProperties": {
            "projectId" : "<project ID>",
            "authenticationType" : "UserAuthentication",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "SecureString",
                "value":"<client secret>"
            },
            "refreshToken": {
                "type": "SecureString",
                "value": "<refresh token>"
            }
        }
    }
}

Použití ověřování služby

Nastavte vlastnost authenticationType na ServiceAuthentication a zadejte následující vlastnosti spolu s obecnými vlastnostmi popsanými v předchozí části.

Vlastnost	Popis	Povinní účastníci
keyFileContent	Soubor klíče ve formátu JSON, který se používá k ověření účtu služby. Označte toto pole jako securestring, abyste ho mohli bezpečně uložit, nebo odkazovat na tajný klíč uložený ve službě Azure Key Vault.	Ano

Příklad:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "typeProperties": {
            "projectId": "<project ID>",
            "authenticationType": "ServiceAuthentication",
            "keyFileContent": {
                "type": "SecureString",
                "value": "<key file JSON string>"
            }
        }
    }
}

Vlastnosti datové sady

Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v článku Datové sady . Tato část obsahuje seznam vlastností podporovaných datovou sadou Google BigQuery.

Pokud chcete kopírovat data z Google BigQuery, nastavte vlastnost typu datové sady na GoogleBigQueryV2Object. Podporují se následující vlastnosti:

Vlastnost	Popis	Povinní účastníci
type	Vlastnost typu datové sady musí být nastavená na: GoogleBigQueryV2Object.	Ano
datová sada	Název datové sady Google BigQuery	Ne (pokud je zadán dotaz ve zdroji aktivity)
table	Název tabulky.	Ne (pokud je zadán dotaz ve zdroji aktivity)

Příklad

{
    "name": "GoogleBigQueryDataset",
    "properties": {
        "type": "GoogleBigQueryV2Object",
        "linkedServiceName": {
            "referenceName": "<Google BigQuery linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "dataset": "<dataset name>",
            "table": "<table name>"
        }
    }
}

Vlastnosti aktivity kopírování

Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v článku Pipelines . Tato část obsahuje seznam vlastností podporovaných typem zdroje Google BigQuery.

GoogleBigQuerySource jako typ zdroje

Pokud chcete kopírovat data z Google BigQuery, nastavte zdrojový typ aktivity kopírování na GoogleBigQueryV2Source. Ve zdrojové části aktivity kopírování jsou podporovány následující vlastnosti.

Vlastnost	Popis	Povinní účastníci
type	Vlastnost typu zdroje aktivity kopírování musí být nastavena na GoogleBigQueryV2Source.	Ano
query	Ke čtení dat použijte vlastní dotaz SQL. Příklad: "SELECT * FROM MyTable". Další informace najdete v syntaxi dotazu.	Ne (pokud jsou v datové sadě zadány "datová sada" a "tabulka")

Příklad:

"activities":[
    {
        "name": "CopyFromGoogleBigQuery",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Google BigQuery input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "GoogleBigQueryV2Source",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Vlastnosti aktivity vyhledávání

Podrobnosti o vlastnostech najdete v aktivitě Vyhledávání.

Upgrade konektoru Google BigQuery

Pokud chcete upgradovat konektor Google BigQuery, vytvořte novou propojenou službu Google BigQuery a nakonfigurujte ji pomocí odkazů na vlastnosti propojené služby.

Rozdíly mezi Google BigQuery a Google BigQuery (starší verze)

Konektor Google BigQuery nabízí nové funkce a je kompatibilní s většinou funkcí konektoru Google BigQuery (starší verze). Následující tabulka ukazuje rozdíly mezi funkcemi Google BigQuery a Google BigQuery (starší verze).

Google BigQuery	Google BigQuery (starší verze)
Ověřování služeb podporuje prostředí Azure Integration Runtime a místní prostředí Integration Runtime. Vlastnosti trustedCertPath, useSystemTrustStore, email a keyFilePath nejsou podporovány, protože jsou k dispozici pouze v místním prostředí Integration Runtime.	Ověřování služby podporuje pouze místní prostředí Integration Runtime. Podpora trustedCertPath, useSystemTrustStore, e-mail a keyFilePath vlastnosti.
Následující mapování se používají z datových typů Google BigQuery k dočasným datovým typům používaným službou interně. Číselné –> desetinné číslo Časové razítko –> DateTimeOffset Datetime –> DatetimeOffset	Následující mapování se používají z datových typů Google BigQuery k dočasným datovým typům používaným službou interně. Číselné –> řetězec Časové razítko –> DateTime Datetime –> DateTime
requestGoogleDriveScope se nepodporuje. Potřebujete navíc použít oprávnění ve službě Google BigQuery odkazem na obory rozhraní API pro výběr disku Google a dotazování dat jednotky.	Žádost o podporuGoogleDriveScope
další projekty nejsou podporovány. Jako alternativu můžete zadat dotaz na veřejnou datovou sadu pomocí konzoly Google Cloud.	Podpora dalších projektů

Související obsah

Seznam úložišť dat podporovaných jako zdroje a jímky aktivitou kopírování najdete v tématu Podporované úložiště dat.