Kopiowanie danych z usługi Google BigQuery przy użyciu usługi Azure Data Factory lub Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

W tym artykule opisano sposób używania działania kopiowania w potokach usługi Azure Data Factory i usługi Synapse Analytics do kopiowania danych z usługi Google BigQuery. Jest on oparty na artykule Omówienie działania kopiowania, który przedstawia ogólne omówienie działania kopiowania.

Ważne

Nowy łącznik Google BigQuery zapewnia ulepszoną natywną obsługę google BigQuery. Jeśli używasz starszego łącznika Google BigQuery w swoim rozwiązaniu, uaktualnij łącznik Google BigQuery przed 31 października 2024 r. Zapoznaj się z tą sekcją , aby uzyskać szczegółowe informacje na temat różnicy między starszą i najnowszą wersją.

Obsługiwane możliwości

Ten łącznik Google BigQuery jest obsługiwany w następujących funkcjach:

Obsługiwane możliwości	IR
działanie Kopiuj (źródło/-)	(1) (2)
Działanie Lookup	(1) (2)

(1) Środowisko Azure Integration Runtime (2) Self-hosted Integration Runtime

Aby uzyskać listę magazynów danych obsługiwanych jako źródła lub ujścia przez działanie kopiowania, zobacz tabelę Obsługiwane magazyny danych.

Usługa udostępnia wbudowany sterownik umożliwiający łączność. W związku z tym nie trzeba ręcznie instalować sterownika do korzystania z tego łącznika.

Uwaga

Ten łącznik Google BigQuery jest oparty na interfejsach API BigQuery. Należy pamiętać, że funkcja BigQuery ogranicza maksymalną szybkość żądań przychodzących i wymusza odpowiednie limity przydziału dla poszczególnych projektów, zapoznaj się z tematem Limity przydziału i limity — żądania interfejsu API. Upewnij się, że nie wyzwalasz zbyt wielu współbieżnych żądań do konta.

Rozpocznij

Aby wykonać działanie Kopiuj za pomocą potoku, możesz użyć jednego z następujących narzędzi lub zestawów SDK:

• Narzędzie do kopiowania danych
• Witryna Azure Portal
• Zestaw SDK platformy .NET
• Zestaw SDK języka Python
• Azure PowerShell
• Interfejs API REST
• Szablon usługi Azure Resource Manager

Tworzenie połączonej usługi z usługą Google BigQuery przy użyciu interfejsu użytkownika

Wykonaj poniższe kroki, aby utworzyć połączoną usługę z usługą Google BigQuery w interfejsie użytkownika witryny Azure Portal.

1. Przejdź do karty Zarządzanie w obszarze roboczym usługi Azure Data Factory lub Synapse i wybierz pozycję Połączone usługi, a następnie kliknij pozycję Nowy:

   Azure Data Factory

   

   Azure Synapse

   

2. Wyszukaj pozycję Google BigQuery i wybierz łącznik.

   

3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.

   

Szczegóły konfiguracji łącznika

Poniższe sekcje zawierają szczegółowe informacje o właściwościach używanych do definiowania jednostek specyficznych dla łącznika Google BigQuery.

Właściwości połączonej usługi

Następujące właściwości są obsługiwane w przypadku połączonej usługi Google BigQuery.

Właściwości	Opis	Wymagania
type	Właściwość type musi być ustawiona na GoogleBigQueryV2.	Tak
identyfikator projektu	Identyfikator projektu domyślnego projektu BigQuery do odpytowania.	Tak
authenticationType	Mechanizm uwierzytelniania OAuth 2.0 używany do uwierzytelniania. Dozwolone wartości to UserAuthentication i ServiceAuthentication. Zapoznaj się z sekcjami poniżej tej tabeli, aby uzyskać więcej właściwości i przykładów JSON dla tych typów uwierzytelniania odpowiednio.	Tak

Korzystanie z uwierzytelniania użytkownika

Ustaw właściwość "authenticationType" na Wartość UserAuthentication i określ następujące właściwości wraz z właściwościami ogólnymi opisanymi w poprzedniej sekcji:

Właściwości	Opis	Wymagania
clientId	Identyfikator aplikacji używanej do generowania tokenu odświeżania.	Tak
clientSecret	Wpis tajny aplikacji używany do generowania tokenu odświeżania. Oznacz to pole jako element SecureString w celu bezpiecznego przechowywania go lub odwołuj się do wpisu tajnego przechowywanego w usłudze Azure Key Vault.	Tak
refreshToken	Token odświeżania uzyskany od firmy Google używany do autoryzowania dostępu do trybu BigQuery. Dowiedz się, jak uzyskać jeden z artykułu Uzyskiwanie tokenów dostępu OAuth 2.0 i tego bloga społeczności. Oznacz to pole jako element SecureString w celu bezpiecznego przechowywania go lub odwołuj się do wpisu tajnego przechowywanego w usłudze Azure Key Vault.	Tak

Przykład:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "typeProperties": {
            "projectId" : "<project ID>",
            "authenticationType" : "UserAuthentication",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "SecureString",
                "value":"<client secret>"
            },
            "refreshToken": {
                "type": "SecureString",
                "value": "<refresh token>"
            }
        }
    }
}

Korzystanie z uwierzytelniania usługi

Ustaw właściwość "authenticationType" na Wartość ServiceAuthentication i określ następujące właściwości wraz z właściwościami ogólnymi opisanymi w poprzedniej sekcji.

Właściwości	Opis	Wymagania
keyFileContent	Plik klucza w formacie JSON używany do uwierzytelniania konta usługi. Oznacz to pole jako element SecureString w celu bezpiecznego przechowywania go lub odwołuj się do wpisu tajnego przechowywanego w usłudze Azure Key Vault.	Tak

Przykład:

{
    "name": "GoogleBigQueryLinkedService",
    "properties": {
        "type": "GoogleBigQueryV2",
        "typeProperties": {
            "projectId": "<project ID>",
            "authenticationType": "ServiceAuthentication",
            "keyFileContent": {
                "type": "SecureString",
                "value": "<key file JSON string>"
            }
        }
    }
}

Właściwości zestawu danych

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania zestawów danych, zobacz artykuł Zestawy danych. Ta sekcja zawiera listę właściwości obsługiwanych przez zestaw danych Google BigQuery.

Aby skopiować dane z google BigQuery, ustaw właściwość type zestawu danych na GoogleBigQueryV2Object. Obsługiwane są następujące właściwości:

Właściwości	Opis	Wymagania
type	Właściwość type zestawu danych musi być ustawiona na: GoogleBigQueryV2Object	Tak
zestaw danych	Nazwa zestawu danych Google BigQuery.	Nie (jeśli określono "zapytanie" w źródle działania)
table	Nazwa tabeli.	Nie (jeśli określono "zapytanie" w źródle działania)

Przykład

{
    "name": "GoogleBigQueryDataset",
    "properties": {
        "type": "GoogleBigQueryV2Object",
        "linkedServiceName": {
            "referenceName": "<Google BigQuery linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "dataset": "<dataset name>",
            "table": "<table name>"
        }
    }
}

Właściwości działania kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz artykuł Pipelines (Potoki ). Ta sekcja zawiera listę właściwości obsługiwanych przez typ źródła Google BigQuery.

GoogleBigQuerySource jako typ źródła

Aby skopiować dane z google BigQuery, ustaw typ źródła w działaniu kopiowania na GoogleBigQueryV2Source. Poniższe właściwości są obsługiwane w sekcji źródła działania kopiowania.

Właściwości	Opis	Wymagania
type	Właściwość type źródła działania kopiowania musi być ustawiona na GoogleBigQueryV2Source.	Tak
zapytanie	Użyj niestandardowego zapytania SQL, aby odczytać dane. Może to być na przykład "SELECT * FROM MyTable". Aby uzyskać więcej informacji, przejdź do sekcji Składnia zapytań.	Nie (jeśli określono "zestaw danych" i "tabelę" w zestawie danych)

Przykład:

"activities":[
    {
        "name": "CopyFromGoogleBigQuery",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Google BigQuery input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "GoogleBigQueryV2Source",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Właściwości działania wyszukiwania

Aby dowiedzieć się więcej o właściwościach, sprawdź działanie Wyszukiwania.

Uaktualnianie łącznika Google BigQuery

Aby uaktualnić łącznik Google BigQuery, utwórz nową połączoną usługę Google BigQuery i skonfiguruj ją, odwołując się do właściwości połączonej usługi.

Różnice między Google BigQuery i Google BigQuery (starsza wersja)

Łącznik Google BigQuery oferuje nowe funkcje i jest zgodny z większością funkcji łącznika Google BigQuery (starsza wersja). W poniższej tabeli przedstawiono różnice funkcji między usługami Google BigQuery i Google BigQuery (starsza wersja).

Google BigQuery	Google BigQuery (starsza wersja)
Uwierzytelnianie usługi jest obsługiwane przez środowisko Azure Integration Runtime i własne środowisko Integration Runtime. Właściwości trustedCertPath, useSystemTrustStore, email i keyFilePath nie są obsługiwane, ponieważ są dostępne tylko w własnym środowisku Integration Runtime.	Uwierzytelnianie usługi jest obsługiwane tylko przez własne środowisko Integration Runtime. Obsługa właściwości trustedCertPath, useSystemTrustStore, email i keyFilePath.
Następujące mapowania są używane z typów danych Google BigQuery do tymczasowych typów danych używanych przez usługę wewnętrznie. Numeryczne —> dziesiętne Sygnatura czasowa —> DateTimeOffset Data/godzina —> DatetimeOffset	Następujące mapowania są używane z typów danych Google BigQuery do tymczasowych typów danych używanych przez usługę wewnętrznie. Numeryczne —> ciąg Sygnatura czasowa —> Data/godzina Data/godzina —> data/godzina
requestGoogleDriveScope nie jest obsługiwany. Ponadto musisz zastosować uprawnienie w usłudze Google BigQuery, odwołując się do pozycji Wybieranie zakresów interfejsu API dysku Google i danych dysku zapytań.	Wniosek o pomoc technicznąGoogleDriveScope.
program additionalProjects nie jest obsługiwany. Alternatywnie wykonaj zapytanie dotyczące publicznego zestawu danych za pomocą konsoli Google Cloud.	Obsługa dodatkowych projektów.

Powiązana zawartość

Aby uzyskać listę magazynów danych obsługiwanych jako źródła i ujścia działania kopiowania, zobacz Obsługiwane magazyny danych.