Kopiera data från HBase med Azure Data Factory eller Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

Viktigt!

Den här anslutningsappen kommer att vara inaktuell den 31 december 2024. Du rekommenderas att migrera till ODBC-anslutningsprogrammet genom att installera en drivrutin före det datumet.

Den här artikeln beskriver hur du använder kopieringsaktiviteten i en Azure Data Factory- eller Synapse Analytics-pipeline för att kopiera data från HBase. Den bygger på översiktsartikeln för kopieringsaktivitet som visar en allmän översikt över kopieringsaktiviteten.

Funktioner som stöds

Den här HBase-anslutningsappen stöds för följande funktioner:

Funktioner som stöds	IR
aktiviteten Kopiera (källa/-)	(1)
Sökningsaktivitet	(1)

(1) Azure Integration Runtime (2) Lokalt installerad integrationskörning

En lista över datalager som stöds som källor/mottagare av kopieringsaktiviteten finns i tabellen Datalager som stöds.

Tjänsten tillhandahåller en inbyggd drivrutin för att aktivera anslutningen. Därför behöver du inte installera någon drivrutin manuellt med den här anslutningsappen.

Förutsättningar

Om ditt datalager är en hanterad molndatatjänst kan du använda Azure Integration Runtime. Om åtkomsten är begränsad till IP-adresser som är godkända i brandväggsreglerna kan du lägga till Azure Integration Runtime-IP-adresser i listan över tillåtna.

Du kan också använda funktionen för integrering av hanterade virtuella nätverk i Azure Data Factory för att få åtkomst till det lokala nätverket utan att installera och konfigurera en lokalt installerad integrationskörning.

Mer information om de nätverkssäkerhetsmekanismer och alternativ som stöds av Data Factory finns i Strategier för dataåtkomst.

Komma igång

Om du vill utföra aktiviteten Kopiera med en pipeline kan du använda något av följande verktyg eller SDK:er:

• Verktyget Kopiera data
• Azure-portalen
• The .NET SDK
• The Python SDK
• Azure PowerShell
• REST-API:et
• Azure Resource Manager-mallen

Skapa en länkad tjänst till Hbase med hjälp av användargränssnittet

Använd följande steg för att skapa en länkad tjänst till Hbase i Azure Portal användargränssnittet.

1. Bläddra till fliken Hantera i Din Azure Data Factory- eller Synapse-arbetsyta och välj Länkade tjänster och klicka sedan på Ny:

   Azure Data Factory

   

   Azure Synapse

   

2. Sök efter Hbase och välj Hbase-anslutningsappen.

   

3. Konfigurera tjänstinformationen, testa anslutningen och skapa den nya länkade tjänsten.

   

Konfigurationsinformation för anslutningsprogram

Följande avsnitt innehåller information om egenskaper som används för att definiera Data Factory-entiteter som är specifika för HBase-anslutningsprogram.

Länkade tjänstegenskaper

Följande egenskaper stöds för den länkade HBase-tjänsten:

Property	Beskrivning	Obligatoriskt
type	Typegenskapen måste anges till: HBase	Ja
värd	IP-adressen eller värdnamnet för HBase-servern. (d.v.s. [clustername].azurehdinsight.net, 192.168.222.160)	Ja
port	TCP-porten som HBase-instansen använder för att lyssna efter klientanslutningar. Standardvärdet är 9090. Om du ansluter till Azure HDInsights anger du porten som 443.	Nej
httpPath	Den partiella URL:en som motsvarar HBase-servern, t.ex. /hbaserest0 när du använder HDInsights-klustret.	Nej
authenticationType	Autentiseringsmekanismen som ska användas för att ansluta till HBase-servern. Tillåtna värden är: Anonym, Grundläggande	Ja
användarnamn	Användarnamnet som används för att ansluta till HBase-instansen.	Nej
password	Lösenordet som motsvarar användarnamnet. Markera det här fältet som en SecureString för att lagra det på ett säkert sätt eller referera till en hemlighet som lagras i Azure Key Vault.	Nej
enableSsl	Anger om anslutningarna till servern krypteras med hjälp av TLS. Standardvärdet är "false".	Nej
trustedCertPath	Den fullständiga sökvägen till .pem-filen som innehåller betrodda CA-certifikat för att verifiera servern när du ansluter via TLS. Den här egenskapen kan bara anges när du använder TLS på lokalt installerad IR. Standardvärdet är filen cacerts.pem som är installerad med IR.	Nej
allowHostNameCNMismatch	Anger om ett CA-utfärdat TLS/SSL-certifikatnamn ska matcha serverns värdnamn vid anslutning via TLS. Standardvärdet är "false".	Nej
allowSelfSignedServerCert	Anger om självsignerade certifikat ska tillåtas från servern. Standardvärdet är "false".	Nej
connectVia	Integration Runtime som ska användas för att ansluta till datalagret. Läs mer i avsnittet Förutsättningar . Du kan bara använda Azure Integration Runtime.	Nej

Kommentar

Om klustret inte stöder klibbig session, t.ex. HDInsight, lägger du uttryckligen till nodindex i slutet av inställningen http-sökväg, t.ex. ange /hbaserest0 i stället för /hbaserest.

Exempel för HDInsights HBase:

{
    "name": "HBaseLinkedService",
    "properties": {
        "type": "HBase",
        "typeProperties": {
            "host" : "<cluster name>.azurehdinsight.net",
            "port" : "443",
            "httpPath" : "/hbaserest0",
            "authenticationType" : "Basic",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "enableSsl" : true
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exempel på allmän HBase:

{
    "name": "HBaseLinkedService",
    "properties": {
        "type": "HBase",
        "typeProperties": {
            "host" : "<host e.g. 192.168.222.160>",
            "port" : "<port>",
            "httpPath" : "<e.g. /gateway/sandbox/hbase/version>",
            "authenticationType" : "Basic",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "enableSsl" : true,
            "trustedCertPath" : "<trustedCertPath>",
            "allowHostNameCNMismatch" : true,
            "allowSelfSignedServerCert" : true
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Egenskaper för datauppsättning

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera datauppsättningar finns i artikeln datauppsättningar . Det här avsnittet innehåller en lista över egenskaper som stöds av HBase-datauppsättningen.

Om du vill kopiera data från HBase anger du datauppsättningens typegenskap till HBaseObject. Följande egenskaper stöds:

Property	Beskrivning	Obligatoriskt
type	Typegenskapen för datamängden måste anges till: HBaseObject	Ja
tableName	Tabellens namn.	Nej (om "fråga" i aktivitetskällan har angetts)

Exempel

{
    "name": "HBaseDataset",
    "properties": {
        "type": "HBaseObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<HBase linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Kopiera egenskaper för aktivitet

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera aktiviteter finns i artikeln Pipelines . Det här avsnittet innehåller en lista över egenskaper som stöds av HBase-källan.

HBaseSource som källa

Om du vill kopiera data från HBase anger du källtypen i kopieringsaktiviteten till HBaseSource. Följande egenskaper stöds i avsnittet kopieringsaktivitetskälla:

Property	Beskrivning	Obligatoriskt
type	Typegenskapen för kopieringsaktivitetskällan måste anges till: HBaseSource	Ja
query	Använd den anpassade SQL-frågan för att läsa data. Exempel: "SELECT * FROM MyTable".	Nej (om "tableName" i datauppsättningen har angetts)

Exempel:

"activities":[
    {
        "name": "CopyFromHBase",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<HBase input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "HBaseSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Egenskaper för uppslagsaktivitet

Mer information om egenskaperna finns i Sökningsaktivitet.

Relaterat innehåll

En lista över datalager som stöds som källor och mottagare av kopieringsaktiviteten finns i datalager som stöds.