Condividi tramite

Gestione connessione Hadoop

  • Articolo

Si applica a: SQL Server SSIS Integration Runtime in Azure Data Factory

Gestione connessione Hadoop consente al pacchetto SQL Server Integration Services (SSIS) di connettersi a un cluster Hadoop usando i valori specificati per le proprietà.

Configurare la gestione connessione Hadoop

  1. Nella finestra di dialogo Aggiungi gestione connessione SSIS selezionare Hadoop>Aggiungi. Verrà visualizzata la finestra di dialogo Editor gestione connessione Hadoop .

  2. Per configurare le informazioni del cluster Hadoop correlate, scegliere la scheda WebHCat o WebHDFS nel riquadro a sinistra.

  3. Se si abilita l'opzione WebHCat per richiamare un processo Hive o Pig in Hadoop, seguire questa procedura:

    1. Per Host WebHCat, immettere il server che ospita il servizio WebHCat.

    2. Per Porta WebHCat, immettere la porta del servizio WebHCat, che per impostazione predefinita è 50111.

    3. Selezionare il metodo di Autenticazione per accedere al servizio WebHCat. I valori disponibili sono Base e Kerberos.

      Screenshot dell'Editor gestione connessione Hadoop con autenticazione di base

      Screenshot dell'Editor gestione connessione Hadoop con autenticazione Kerberos

    4. Per Utente WebHCatimmettere l' Utente autorizzato ad accedere a WebHCat.

    5. Se si seleziona l'autenticazione Kerberos , immettere la Password e il Dominiodell'utente.

  4. Se si abilita l'opzione WebHDFS per copiare i dati da o a HDFS, seguire questa procedura:

    1. Per Host WebHDFS, immettere il server che ospita il servizio WebHDFS.

    2. Per Porta WebHDFS, immettere la porta del servizio WebHDFS, che per impostazione predefinita è 50070.

    3. Selezionare il metodo di Autenticazione per accedere al servizio WebHDFS. I valori disponibili sono Base e Kerberos.

    4. Per Utente WebHDFSimmettere l'utente autorizzato ad accedere a HDFS.

    5. Se si seleziona l'autenticazione Kerberos , immettere la Password e il Dominiodell'utente.

  5. Selezionare Test connessione. (verrà testata solo la connessione abilitata).

  6. Selezionare OK per chiudere la finestra di dialogo.

Connettersi con l'autenticazione Kerberos

Esistono due opzioni per configurare l'ambiente locale per poter usare l'autenticazione Kerberos con Gestione connessione Hadoop. È possibile scegliere l'opzione che meglio si adatta alle circostanze.

Opzione 1: Aggiungere il computer SSIS all'area di autenticazione Kerberos

Requisiti:

  • Il computer gateway deve essere aggiunto all'area di autenticazione Kerberos e non può essere aggiunto a domini Windows.

Modalità di configurazione:

Nel computer SSIS:

  1. Eseguire l'utilità Ksetup per configurare l'area di autenticazione e il server Centro distribuzione chiavi (KDC) Kerberos.

    Il computer deve essere configurato come membro di un gruppo di lavoro, perché un'area di distribuzione Kerberos è diversa da un dominio Windows. Impostare l'area di autenticazione Kerberos e aggiungere un server KDC, come illustrato nell'esempio seguente. Sostituire REALM.COM con la propria rispettiva area di autenticazione, se necessario.

    C:> Ksetup /setdomain REALM.COM`
C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>

    Dopo aver eseguito questi comandi, riavviare il computer.

  2. Verificare la configurazione con il comando Ksetup. L'output dovrebbe avere un aspetto simile all'esempio seguente:

    C:> Ksetup
default realm = REALM.COM (external)
REALM.com:
    kdc = <your_kdc_server_address>

Opzione 2: Abilitare il trust reciproco tra il dominio Windows e l'area di autenticazione Kerberos

Requisiti:

  • Il computer gateway deve fare parte di un dominio Windows.
  • È necessaria l'autorizzazione per aggiornare le impostazioni del controller di dominio.

Modalità di configurazione:

Nota

Sostituire REALM.COM e AD.COM nell'esercitazione seguente con la propria area di autenticazione e il proprio controller di dominio, se necessario.

Nel server KDC:

  1. Modificare la configurazione KDC nel file krb5.conf. Consentire a KDC di considerare attendibile il dominio Windows facendo riferimento al modello di configurazione seguente. Per impostazione predefinita, la configurazione si trova in /etc/krb5.conf.

    [logging]
default = FILE:/var/log/krb5libs.log
kdc = FILE:/var/log/krb5kdc.log
admin_server = FILE:/var/log/kadmind.log

[libdefaults]
default_realm = REALM.COM
dns_lookup_realm = false
dns_lookup_kdc = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true

[realms]
REALM.COM = {
    kdc = node.REALM.COM
    admin_server = node.REALM.COM
    }
AD.COM = {
    kdc = windc.ad.com
    admin_server = windc.ad.com
    }

[domain_realm]
.REALM.COM = REALM.COM
REALM.COM = REALM.COM
.ad.com = AD.COM
ad.com = AD.COM

[capaths]
AD.COM = {
    REALM.COM = .
    }

    Dopo la configurazione, riavviare il servizio KDC.

  2. Preparare un'entità di sicurezza denominata krbtgt/REALM.COM@AD.COM nel server KDC. Usare il comando seguente:

    Kadmin> addprinc krbtgt/REALM.COM@AD.COM

  3. Nel file di configurazione del servizio HDFS hadoop.security.auth_to_local aggiungere RULE:[1:$1@$0](.*@AD.COM)s/@.*//.

Nel controller di dominio:

  1. Eseguire i comandi Ksetup seguenti per aggiungere una voce dell'area di autenticazione:

    C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM

  2. Stabilire il trust dal dominio Windows all'area di autenticazione Kerberos. Nell'esempio seguente [password] è la password per l'entità di sicurezza krbtgt/REALM.COM@AD.COM.

    C:> netdom trust REALM.COM /Domain: AD.COM /add /realm /password:[password]

  3. Selezionare un algoritmo di crittografia da usare con Kerberos.

    1. Andare a Server Manager>Gestione Criteri di gruppo>Dominio. Andare quindi a Oggetti Criteri di gruppo>Default or Active Domain Policy (Criteri dominio predefiniti o attivi)>Modifica.

    2. Nella finestra popup Editor Gestione Criteri di gruppo andare a Configurazione computer>Criteri>Impostazioni di Windows. Andare quindi a Impostazioni di sicurezza>Criteri locali>Opzioni di sicurezza. Configurare Sicurezza di rete: configura tipi di crittografia consentiti per Kerberos.

    3. Selezionare l'algoritmo di crittografia che si vuole usare per connettersi al Centro distribuzione chiavi. È in genere possibile selezionare qualsiasi opzione.

      Screenshot dei tipi di crittografia per Kerberos

    4. Usare il comando Ksetup per specificare l'algoritmo di crittografia da usare nell'area di autenticazione specifica.

      C:> ksetup /SetEncTypeAttr REALM.COM DES-CBC-CRC DES-CBC-MD5 RC4-HMAC-MD5 AES128-CTS-HMAC-SHA1-96 AES256-CTS-HMAC-SHA1-96

  4. Per usare l'entità di sicurezza Kerberos nel dominio Windows, creare il mapping tra l'account di dominio e l'entità di sicurezza Kerberos.

    1. Andare a Strumenti di amministrazione>Utenti e computer di Active Directory.

    2. Configurare le funzionalità avanzate selezionando Visualizza>Funzionalità avanzate.

    3. Individuare l'account a cui si vuole creare i mapping, fare clic con il pulsante destro del mouse per visualizzare Mapping nomi e quindi scegliere la scheda Nomi Kerberos.

    4. Aggiungere un'entità di sicurezza dall'area di autenticazione.

  5. Nel computer di gateway, eseguire i comandi Ksetup seguenti per aggiungere una voce dell'area di autenticazione.

C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM

Vedi anche

Attività Hive Hadoop
Attività Pig Hadoop
Attività File system Hadoop