Configurare un firewall per l'accesso a risorse serverless.

Questo articolo descrive come configurare un firewall di archiviazione di Azure per l’elaborazione serverless usando l'UI della console dell'account di Azure Databricks. È anche possibile usare l'API Configurazioni connessione di rete.

Per configurare un endpoint privato per l'accesso all'elaborazione serverless, vedere Configurare la connettività privata dall'elaborazione serverless.

Importante

A partire dal 4 dicembre 2024, Azure Databricks ha iniziato a pagare i costi di rete associati ai carichi di lavoro serverless che si connettono alle risorse dei clienti. Attualmente ti vengono addebitati costi per l'endpoint privato delle tue risorse su base oraria. Gli addebiti per l'elaborazione dei dati per le connessioni Private Link sono esentati a tempo indeterminato. La fatturazione per altri costi di rete verrà implementata gradualmente, tra cui:

• Connettività pubblica alle risorse, ad esempio tramite un gateway NAT.
• Addebiti per il trasferimento dei dati, ad esempio quando il calcolo serverless e la risorsa di destinazione si trovano in aree diverse.

Gli addebiti non verranno applicati retroattivamente.

Panoramica dell'abilitazione del firewall per l’elaborazione serverless

La connettività di rete serverless viene gestita con configurazioni di connessione di rete. Gli amministratori dell'account creano NCC nella console dell'account e un NCC può essere collegato a uno o più spazi di lavoro.

Un NCC contiene un elenco di identità di rete per un tipo di risorsa di Azure come regole predefinite. Quando un NCC è collegato a un'area di lavoro, l’elaborazione serverless in tale area di lavoro usa una di queste reti per connettere la risorsa di Azure. È possibile consentire tali reti nel firewall delle risorse di Azure. Se sono presenti firewall delle risorse Azure non di archiviazione, contattare il vostro team dell'account per informazioni su come usare gli indirizzi IP NAT stabili di Azure Databricks.

L'abilitazione del firewall NCC è supportata da warehouse SQL serverless, processi, notebook, pipeline DLT e endpoint di gestione dei modelli.

Facoltativamente, è possibile configurare l'accesso di rete all'account di archiviazione dell'area di lavoro solo da reti autorizzate, inclusa l’elaborazione serverless. Vedere Abilitare il supporto del firewall per l'account di archiviazione dell'area di lavoro. Quando un NCC è collegato a un'area di lavoro, le regole di rete vengono aggiunte automaticamente all'account di archiviazione di Azure per l'account di archiviazione dell'area di lavoro.

Per altre informazioni sui controller di rete, vedere Che cos'è una configurazione della connessione di rete(NCC)?.

Implicazioni dei costi dell'accesso all'archiviazione tra aree

Il firewall si applica solo quando le risorse di Azure si trovano nella stessa area dell'area di lavoro di Azure Databricks. Per il traffico tra aree da elaborazione serverless di Azure Databricks (ad esempio, l'area di lavoro si trova nell'area Stati Uniti orientali e l'archiviazione ADLS si trova in Europa occidentale), Azure Databricks instrada il traffico attraverso un servizio gateway NAT di Azure.

Requisiti

• L'area di lavoro deve essere nel piano Premium.
• È necessario essere un amministratore dell'account in Azure Databricks.
• Ogni NCC può essere collegato a un massimo di 50 aree di lavoro.

• Ogni account Azure Databricks può avere fino a 10 NCC per regione.
• È necessario avere l’accesso WRITE alle regole di rete dell'account di archiviazione di Azure.

Passaggio 1: Creare una configurazione della connessione di rete e copiare gli ID subnet

Databricks consiglia di condividere controller di rete tra aree di lavoro nella stessa business unit e quelle che condividono la stessa area e le stesse proprietà di connettività. Ad esempio, se alcune aree di lavoro usano il firewall di archiviazione e altre aree di lavoro usano l'approccio alternativo del collegamento privato, usare controller di rete separati per tali casi d'uso.

1. In qualità di amministratore dell'account, vai alla console dell'account.
2. Nella barra laterale, fare clic su Risorse cloud.
3. Fare clic su Configurazione connessione di rete.
4. Fare clic su Aggiungi configurazioni di connessione di rete.
5. Digitare un nome per il NCC.
6. Seleziona l'area. Deve corrispondere alla regione dell'area di lavoro.
7. Fare clic su Aggiungi.
8. Nell'elenco degli NCC, fai clic sul tuo nuovo NCC.
9. In Regole predefinite in Identità di rete, fare clic su Visualizza tutto.
10. Nella finestra di dialogo, fare clic sul pulsante Copia subnet.
11. Fare clic su Close.

Passaggio 2: Collegare un NCC alle aree di lavoro

È possibile collegare un NCC a un massimo di 50 aree di lavoro nella stessa area del NCC.

Per usare l'API per collegare un NCC a un'area di lavoro, vedere l'Account Workspaces API.

1. Nella barra laterale della console dell'account fare clic su Aree di lavoro.
2. Fare clic sul nome dell'area di lavoro.
3. Fai clic su Aggiorna area di lavoro.
4. Nel campo Configurazione della connettività di rete, selezionare il vostro NCC. Se non è visibile, verificare di aver selezionato la stessa area sia per l'area di lavoro che per il NCC.
5. Fare clic su Aggiorna.
6. Attendere 10 minuti affinché le modifiche abbiano effetto.
7. Riavviare tutte le risorse di elaborazione serverless in esecuzione nell'area di lavoro.

Se si usa questa funzionalità per connettersi all'account di archiviazione dell'area di lavoro, la configurazione è completata. Le regole di rete vengono aggiunte automaticamente all'account di archiviazione dell'area di lavoro. Per altri account di archiviazione, continuare con il passaggio successivo.

Passaggio 3: Bloccare l'account di archiviazione

Se non è già stato limitato l'accesso all'account di archiviazione di Azure solo alle reti consentite, eseguire questa operazione. Non è necessario eseguire questo passaggio per l'account di archiviazione dell'area di lavoro.

La creazione di un firewall di archiviazione influisce anche sulla connettività dal piano di calcolo classico alle risorse. È anche necessario aggiungere regole di rete per connettersi agli account di archiviazione dalle risorse di calcolo classiche.

1. Vai al portale di Azure.
2. Passare all’account di archiviazione per l’origine dei dati.
3. Nella barra laterale sinistra, fare clic su Networking.
4. Controllare il valore nel campo Accesso alla rete pubblica. Per impostazione predefinita, il valore è Abilitato da tutte le reti. Modificarlo in Abilitato da reti virtuali e indirizzi IP selezionati.

Passaggio 4: Aggiungere una regola di rete dell'account di archiviazione di Azure:

Non è necessario eseguire questo passaggio per l'account di archiviazione dell'area di lavoro.

1. Aggiungere una regola di rete dell'account di archiviazione di Azure per ogni subnet. A tale scopo, è possibile usare l'interfaccia della riga di comando di Azure, PowerShell, Terraform o altri strumenti di automazione. Si noti che questo passaggio non può essere eseguito nell'interfaccia utente del portale di Azure.

   L'esempio seguente usa l'interfaccia della riga di comando di Azure:

   az storage account network-rule add --subscription "<sub>" \
       --resource-group "<res>" --account-name "<account>" --subnet "<subnet>"
   

   • Sostituire <sub> con il nome della sottoscrizione Azure per l'account di archiviazione.
   • Sostituire <res> con il gruppo di risorse del proprio account di archiviazione.
   • Sostituire <account> con il nome del proprio account di archiviazione
   • Sostituire <subnet> con l'ID risorsa ARM (resourceId) della subnet di calcolo serverless.

   Dopo aver eseguito tutti i comandi, è possibile usare il portale di Azure per visualizzare l'account di archiviazione e verificare che sia presente una voce nella tabella Reti virtuali che rappresenti la nuova subnet. Tuttavia, non è possibile apportare modifiche alle regole di rete nel portale di Azure.

   Suggerimento

   • Quando si aggiungono regole di rete all'account di archiviazione, usare l'API di connettività di rete per recuperare le sottoreti più recenti.
   • Evitare di archiviare le informazioni NCC in locale.
   • Ignorare la menzione "Autorizzazioni insufficienti" nella colonna stato dell'endpoint o nell'avviso sotto l'elenco di rete. Indicano solo che non avete l'autorizzazione per leggere le subnet di Azure Databricks, ma ciò non interferisce con la possibilità che quella subnet serverless di Azure Databricks contatti il vostro archivio Azure.

   

2. Ripetere questo comando una volta per ogni subnet.

3. Per verificare che l'account di archiviazione usi queste impostazioni dal portale di Azure, passare a Rete nell'account di archiviazione.

   Verificare che l'Accesso alla rete pubblica sia impostato su Abilitato da reti virtuali selezionate e indirizzi IP e che le reti consentite siano elencate nella sezione Reti virtuali.