Configurer la connectivité privée depuis un calcul serverless

Cet article décrit comment configurer la connectivité privée à partir du calcul serverless à l’aide de l’interface utilisateur de la console de compte Azure Databricks. Vous pouvez également utiliser l’API Configurations de connectivité réseau.

Si vous configurez votre ressource Azure pour qu’elle n’accepte que les connexions à partir de points de terminaison privés, toute connexion à la ressource à partir de vos ressources de calcul Databricks classiques doit également utiliser des points de terminaison privés.

Afin de configurer un pare-feu de Stockage Azure pour accéder au calcul serverless en utilisant des sous-réseaux, consultez plutôt Configurer un pare-feu pour accéder au calcul serverless. Pour gérer les règles de point de terminaison privé existantes, consultez Gérer les règles de point de terminaison privé.

Important

À compter du 4 décembre 2024, Databricks commence à facturer les coûts réseau sur les charges de travail serverless qui se connectent aux ressources externes. La facturation sera implémentée progressivement et vous ne serez peut-être pas facturé avant le 4 décembre 2024. Vous ne serez pas facturé rétroactif pour l’utilisation avant l’activation de la facturation. Une fois la facturation activée, vous pouvez être facturé pour :

• Connectivité privée à vos ressources via Private Link. Les frais de traitement des données pour la connectivité privée à vos ressources via Private Link sont annulés indéfiniment. Les frais par heure s’appliquent.
• Connectivité publique à vos ressources via la passerelle NAT.
• Les frais de transfert de données encourus, par exemple lorsque le calcul serverless et la ressource cible se trouvent dans différentes régions.

Vue d’ensemble de la connectivité privée pour un calcul serverless

La connectivité réseau serverless est gérée avec des configurations de connectivité réseau (CCN). Les administrateurs de compte créent des configurations de connectivité réseau dans la console de compte, et une configuration de connectivité réseau peut être attachée à un ou plusieurs espaces de travail.

Quand vous ajoutez un point de terminaison privé dans une configuration de connectivité réseau, Azure Databricks crée une demande de point de terminaison privé pour votre ressource Azure. Une fois la requête acceptée côté ressource, le point de terminaison privé est utilisé pour accéder aux ressources à partir du plan de calcul serverless. Le point de terminaison privé est dédié à votre compte Azure Databricks et est accessible seulement depuis des espaces de travail autorisés.

Les points de terminaison privés de LA NCN sont pris en charge à partir d’entrepôts SQL, de travaux, de notebooks, de tables dynamiques Delta et de points de terminaison de service de modèle.

Remarque

Les points de terminaison privés des configurations de connectivité réseau sont pris en charge seulement pour les sources de données que vous gérez. Pour la connexion au compte de stockage de l’espace de travail, contactez votre équipe de compte Azure Databricks.

Remarque

Le service de modèle utilise le chemin de stockage d’objets blob Azure pour télécharger les artefacts de modèle. Créez donc un point de terminaison privé pour votre objet blob d’ID de sous-ressource. Vous aurez besoin de DFS pour journaliser les modèles dans le catalogue Unity à partir de notebooks serverless.

Pour plus d’informations sur les configurations de connectivité réseau, consultez Qu’est-ce qu’une configuration de connectivité réseau ?.

Spécifications

• Votre espace de travail doit être sur le plan Premium.
• Vous devez être administrateur de compte Azure Databricks.
• Chaque compte Azure Databricks peut avoir jusqu’à 10 configurations de connectivité réseau par région.
• Chaque région peut avoir 100 points de terminaison privés, répartis sur 1 à 10 configurations de connectivité réseau selon les besoins.
• Chaque configuration de connectivité réseau peut être attachée à jusqu’à 50 espaces de travail.

Étape 1 : Créer une configuration de connectivité réseau

Databricks recommande de partager une configuration de connectivité réseau entre des espaces de travail au sein d’un même département et ceux qui partagent les mêmes propriétés de connectivité pour la région. Par exemple, si certains espaces de travail utilisent Private Link et que d’autres espaces de travail utilisent l’activation de pare-feu, utilisez des.configurations de connectivité réseau distinctes pour ces cas d’usage.

1. En tant qu’administrateur de compte, accédez à la console de compte.
2. Dans la barre latérale, cliquez sur Ressources cloud.
3. Cliquez sur Configurations de connectivité réseau.
4. Cliquez sur Ajouter une configuration de connectivité réseau.
5. Entrez un nom pour la configuration de connectivité réseau.
6. Choisissez la région. Cela doit correspondre à votre région d’espace de travail.
7. Cliquez sur Ajouter.

Étape 2 : Attacher une configuration de connectivité réseau à un espace de travail

1. Dans la barre latérale de la console de compte, cliquez sur Espaces de travail.
2. Cliquez sur le nom de votre espace de travail.
3. Cliquez sur Mettre à jour l’espace de travail.
4. Dans le champ Configuration de la connectivité réseau, sélectionnez votre CCN. Si elle n’est pas visible, vérifiez que vous avez sélectionné la même région Azure pour l’espace de travail et pour la configuration de connectivité réseau.
5. Cliquez sur Update.
6. Attendez 10 minutes pour que la modification prenne effet.
7. Redémarrez les services serverless en cours d’exécution dans l’espace de travail.

Étape 3 : Créer des règles de point de terminaison privé

Vous devez créer une règle de point de terminaison privé dans votre configuration de connectivité réseau pour chaque ressource Azure.

1. Obtenez la liste des ID de ressources Azure pour toutes vos destinations.
   1. Dans un autre onglet de navigateur, utilisez le Portail Azure accédez aux services Azure de votre source de données.
   2. Dans sa page Vue d’ensemble vue d’ensemble, consultez la sectionEssentials.
   3. Cliquez sur le lienaffichage JSON. L’ID de ressource du service s’affiche en haut de la page.
   4. Copiez cet ID de ressource vers un autre emplacement. Répétez pour toutes les destinations. Pour plus d’informations sur la recherche de votre ID de ressource, consultez les valeurs de zone DNS privée du point de terminaison privé Azure.
2. Revenez à l’onglet du navigateur de la console de votre compte.
3. Dans la barre latérale, cliquez sur Ressources cloud.
4. Cliquez sur Configurations de connectivité réseau.
5. Sélectionnez la configuration de connectivité réseau que vous avez créée à l’étape 1.
6. Dans Règles de point de terminaison privé, cliquez sur Ajouter une règle de point de terminaison privé.
7. Dans le champ ID de ressource Azure de destination, collez l’ID de ressource de votre ressource.
8. Dans le champ ID de sous-ressource Azure, spécifiez l’ID de destination et le type de sous-ressource. Chaque règle de point de terminaison privé doit utiliser un ID de sous-ressource différent. Pour obtenir la liste des types de sous-ressources pris en charge, consultez la disponibilité d’Azure Private Link.
9. Cliquez sur Ajouter.
10. Attendez quelques minutes jusqu’à ce que toutes les règles relatives aux points de terminaison affichent l’état PENDING.

Étape 4 : Approuver les nouveaux points de terminaison privés sur vos ressources

Les points de terminaison ne prennent pas effet tant qu’un administrateur disposant de droits sur la ressource n’approuve pas le nouveau point de terminaison privé. Pour approuver un point de terminaison privé en utilisant le portail Azure, procédez comme suit :

1. Dans le Portail Azure, accédez à votre ressource.

2. Dans la barre latérale, cliquez sur Mise en réseau.

3. Cliquez sur connexions de point de terminaison privé.

4. Cliquez sur l’onglet accès privé .

5. Sous Connexions de point de terminaison privé, passez en revue la liste des points de terminaison privés.

6. Cliquez sur la case à cocher en regard de chacune d’elles pour approuver, puis cliquez sur le bouton Approuver au-dessus de la liste.

7. Revenez à votre configuration de connectivité réseau, puis actualisez la page du navigateur jusqu’à ce que toutes les règles de point de terminaison aient l’état ESTABLISHED.

   

(Facultatif) Étape 5 : Définir votre compte de stockage pour interdire l’accès au réseau public

Si vous n’avez pas encore limité l’accès au compte de stockage Azure à des réseaux répertoriés uniquement, vous pouvez choisir de le faire.

1. Accédez au portail Azure.
2. Accédez à votre compte de stockage pour la source de données.
3. Dans la barre latérale, cliquez sur Mise en réseau.
4. Dans le champ accès au réseau public, vérifiez la valeur. Par défaut, la valeur est activée à partir de tous les réseaux. Remplacez-le par désactivé

Étape 6 : Redémarrer les ressources du plan de calcul serverless et tester la connexion

1. Après l’étape précédente, attendez cinq minutes supplémentaires pour que les modifications se propagent.
2. Redémarrez les ressources de plan de calcul serverless en cours d’exécution dans les espaces de travail auxquels votre CCN est attachée. Si vous n’avez pas de ressources de plan de calcul serverless en cours d’exécution, démarrez-en une maintenant.
3. Vérifiez que toutes les ressources démarrent correctement.
4. Exécutez au moins une requête sur votre source de données pour vérifier que l’entrepôt SQL serverless peut atteindre votre source de données.