Partager via

Se connecter à un calcul serverless

  • Article

Cet article explique les différentes offres serverless disponibles dans Azure Databricks. Le calcul serverless vous permet de vous connecter rapidement à des ressources informatiques à la demande.

Les articles de cette section abordent le calcul serverless pour les notebooks, les travaux et Delta Live Tables. Pour plus d’informations sur les entrepôts SQL serverless, consultez la section Que sont les entrepôts SQL serverless ?. Pour plus d’informations sur le service de modèle, consultez l’article Service de modèle avec Azure Databricks.

Pour plus d’informations sur l’architecture du plan de capacité de calcul serverless, consultez le plan de capacité de calcul serverless.

Qu’est-ce que la capacité de calcul serverless ?

Le calcul serverless vous permet d’exécuter des charges de travail sans provisionner un cluster. Au lieu de cela, Databricks alloue et gère automatiquement les ressources de calcul nécessaires. Cela vous permet de vous concentrer sur l’écriture de code et l’analyse des données, sans vous soucier de la gestion des clusters ou de l’utilisation des ressources.

Le calcul serverless offre les avantages suivants :

  • Les ressources cloud sont gérées par Azure Databricks, ce qui réduit la surcharge de gestion et fournit un calcul instantané pour améliorer la productivité des utilisateurs.
  • Les temps de démarrage et de mise à l’échelle rapides pour les ressources de calcul serverless réduisent le temps d’inactivité et garantissent que vous payez uniquement pour le calcul que vous utilisez.
  • Étant donné que la gestion de la capacité, la sécurité, les mises à jour correctives et les mises à niveau sont gérées automatiquement, vous pouvez vous soucier moins de la fiabilité, des stratégies de sécurité et des pénuries de capacité.

Quels types de calcul serverless sont disponibles sur Azure Databricks ?

Azure Databricks propose actuellement les types de calcul serverless suivants :

  • Calcul serverless pour les notebooks : calcul à la demande et évolutif servant à exécuter du code SQL et Python dans des notebooks.
  • Calcul serverless pour les travaux : Calcul évolutif à la demande utilisé pour exécuter vos travaux Databricks sans configurer ni déployer d’infrastructure.
  • Les entrepôts SQL serverless : calcul élastique à la demande utilisé pour exécuter des commandes SQL sur des objets de données dans l’éditeur SQL ou les notebooks interactifs. Vous pouvez créer des entrepôts SQL par l’interface utilisateur, l’interface CLI ou l’API REST.
  • Pipelines DLT serverless : calcul optimisé et évolutif pour vos mises à jour de pipeline Delta Live Tables.
  • Service de modèle Mosaic AI : service à haute disponibilité et à faible latence pour le déploiement de modèles IA.

Activer le calcul serverless

Pour accéder au calcul serverless pour les notebooks, les travaux et les tables dynamiques Delta, un administrateur de compte peut avoir besoin d’activer la fonctionnalité. Voir Activer le calcul serverless.

Pour accéder aux entrepôts SQL serverless, consultez Activer les entrepôts SQL serverless.

Limitations du calcul serverless

Pour obtenir la liste des limitations, consultez Limitations du calcul serverless.

Forum aux questions (FAQ)

Comment les versions sont-elles déployées ?

Le calcul serverless est un produit sans version, ce qui signifie que Databricks met automatiquement à niveau le runtime de calcul serverless pour prendre en charge les améliorations et les mises à niveau vers la plateforme. Tous les utilisateurs obtiennent les mêmes mises à jour, déployées sur une courte période.

Comment déterminer la version serverless que j’exécute ?

Les charges de travail serverless s’exécutent toujours sur la version la plus récente du runtime. Consultez les notes de publication de la version la plus récente.

Comment estimer les coûts pour serverless ?

Databricks recommande d’exécuter et d’évaluer une charge de travail représentative ou spécifique, puis d’analyser la table du système de facturation. Consultez la Référence de table système d’utilisation facturable.

Comment analyser l’utilisation de DBU pour une charge de travail spécifique ?

Pour voir le coût d’une charge de travail spécifique, interrogez la table système system.billing.usage. Consultez Surveiller le coût du calcul serverless pour obtenir des exemples de requêtes et télécharger notre tableau de bord d’observabilité des coûts.

Je n’ai pas activé le calcul serverless pour les travaux et les notebooks, pourquoi puis-je voir les enregistrements de facturation pour les travaux serverless ?

La supervision Lakehouse et l’optimisation prédictive sont également facturées sous la référence SKU de travaux serverless.

Le calcul serverless n’a pas besoin d’être activée pour utiliser ces deux fonctionnalités.

Le calcul serverless prend-il en charge les dépôts privés ?

Les dépôts peuvent être privés ou nécessiter une authentification. Pour des raisons de sécurité, une URL pré-signée est requise lors de l’accès aux dépôts authentifiés.

Comment installer des bibliothèques pour mes tâches de travail ?

Databricks recommande d’utiliser des environnements pour installer et gérer des bibliothèques pour vos travaux. Consultez Configurer des environnements et des dépendances pour les tâches non-notebook.

Puis-je me connecter à des sources de données personnalisées ?

Non, seules les sources qui utilisent Lakehouse Federation sont prises en charge. Consultez Sources de données prises en charge.

Comment fonctionne la mise en réseau du plan de calcul serverless ?

Les ressources de calcul serverless s’exécutent dans le plan de calcul serverless, qui est géré par Azure Databricks. Pour plus d’informations sur le réseau et l’architecture, consultez l’article Mise en réseau du plan de calcul serverless.

Puis-je configurer la capacité de calcul serverless pour les projets avec les regroupements de ressources Databricks ?

Oui, les regroupements de ressources Databricks (DAB) peuvent être utilisés pour configurer des projets qui utilisent la capacité de calcul serverless. Consultez Configurer une tâche qui utilise le calcul serverless.