Créer des charges de travail sur des machines virtuelles spot

Cet article décrit les meilleures pratiques pour créer des machines virtuelles Azure Spot. Il inclut un exemple de scénario déployable. Les machines virtuelles Spot (machines virtuelles spot) permettent d’accéder à la capacité de calcul à des prix inférieurs aux machines virtuelles normales. Cette remise leur permet d’optimiser les coûts pour les organisations qui souhaitent optimiser les coûts. Mais les économies viennent avec un compromis. Les machines virtuelles Spot peuvent être supprimées à tout moment, ce qui signifie qu’elles perdent l’accès aux ressources de calcul. Les charges de travail qui s’exécutent sur des machines virtuelles spot doivent être en mesure de gérer ces interruptions dans le calcul. La charge de travail appropriée et un mécanisme d’orchestration flexible sont les clés du succès. Les recommandations suivantes décrivent comment créer des machines virtuelles spot.

Comprendre les machines virtuelles spot

Au niveau technique, les machines virtuelles spot sont les mêmes que les machines virtuelles régulières. Ils utilisent les mêmes images, matériels et disques qui se traduisent par les mêmes performances. La principale différence entre les machines virtuelles spot et les machines virtuelles régulières est leur priorité et leur disponibilité. Les machines virtuelles Spot n’ont aucune priorité pour accéder à la capacité de calcul et n’ont aucune garantie de disponibilité après avoir accès à cette capacité de calcul.

• Aucun accès prioritaire. Les machines virtuelles régulières ont un accès prioritaire à la capacité de calcul. Ils accèdent à la capacité de calcul quand ils le demandent. Toutefois, les machines virtuelles spot sont déployées uniquement lorsqu’il existe une capacité de calcul de rechange. Et ils continuent à s’exécuter uniquement lorsqu’une machine virtuelle normale n’a pas besoin du matériel sous-jacent.

• Aucune garantie de disponibilité. Les machines virtuelles Spot n’ont aucune garantie de disponibilité ni contrats de niveau de service (SLA). Les machines virtuelles Spot peuvent perdre immédiatement l’accès à la capacité de calcul, ou à tout moment après le déploiement ou l’éviction. Les machines virtuelles Spot sont moins coûteuses, car elles peuvent être supprimées. Quand Azure a besoin de la capacité de calcul, une notification d’éviction est envoyée et supprime la machine virtuelle spot. Azure fournit un préavis de 30 secondes au minimum avant l’éviction réelle. Pour plus d’informations, consultez Surveiller en permanence lesd’éviction.

Comprendre la tarification des machines virtuelles spot

Les machines virtuelles Spot peuvent être jusqu’à 90% moins chères que les machines virtuelles de paiement à l’utilisation standard. La remise varie en fonction de la demande, de la taille de machine virtuelle, de la région de déploiement et du système d’exploitation. Pour obtenir une estimation des coûts, consultez outil de tarification Azure Spot Virtual Machines et Vue d’ensemble des tarifs des machines virtuelles Spot. Vous pouvez également interroger l’API prix de vente au détail Azure pour obtenir par programme la tarification spot pour n’importe quelle référence SKU.

Comprendre les charges de travail interromptables

Les machines virtuelles Spot sont idéales pour les charges de travail interromptables, qui partagent plusieurs caractéristiques communes. Les charges de travail interromptables n’ont pas de contraintes de temps, une faible priorité organisationnelle et des temps de traitement courts. Ils exécutent des processus qui peuvent s’arrêter soudainement et reprendre ultérieurement sans nuire aux processus organisationnels essentiels. Des exemples de charges de travail interromptables sont des applications de traitement par lots, l’analytique des données et les charges de travail qui créent un agent de déploiement continu et d’intégration continue pour un environnement hors production. Ces fonctionnalités sont comparées aux charges de travail régulières ou critiques qui ont des contrats SLA, des sessions sticky et des données avec état.

Vous pouvez utiliser des machines virtuelles spot dans des charges de travail non interruptions, mais elles ne doivent pas être la seule source de capacité de calcul. Utilisez autant de machines virtuelles régulières que nécessaire pour répondre à vos besoins en temps d’activité.

Comprendre l’éviction

Les machines virtuelles Spot n’ont aucun contrat SLA après la création et peuvent perdre l’accès au calcul à tout moment. Nous appelons cette perte de calcul une éviction . Calcul des évictions de l’offre et de la demande. Lorsque la demande d’une taille de machine virtuelle spécifique dépasse un niveau spécifique, Azure supprime les machines virtuelles spot pour rendre le calcul disponible pour les machines virtuelles régulières. La demande est spécifique à l’emplacement. Par exemple, une augmentation de la demande dans la région A n’affecte pas les machines virtuelles spot dans la région B.

Les machines virtuelles Spot ont deux options de configuration qui affectent l’éviction. Ces configurations sont le type d’éviction et stratégie d’éviction de la machine virtuelle spot. Vous définissez ces configurations lorsque vous créez la machine virtuelle spot. Le type d’éviction définit les conditions d’une éviction. La stratégie d’éviction détermine ce que fait l’éviction sur votre machine virtuelle spot.

Type d’éviction

Les changements de capacité ou les changements de prix entraînent des évictions. La façon dont les modifications de capacité et de prix affectent les machines virtuelles spot dépend du type d’éviction que vous choisissez lors de la création de la machine virtuelle. Le type d’éviction définit les conditions d’une éviction. Les types d’éviction sont d’éviction de capacité uniquement et prix ou éviction de capacité.

• éviction de capacité uniquement : ce type d’éviction déclenche une éviction lorsque l’excès de capacité de calcul n’est plus disponible. Par défaut, le prix est limité au tarif de paiement à l’utilisation. Utilisez ce type d’éviction lorsque vous ne souhaitez pas payer plus que le prix de la machine virtuelle de paiement à l’utilisation.

• éviction de prix ou de capacité : ce type d’éviction a deux déclencheurs. Azure supprime une machine virtuelle spot lorsque l’excès de capacité de calcul n’est plus disponible ou que le coût de la machine virtuelle dépasse le prix maximal que vous définissez. Ce type d’éviction vous permet de définir un prix maximal bien inférieur au prix de paiement à l’utilisation. Utilisez ce type d’éviction pour définir votre propre limite de prix.

Stratégie d’éviction

La stratégie d’éviction que vous choisissez pour une machine virtuelle spot affecte son orchestration. L’orchestration est le processus de gestion d’une éviction et est abordée plus loin dans cet article. Les stratégies d’éviction sont la stratégie Arrêter/libérer et la Supprimer la stratégie.

stratégie Arrêter/libérer : la stratégie Stop/Deallocate est idéale lorsque la charge de travail peut attendre la capacité de mise en production dans le même emplacement et le même type de machine virtuelle. La stratégie Stop/Deallocate arrête la machine virtuelle et termine son bail avec le matériel sous-jacent. L’arrêt et la désaffectation d’une machine virtuelle spot sont les mêmes que l’arrêt et l’allocation d’une machine virtuelle normale. La machine virtuelle reste accessible dans Azure et vous pouvez redémarrer la même machine virtuelle ultérieurement. La machine virtuelle perd la capacité de calcul et les adresses IP non statiques avec la stratégie Stop/Deallocate. Toutefois, les disques de données de machine virtuelle restent et continuent d’entraîner des frais. La machine virtuelle occupe également des cœurs dans l’abonnement. Les machines virtuelles ne peuvent pas être déplacées à partir de leur région ou zone, même lorsqu’elles sont arrêtées ou libérées. Pour plus d’informations, consultez états Power etde facturation .

Supprimer la stratégie : Utilisez la stratégie De suppression si la charge de travail peut modifier l’emplacement ou la taille de machine virtuelle. La modification de l’emplacement ou de la taille de machine virtuelle permet à la machine virtuelle de redéployer plus rapidement. La stratégie Supprimer supprime la machine virtuelle et tout disque de données. La machine virtuelle n’occupe pas de cœurs dans les abonnements. Pour plus d’informations, consultez stratégie d’éviction.

Conception pour l’orchestration flexible

L’orchestration est le processus de remplacement d’une machine virtuelle spot après une éviction. C’est la base de la création d’une charge de travail interromptable de manière fiable. Un bon système d’orchestration offre une flexibilité intégrée. La flexibilité consiste à concevoir votre orchestration afin d’avoir des options, d’utiliser plusieurs tailles de machine virtuelle, de déployer dans différentes régions, d’avoir une sensibilisation à l’éviction et de prendre en compte différents scénarios d’éviction pour améliorer la fiabilité et la vitesse de la charge de travail.

Conception pour la vitesse

Pour une charge de travail qui s’exécute sur des machines virtuelles spot, la capacité de calcul est cruciale. En raison du risque d’éviction, assurez-vous que vous comprenez le temps de calcul alloué afin que vous puissiez prendre des décisions de conception éclairées qui hiérarchisent la vitesse de charge de travail. En règle générale, vous devez optimiser le temps de calcul dont vous disposez. Créez une image de machine virtuelle qui a tous les logiciels requis préinstallés. Le logiciel préinstallé permet de réduire le temps entre l’éviction et une application entièrement opérationnelle. Évitez d’utiliser le temps de calcul sur les processus qui ne contribuent pas à l’objectif de la charge de travail. Par exemple, une charge de travail pour l’analytique des données doit concentrer la plupart de son temps de calcul sur le traitement des données et le moins de temps possible sur la collecte des métadonnées d’éviction. Éliminez les processus non essentiels de votre application.

Utiliser plusieurs tailles et emplacements de machine virtuelle

Pour augmenter la flexibilité, créez une orchestration pour utiliser plusieurs types et tailles de machines virtuelles. L’objectif est de donner à vos options d’orchestration de remplacer une machine virtuelle supprimée. Azure a différents types et tailles de machines virtuelles qui fournissent des fonctionnalités similaires pour environ le même prix. Filtrez les processeurs virtuels ou cœurs minimaux, la RAM minimale pour les machines virtuelles et le prix maximal. Ce processus vous aide à trouver plusieurs machines virtuelles qui correspondent à votre budget et ont suffisamment de puissance pour exécuter votre charge de travail.

Chaque type de machine virtuelle a un taux d’éviction exprimé en pourcentage, tel que 0%-5%, 5%-10%, 10%-15%, 15%-20%ou 20+%. Les taux d’éviction peuvent varier entre les régions. Vous trouverez peut-être un meilleur taux d’éviction pour le même type de machine virtuelle dans une autre région. Vous trouverez les taux d’éviction pour chaque type de machine virtuelle dans le portail sous l’onglet Informations de base. En regard de Taille, sélectionnez Afficher l’historique des tarifs ou Afficher toutes les tailles. Vous pouvez également obtenir par programme des données de machine virtuelle spot à l’aide d’Azure Resource Graph.

Dans votre système d’orchestration, envisagez d’utiliser la fonctionnalité de score de positionnement spot pour évaluer la probabilité de réussite des déploiements spot individuels.

Pour plus d’informations, consultez les ressources suivantes :

• taux d’éviction
• Resource Graph
• score de positionnement Spot

Utiliser la stratégie d’éviction la plus flexible

La stratégie d’éviction de la machine virtuelle spot supprimée affecte le processus de remplacement. Par exemple, une stratégie De suppression est plus flexible qu’une stratégie Stop/Deallocate.

• envisagez d’abord la stratégie De suppression : Utiliser une stratégie de suppression si votre charge de travail peut la gérer. La suppression permet à l’orchestration de déployer des machines virtuelles spot de remplacement dans de nouvelles zones et régions. Cette flexibilité de déploiement peut aider votre charge de travail à trouver une capacité de calcul de rechange plus rapide qu’une machine virtuelle arrêtée ou désallouée. Les machines virtuelles arrêtées ou libérées doivent attendre la capacité de calcul de rechange dans la même zone dans laquelle elles ont été créées. Pour la stratégie De suppression, vous avez besoin d’un processus externe pour surveiller les évictions et orchestrer les déploiements dans différentes régions, utiliser différentes références SKU de machine virtuelle, ou les deux.

• Comprendre la stratégie Arrêter/libérer : la stratégie Arrêter/Libérer a moins de flexibilité que la stratégie Supprimer. Les machines virtuelles spot doivent rester dans la même région et la même zone. Vous ne pouvez pas déplacer une machine virtuelle arrêtée ou désallouée vers un autre emplacement. Étant donné que les machines virtuelles ont un emplacement fixe, vous avez besoin d’un élément en place pour réallouer la machine virtuelle lorsque la capacité de calcul devient disponible. Il n’existe aucun moyen de prédire la disponibilité de la capacité de calcul. Vous devez donc utiliser un pipeline de planification automatisée pour tenter un redéploiement après une éviction. Une éviction doit déclencher le pipeline de planification, et les tentatives de redéploiement doivent vérifier en permanence la capacité de calcul jusqu’à ce qu’elle soit disponible.

Surveiller en permanence l’éviction

La surveillance est la clé de la fiabilité de la charge de travail sur les machines virtuelles spot. Les machines virtuelles Spot n’ont aucun contrat SLA après la création et peuvent être supprimées à tout moment. La meilleure façon d’améliorer la fiabilité de la charge de travail sur les machines virtuelles spot consiste à anticiper quand elles seront supprimées. Si vous disposez de ces informations, vous pouvez tenter un arrêt approprié de la charge de travail et déclencher l’automatisation pour orchestrer le remplacement.

• utiliser des événements planifiés : utiliser le service Événements planifiés pour chaque machine virtuelle. Azure envoie des signaux aux machines virtuelles lorsque la maintenance de l’infrastructure va les affecter. Les évictions sont qualifiées de maintenance de l’infrastructure. Azure envoie le signal Preempt à toutes les machines virtuelles au minimum 30 secondes avant qu’elles ne soient supprimées. Le service Événements planifiés vous permet de capturer ce signal Preempt en interrogeant un point de terminaison sur l’adresse IP statique et non routable 169.254.169.254.

• Utiliser des requêtes fréquentes : interroger le point de terminaison Événements planifiés suffisamment souvent pour orchestrer un arrêt approprié. Vous pouvez interroger le point de terminaison Des événements planifiés jusqu’à chaque seconde, mais une fréquence d’une seconde peut ne pas être nécessaire pour tous les cas d’usage. Ces requêtes doivent provenir d’une application qui s’exécute sur la machine virtuelle spot. La requête ne peut pas provenir d’une source externe. Par conséquent, les requêtes consomment la capacité de calcul des machines virtuelles et volent la puissance de traitement de la charge de travail principale. Vous devez équilibrer ces priorités concurrentes pour répondre à votre situation spécifique.

• Automatiser l’orchestration : Après avoir collecté le signal Preempt, votre orchestration doit agir sur ce signal. Étant donné les contraintes de temps, le signal Preempt doit tenter un arrêt normal de votre charge de travail et démarrer un processus automatisé qui remplace la machine virtuelle spot. Pour plus d’informations, consultez les ressources suivantes :

  • événements planifiés
  • types d’événements planifiés
  • fréquence d’interrogation de point de terminaison

Créer un système de déploiement

Votre orchestration a besoin d’un pipeline automatisé pour déployer de nouvelles machines virtuelles spot après éviction. Le pipeline doit s’exécuter en dehors de la charge de travail interromptable pour garantir la permanence. Le pipeline de déploiement doit fonctionner en fonction de la stratégie d’éviction que vous choisissez pour vos machines virtuelles spot.

Pour une stratégie De suppression, nous vous recommandons de créer un pipeline qui utilise différentes tailles de machine virtuelle et de les déployer dans différentes régions. Pour une stratégie Stop/Deallocate, le pipeline de déploiement a besoin de deux actions distinctes. Pour la création initiale d’une machine virtuelle, le pipeline doit déployer les machines virtuelles de taille appropriée à l’emplacement approprié. Pour une machine virtuelle supprimée, le pipeline doit essayer de redémarrer la machine virtuelle jusqu’à ce qu’elle fonctionne. Une combinaison d’alertes Azure Monitor et de fonctions Azure est un moyen d’automatiser un système de déploiement. Le pipeline peut utiliser des modèles bicep. Ils sont déclaratifs et idempotents et représentent une bonne pratique pour le déploiement d’infrastructure.

Préparer l’éviction immédiate

Il est possible qu’Azure supprime une machine virtuelle spot dès que vous la créez et avant l’exécution de votre charge de travail. Dans certains cas, il peut y avoir suffisamment de capacité pour créer une machine virtuelle spot, mais elle ne durera pas. Les machines virtuelles Spot n’ont aucune garantie de disponibilité ou contrat sla, après la création. Votre orchestration doit tenir compte des évictions immédiates. Le signal Preempt fournit un préavis de 30 secondes minimum de l’éviction.

Incorporez des contrôles d’intégrité des machines virtuelles dans votre orchestration pour préparer les évictions immédiates. L’orchestration pour les évictions immédiates ne peut pas dépendre des événements planifiés Preempt signal. Seule la machine virtuelle elle-même peut interroger le signal Preempt, et il n’y a pas suffisamment de temps pour démarrer une application, interroger le point de terminaison Des événements planifiés et arrêter correctement. Par conséquent, le contrôle d’intégrité doit résider en dehors de l’environnement de charge de travail. Les vérifications d’intégrité doivent surveiller l’état de la machine virtuelle spot et démarrer le pipeline de déploiement pour remplacer la machine virtuelle spot lorsque l’état change pour déallouer ou arrêter.

Planifier plusieurs évictions simultanées

Si vous exécutez un cluster de machines virtuelles spot, concevez la charge de travail pour résister à plusieurs évictions simultanées. Plusieurs machines virtuelles spot dans la charge de travail peuvent être supprimées en même temps. Une éviction simultanée de plusieurs machines virtuelles peut affecter le débit de l’application. Pour éviter cette situation, votre pipeline de déploiement doit être en mesure de collecter des signaux à partir de plusieurs machines virtuelles et de déployer simultanément plusieurs machines virtuelles de remplacement.

Conception d’un arrêt approprié

Le processus d’arrêt de la machine virtuelle doit être inférieur à 30 secondes et autoriser votre machine virtuelle à s’arrêter avant une éviction. La durée pendant laquelle l’arrêt doit prendre dépend de la fréquence à laquelle votre charge de travail interroge le point de terminaison Événements planifiés. Plus vous interrogez le point de terminaison plus souvent, plus le processus d’arrêt peut prendre. Le processus d’arrêt doit libérer des ressources, vider les connexions et vider les journaux des événements. Vous devez créer et enregistrer régulièrement des points de contrôle pour conserver le contexte et créer une stratégie de récupération plus efficace. Le point de contrôle est simplement des informations sur les processus ou transactions sur utilisant la machine virtuelle suivante. Ils doivent indiquer si la machine virtuelle doit reprendre l’emplacement où la machine virtuelle précédente est désactivée ou si la nouvelle machine virtuelle doit rétablir les modifications et redémarrer l’ensemble du processus. Stockez les points de contrôle en dehors de l’environnement de machine virtuelle spot, comme dans un compte de stockage.

Tester l’orchestration

Simuler des événements d’éviction pour tester l’orchestration dans des environnements de développement/test. Pour plus d’informations, consultez Simuler l’éviction.

Concevoir une charge de travail idempotente

Nous vous recommandons de concevoir une charge de travail idempotente. Le résultat du traitement d’un événement plusieurs fois doit être identique au traitement une seule fois. Les évictions peuvent entraîner des arrêts forcés, malgré les efforts déployés pour garantir des arrêts corrects. Les arrêts forcés peuvent arrêter les processus avant l’achèvement. Les charges de travail idempotentes peuvent recevoir le même message plusieurs fois sans modifier le résultat. Pour plus d’informations, consultez idempotency .

Utiliser une période de préchauffement d’application

La plupart des charges de travail interromptables exécutent des applications. Les applications ont besoin de temps pour installer et démarrer. Ils ont également besoin de temps pour se connecter au stockage externe et collecter des informations à partir de points de contrôle. Disposer d’une période de préchauffement de l’application avant de l’autoriser à démarrer le traitement. Pendant la période de préchauffement, l’application doit démarrer, établir des connexions et préparer la contribution. Autorisez une application à démarrer le traitement des données après avoir validé l’intégrité de l’application.

Configurer les identités managées affectées par l’utilisateur

Affectez des identités managées affectées par l’utilisateur pour simplifier le processus d’authentification et d’autorisation. Les identités managées affectées par l’utilisateur vous permettent d’éviter de placer des informations d’identification dans le code et ne sont pas liées à une seule ressource, comme les identités managées affectées par le système. Les identités managées affectées par l’utilisateur contiennent des autorisations et des jetons d’accès de Microsoft Entra ID qui peuvent être réutilisés et affectés à des machines virtuelles spot pendant l’orchestration. La cohérence des jetons entre les machines virtuelles spot permet de simplifier l’orchestration et simplifie l’accès aux ressources de charge de travail dont disposent les machines virtuelles spot.

Si vous utilisez des identités managées affectées par le système, une nouvelle machine virtuelle spot peut obtenir un jeton d’accès différent de l’ID Microsoft Entra. Si vous devez utiliser des identités managées affectées par le système, rendez les charges de travail résilientes aux réponses 403 Forbidden Error. Votre orchestration doit obtenir des jetons de Microsoft Entra ID avec les autorisations appropriées. Pour plus d’informations, consultez identités managées.

Exemple de scénario

L’exemple de scénario déploie une application de traitement de file d’attente qui se qualifie comme une charge de travail interromptable. Les scripts du scénario servent d’exemples. Le scénario vous guide tout au long d’une transmission push manuelle unique pour déployer des ressources. Cette implémentation n’a pas de pipeline de déploiement. Toutefois, un pipeline de déploiement est essentiel pour automatiser le processus d’orchestration. Le diagramme suivant montre l’architecture de l’exemple de scénario.

Télécharger un fichier Visio de cette architecture.

Le flux de travail suivant correspond au diagramme précédent :

1. définition d’application de machine virtuelle : La définition de l’application de machine virtuelle est créée dans la galerie de calcul Azure. Il définit le nom, l’emplacement, le système d’exploitation et les métadonnées de l’application. La version de l’application est une version numérotée de la définition de l’application de machine virtuelle. La version de l’application représente l’application de machine virtuelle. Elle doit se trouver dans la même région que la machine virtuelle spot. La version de l’application est liée au package d’application source dans le compte de stockage.

2. compte de stockage : le compte de stockage stocke le package d’application source. Dans cette architecture, il s’agit d’un fichier tar compressé nommé worker-0.1.0.tar.gz. Il contient deux fichiers. Un fichier est le orchestrate.sh script bash qui installe l’application worker .NET.

3. machine virtuelle Spot : La machine virtuelle spot se déploie. Elle doit se trouver dans la même région que la version de l’application. Il télécharge worker-0.1.0.tar.gz sur la machine virtuelle après le déploiement. Le modèle bicep déploie une image Ubuntu sur une machine virtuelle de famille standard. Ces configurations répondent aux besoins de cette application et ne sont pas des recommandations générales pour vos applications.

4. file d’attente de stockage : L’autre service qui s’exécute dans le worker .NET contient la logique de file d’attente de messages. L’ID Microsoft Entra accorde à la machine virtuelle spot l’accès à la file d’attente de stockage dans Stockage File d’attente Azure avec une identité affectée par l’utilisateur à l’aide du contrôle d’accès en fonction du rôle.

5. application worker .NET : le script orchestrate.sh installe une application worker .NET qui exécute deux services en arrière-plan. Le premier service interroge le point de terminaison Événements planifiés, recherche le signal Preempt et envoie ce signal au deuxième service. Le deuxième service traite les messages de la file d’attente de stockage et écoute le signal Preempt du premier service. Lorsque le deuxième service reçoit le signal, il interrompt le traitement de la file d’attente de stockage et commence à s’arrêter.

6. point de terminaison d’événements planifiés de requête : une requête d’API est envoyée à une adresse IP non routable statique 169.254.169.254. La demande d’API interroge le point de terminaison d’événements planifiés pour les signaux de maintenance de l’infrastructure.

7. Application Insights : L’architecture utilise Application Insights uniquement à des fins d’apprentissage. Ce n’est pas un composant essentiel de l’orchestration de charge de travail interromptable, mais vous permet de valider les données de télémétrie à partir de l’application worker .NET. L’application worker .NET envoie des données de télémétrie à Application Insights. Pour plus d’informations, consultez Activer les métriques actives à partir de l’application .NET.

Déployer ce scénario

Il existe un référentiel GitHub appelé charge de travail interromptable sur place qui contient des modèles, des scripts et des instructions pas à pas pour déployer cette architecture.

Étape suivante

Ressources associées

• approches architecturales pour la gestion et l’allocation des coûts dans une solution multilocataire
• exécuter une machine virtuelle Windows sur Azure
• exécuter une machine virtuelle Linux sur Azure