Automatiser à l’aide des éléments de l’interface utilisateur

Les flux de bureau utilisent des éléments de l’interface utilisateur pour interagir avec les applications et les pages web sans recourir à la reconnaissance d’images ni aux coordonnées absolues. Les éléments de l’interface utilisateur sont utilisés comme entrée dans la plupart des actions d’automatisation de l’interface utilisateur et d’automatisation du navigateur, et ils identifient des éléments spécifiques dans les fenêtres et les pages web.

Éléments d’IU

Lors du déploiement d’une action d’automatisation de l’interface utilisateur ou d’automatisation du navigateur, vous pouvez être tenu de fournir un élément d’interface utilisateur en entrée. Pour ajouter un nouvel élément d’interface utilisateur, vous pouvez le faire directement à partir des propriétés de l’action ou via le volet des éléments d’interface utilisateur du concepteur de flux.

Chacun de ces groupes d’action accepte un type différent d’éléments d’interface utilisateur. Les actions d’automatisation de l’interface utilisateur acceptent les éléments de l’interface utilisateur du bureau, tandis que les actions d’automatisation du navigateur acceptent les éléments de l’interface utilisateur Web.

Pour ajouter un nouvel élément de l’interface utilisateur à votre flux, ajoutez un nouvel élément de l’interface utilisateur via une action ou le volet des éléments de l’interface utilisateur, mettez en surbrillance l’élément respectif et appuyez sur Ctrl + Clic gauche. Lorsque la sélection est terminée, sélectionnez Terminé.

Les éléments d’interface utilisateur capturés sont ajoutés au volet des éléments d’IU. Pour accéder au volet des éléments de l’interface utilisateur, sélectionnez l’onglet Éléments de l’interface utilisateur sur le côté droit du concepteur de flux :

Les éléments peuvent être triés par ordre alphabétique via l’option Trier de l’onglet des éléments d’UI. Pour supprimer tous les éléments d’UI qui ne sont pas utilisés dans une action, sélectionnez l’icône des points en regard de l’option Trier, puis sélectionnez Supprimer les éléments d’interface utilisateur inutilisés.

Pour renommer ou supprimer un élément de l’interface utilisateur, cliquez avec le bouton droit sur l’élément respectif et sélectionnez la fonction appropriée.

Pour trouver où un élément d’interface utilisateur spécifique est utilisé dans le flux, cliquez dessus avec le bouton droit et sélectionnez Rechercher des utilisations. Les résultats affichent toutes les actions qui utilisent cet élément d’interface utilisateur. Double-sélectionnez un résultat pour mettre en évidence l’action sur l’espace de travail.

Types d’élément d’interface utilisateur

Les flux de bureau prennent en charge deux types d’éléments d’interface utilisateur en fonction de leur source : les éléments d’interface utilisateur de bureau et les éléments d’interface utilisateur Web.

Les éléments de l’interface utilisateur de bureau peuvent être capturés à partir de n’importe quelle application Windows, y compris la partie non-Web des navigateurs, telle que la barre d’adresse.

Vous pouvez utiliser ces éléments d’interface utilisateur comme entrée dans les actions d’automatisation de l’interface utilisateur pour indiquer le composant avec lequel vous souhaitez interagir. Le sélecteur d’éléments d’interface utilisateur des actions d’automatisation de l’interface utilisateur s’affiche et vous permet de capturer uniquement des éléments d’interface utilisateur de bureau.

Important

Les utilisateurs peuvent capturer des éléments de pages web via le sélecteur d’éléments de l’interface utilisateur des actions d’automatisation de l’interface utilisateur. Cependant, leurs sélecteurs représenteront des éléments de bureau, pas des éléments Web.

Les éléments de l’interface utilisateur web peuvent être capturés à partir de pages web et peuvent être utilisés uniquement dans des actions d’automatisation du navigateur.

Les actions d’automatisation du navigateur acceptent exclusivement les éléments d’interface utilisateur capturés à partir de pages web. Par conséquent, les éléments d’interface utilisateur existants capturés à partir d’applications de bureau ne sont pas affichés dans le sélecteur d’éléments d’interface utilisateur de ces actions.

Pour plus d’informations sur l’automatisation du bureau et du Web, reportez-vous à Automatiser les flux de bureau et Automatiser les flux Web.

Éléments de l’interface utilisateur pour les pages web

Pour capturer un élément d’interface utilisateur à partir d’une page web, vous devez installer l’extension de navigateur appropriée. Vous pouvez trouver plus d’informations sur les navigateurs pris en charge et l’extension requise dans Utiliser les navigateurs et gérer les extensions.

Distinguer les éléments d’interface utilisateur Web et de bureau

Le volet des éléments d’interface utilisateur affiche des indications visuelles distinctives pour aider les utilisateurs à reconnaître rapidement les éléments de l’interface utilisateur Web et de bureau.

Les mêmes icônes sont également affichées lors de la capture, vous pouvez donc vérifier le type d’un élément avant même de l’enregistrer.

Une autre méthode pour vérifier le type d’un élément de l’interface utilisateur consiste à examiner ses sélecteurs. Les éléments de l’interface utilisateur de bureau ont généralement le bureau comme élément parent, tandis que les éléments de l’interface utilisateur web ont une page web comme élément racine.

Éléments d’interface utilisateur dans les fenêtres du navigateur

La partie application d’un navigateur (1) doit être automatisée à l’aide d’éléments d’interface utilisateur de bureau. Par exemple, vous pouvez utiliser des actions d’automatisation de l’interface utilisateur pour interagir avec la barre d’adresse ou les onglets.

D’autre part, les pages web chargées dans le navigateur (2) doivent être automatisées à l’aide d’éléments de l’interface utilisateur web et d’actions d’automatisation du navigateur.

Pendant l’enregistrement, l’enregistreur distinguera automatiquement la zone « application » du navigateur des pages web et générera les éléments et actions de l’interface utilisateur appropriés.

Les interactions avec les éléments de l’interface utilisateur Web par glisser-déposer peuvent ne pas fonctionner comme prévu en raison de leurs limitations inhérentes. Pour contourner le problème, capturez les éléments de l’interface utilisateur de bureau dans une page Web en ouvrant le sélecteur d’éléments d’interface utilisateur via une action du groupe d’automatisation de l’interface utilisateur et en sélectionnant Ajouter un élément d’interface utilisateur dans le paramètre UI element. L’élément d’interface utilisateur capturé est de type bureau et peut être utilisé dans l’action Drag and drop UI element in window. Gardez à l’esprit que les éléments de l’interface utilisateur de bureau ne peuvent être utilisés que dans les actions du groupe d’actions d’automatisation de l’interface utilisateur de Power Automate pour le bureau. Il est important de noter que les éléments de l’interface utilisateur de bureau dans les pages Web ne sont pas aussi fiables que leurs homologues Web et sont soumis aux détails de l’application du navigateur, comme la version du navigateur.

Propriétés des éléments de l’interface utilisateur

Tous les éléments de l’interface utilisateur consistent en un ou plusieurs sélecteurs qui identifient l’interface utilisateur ou le composant Web avec lequel interagit Power Automate.

Note

Les utilisateurs peuvent créer plusieurs sélecteurs pour un élément d’interface utilisateur. Chaque fois qu’un sélecteur échoue, Power Automate utilise le sélecteur suivant dans l’ordre défini.

Pour gérer les sélecteurs d’un élément d’interface utilisateur, faites un clic droit dessus et sélectionnez Modifier. Cette option ouvre le générateur de sélecteur, où vous pouvez modifier les sélecteurs avec un éditeur visuel ou un éditeur de texte.

Chaque sélecteur se compose de plusieurs éléments représentant la structure hiérarchique de l’élément de l’interface utilisateur dans l’application ou la page web. Les attributs décrivent chaque élément de manière unique et le distinguent des autres éléments.

Tous les sélecteurs sont affichés avec un nom convivial par défaut qui les rend facilement accessibles. Pour renommer un sélecteur, faites un clic droit sur son nom et sélectionnez Renommer.

Lorsque vous modifiez un élément d’interface utilisateur avec plusieurs sélecteurs, vous pouvez désactiver un sélecteur en cliquant dessus avec le bouton droit de la souris et en sélectionnant Désactiver. Cette fonctionnalité peut être utile lors des tests.

Après avoir modifié les sélecteurs, sélectionnez Enregistrer pour appliquer les modifications apportées. L’enregistrement applique les modifications dans tous les sélecteurs en une seule étape.

Vous trouverez plus d’informations sur les sélecteurs et la manière de les créer manuellement dans Créer un sélecteur personnalisé.

Éléments de l’interface utilisateur avec sélecteurs basés sur le texte

Outre la manière par défaut de générer des sélecteurs d’éléments de l’interface utilisateur, Power Automate prend en charge la création de sélecteurs basés sur la valeur de texte d’un élément.

Cette fonction est utile pour les scénarios d’automatisation qui gèrent des éléments dans des applications de bureau ou des pages web qui contiennent toujours des textes spécifiques. Les sélecteurs basés sur ces textes sont plus fiables et résilients aux éventuelles modifications futures de la structure de l’application ou de la page web.

La génération de sélecteurs basés sur le texte n’est disponible que lors de la capture d’éléments de l’interface utilisateur à l’aide du sélecteur d’éléments de l’interface utilisateur (volet des éléments de l’interface utilisateur ou actions d’automatisation du navigateur/de l’interface utilisateur). Elle n’est pas disponible pendant l’enregistrement.

Pour capturer un élément de l’interface utilisateur avec un sélecteur basé sur le texte, ouvrez le sélecteur d’éléments de l’interface utilisateur, cliquez avec le bouton droit sur l’élément souhaité et sélectionnez Capture basée sur le texte.

Ensuite, une nouvelle fenêtre avec deux champs apparaîtra sur votre écran :

• Le champ Valeur du texte contient le texte de l’élément en tant que valeur proposée. Vous pouvez remplacer cette valeur par une valeur codée en dur ou une variable.
• Vous pouvez définir le champ Opérateur sur différents opérateurs pour ajuster la fonctionnalité du sélecteur.

Si vous sélectionnez Capturer, l’élément de l’interface utilisateur sera ajouté avec le sélecteur de texte approprié dans le référentiel des éléments de l’interface utilisateur.

Les sélecteurs de texte utilisent l’attribut Nom de l’élément capturé pour l’automatisation du bureau et l’attribut Texte pour l’automatisation du navigateur. Ils ne sont disponibles que pour les éléments de l’interface utilisateur qui contiennent eux-mêmes une valeur de texte.

En d’autres termes, ils sont disponibles pour les éléments de l’interface utilisateur avec un attribut Nom ou Texte qui inclut une valeur. Ils ne sont pas disponibles pour les éléments qui ne contiennent pas une valeur de texte, même s’ils ont des éléments enfants avec du texte dans leur structure.

Note

Pour l’application SAP, les sélecteurs de texte utilisent l’attribut Texte au lieu de l’attribut Nom, qu’ils utilisent généralement pour l’automatisation du bureau. L’automatisation SAP fonctionne plus efficacement avec les sélecteurs par défaut basés sur l’attribut ID.

Problèmes connus et limitations

• Si vous sélectionnez Ajouter un élément de l’interface utilisateur, passez la souris sur une fenêtre entière et choisissez de capturer un élément de l’interface utilisateur basé sur du texte ; un sélecteur par défaut sera généré. Ce sélecteur inclut l’attribut Processus en plus de l’attribut Nom.

• La combinaison d’une variable et d’un opérateur autre que Égal à génère un sélecteur affiché dans l’éditeur de texte personnalisé au lieu du générateur visuel. Cette fonctionnalité évite une limitation existante qui rend la combinaison ci-dessus non fonctionnelle dans le générateur visuel.