Configurer CNTK avec un script sur Windows

Article
03/07/2018

Si vous souhaitez générer CNTK à partir du code source et que vous souhaitez utiliser le script d’installation du développeur, cette page vous convient.

Si vous recherchez un autre type de support pour configurer un environnement de build CNTK ou installer CNTK sur votre système, vous devez y accéder.

Pour votre considération

Voici des recommandations pour vous assurer que vous pouvez générer CNTK correctement :

Les paramètres régionaux système sur l’ordinateur de build doivent être définis sur une langue avec un jeu de caractères « latin ».
Évitez les noms de chemin d’accès extrêmement longs. La procédure de build utilise des opérations de copie (XCOPY) qui peuvent rencontrer des problèmes liés à l’expression de chemin d’accès avec plus de 256 caractères de longueur.

Système d’exploitation 64 bits

CNTK nécessite une installation de Windows 64 bits. Nous avons testé le processus de génération sur Windows 8.1, Windows 10 et Windows Server 2012 R2 et ultérieur. Les autres environnements ne sont pas officiellement pris en charge. Pour les problèmes de compatibilité, vérifiez CNTK configuration de build et de test de production.

Préparation

Vous devez créer un environnement de développement CNTK sur votre ordinateur :

Installation d’outils requis
- Visual Studio 2017
- NVIDIA CUDA 9.0
- Git
- Cloner le code source CNTK
Exécution du script d’installation du développeur
- Définition des options de ligne de commande pour configurer l’opération de script
- Exécution du script
Générer et tester

Cette page vous guide tout au long de ces étapes. L’installation pilotée par script crée un environnement de développement avec tous les composants facultatifs, notamment les outils NVIDIA, l’environnement Python, OpenCV et les bibliothèques de compression. Le script prend en charge les paramètres facultatifs pour affiner l’installation sur votre système (comme le répertoire d’installation d’Anaconda, etc.), les détails sont disponibles ici

Installation d’outils requis

Visual Studio 2017

Installez Microsoft Visual Studio 2017 pour Windows. Vous trouverez ici un lien vers le téléchargement. Vous aurez besoin d’un compte Microsoft et d’une appartenance gratuite dans l’abonnement Visual Studio Dev Essentials, ou d’un abonnement MSDN valide. Si vous n’avez pas de compte Microsoft, l’appartenance à l’abonnement requis ou les deux, vous serez proposé de vous inscrire.

La version Community de Visual Studio 2017 est suffisante pour générer CNTK.

Pendant le processus d’installation, sélectionnez « plateforme Windows universelle développement », « Développement de bureau .NET », « Développement de bureau avec C++ » et « Développement Python » :

im1

En outre, sur l’écran des composants individuels, veillez à ajouter « VC++ 2017 version 15.4 v14.11 toolset » et « Visual C++ runtime pour UWP » à votre installation :

im1

Enfin, ajoutez « Windows 10 SDK (10.0.16299.0) pour Desktop C++ [x86 et x64] » :

im1

Installation Visual Studio 2017 préexistante

Vous devez disposer de l’ensemble d’outils « VC++ 2017 version 15.4 v14.11 », « Runtime Visual C++ pour UWP » et « Windows 10 SDK (10.0.16299.0) pour Desktop C++ [x86 et x64] » installés sur votre système. Pour vérifier l’Windows « Panneau de configuration - Programmes ->> Programmes et fonctionnalités », sélectionnez « Visual Studio Community 2017 » dans la liste des programmes installés. Cela démarre à nouveau la configuration Visual Studio et vous permet de vous assurer que les composants mentionnés ci-dessus sont installés sur votre système (voir l’image ci-dessus).

Notes

Si VS2017INSTALLDIR la variable d’environnement n’a pas été définie par le programme d’installation Visual Studio, définissez-la manuellement. Le répertoire d’installation exact dépend de la version (2017 dans ce cas) et de l’offre (Community, Enterprise, etc.) de Visual Studio, selon le modèle suivant : C:\Program Files (x86)\Microsoft Visual Studio\<version>\<offering>

Pour Visual Studio édition Enterprise 2017, exécutez :

setx VS2017INSTALLDIR "C:\Program Files (x86)\Microsoft Visual Studio\2017\Enterprise"

Pour Visual Studio édition Community 2017, exécutez :

setx VS2017INSTALLDIR "C:\Program Files (x86)\Microsoft Visual Studio\2017\Community"

NVIDIA CUDA 9

Important

Si vous disposez d’une première Visual Studio installation 2017 comme décrit ci-dessus, vous devez installer NVIDIA CUDA 9 maintenant, même si vous avez déjà une installation existante de CUDA 9 ! L’installation de NVIDIA CUDA 9 ajoute la prise en charge des outils de développement NVIDIA à l’environnement Visual Studio, qui est nécessaire pour générer CNTK correctement.

CNTK est défini pour générer avec CUDA 9.0. Téléchargez et installez le Kit de ressources NVIDIA CUDA 9.0 :

Télécharger le package requis à partir de cette page de téléchargement
Exécuter la procédure d’installation

Remarque : si vous n’avez pas de système avec une carte graphique compatible NVIDIA CUDA 9.0, le programme d’installation CUDA émet un avertissement. Continuez le programme d’installation si vous recevez cet avertissement, les outils CUDA sont installés et vous pouvez créer une version DE GPU NVIDIA activée pour CNTK sur votre système.

Git

Git est requis pour cloner la base de code CNTK. Il existe différents outils clients Git disponibles. Vous pouvez également utiliser Git directement à partir de Visual Studio. Ici, nous supposons que vous avez installé Git pour Windows. Nous supposons que vous avez installé Git à l’aide des options par défaut dans le programme d’installation Git (en particulier « Utiliser Git à partir de l’invite de commandes Windows » et avec l’option « Extraction de Windows-style, validation UNIX-style de fin de ligne » à l’invite « Configuration des terminaisons de ligne » activée.

Cloner le code source CNTK

Nous allons créer un clone du code source CNTK dans le c:\repos\cntk. Si vous préférez un autre emplacement, vous devez ajuster les commandes en conséquence.

Ouvrez un interpréteur de commandes Windows standard et exécutez cette commande

c: && md \repos && cd \repos
git clone --recursive https://github.com/Microsoft/cntk
cd cntk

Le sous-module Multiverso est utilisé pour activer DataParallelASGD pour l’entraînement. Si vous n’avez pas besoin de la prise en charge de DataParallelASGD, ajoutez la variable d’environnement CNTK_ENABLE_ASGD et définissez sa valeur sur false. Par exemple, exécutez-le dans une invite CMD, puis rouvrez vos interpréteurs de commandes CMD et Visual Studio pour récupérer la modification :

setx CNTK_ENABLE_ASGD false

Exécution du script d’installation du développeur

Le script d’installation du développeur (devInstall.ps1) est un script PowerShell situé dans le sous-répertoire à l’intérieur tools de la racine du référentiel CNTK. Il installe tous les outils requis et facultatifs pour générer CNTK sur votre système. Il crée également les paramètres d’environnement local de l’utilisateur requis. Une fois le script démarré, aucune entrée utilisateur supplémentaire n’est nécessaire, même si vous devez reconnaître l’installation des programmes ou la création de variables d’environnement, selon votre paramètre « Contrôle de compte d’utilisateur ».

Options de configuration

Par défaut, aucune option supplémentaire n’est requise pour exécuter le script d’installation. Il existe différentes options supplémentaires pour adapter les fonctions de script à vos besoins. Vous trouverez plus d’informations ici.

Exécution du script d’installation

Par défaut, PowerShell n’autorise pas l’exécution de scripts. Pour autoriser l’exécution du script d’installation à partir d’un interpréteur de commandes standard Windows démarrez PowerShell par :

start powershell -executionpolicy remotesigned

En supposant que vous avez cloné le code source CNTK dans le c:\repos\cntk répertoire, changez à l’intérieur de la session PowerShell dans le répertoire avec le script d’installation dans le référentiel CNTK cloné et démarrez le programme d’installation dans ce répertoire :

cd C:\repos\cntk\Tools\devInstall\Windows
.\DevInstall.ps1

Le script inspecte votre système et détermine les prérequis manquants. Vous serez informé des étapes d’installation proposées. Si vous êtes satisfait des modifications proposées, vous pouvez passer à l’installation réelle. Pour plus d’informations sur les options de ligne de commande , voir ici.

Le script télécharge les composants nécessaires à partir du web, par conséquent, une connexion à Internet est requise. Il exécute ces composants et, selon le paramètre UAC (Contrôle de compte d’utilisateur) sur votre système, vous êtes invité à reconnaître l’exécution et l’installation de ces composants.

Selon la vitesse de votre système et de votre connexion Internet, l’ensemble du processus peut prendre entre 20 et 30 minutes. Surtout l’installation d’Anaconda3 est très longue sans indication de progression, s’il vous plaît être patient. Les fichiers téléchargés à partir d’Internet sont mis en cache dans le répertoire c:\installCacheCntk et vous permettent de réexécuter le programme d’installation sans passer par le téléchargement du composant. En cas de problèmes que vous pouvez redémarrer le programme d’installation, il ne réinstallera pas les composants déjà installés avec succès. Note: Si le programme d’installation est interrompu, vous devrez peut-être redémarrer PowerShell pour propager les nouvelles variables d’environnement.

Générer et tester

À ce stade, tous les composants requis pour générer CNTK sur votre système sont installés. Vous pouvez suivre les étapes décrites ici pour générer et tester CNTK.