Configurar CNTK com script na Windows

Artigo
03/07/2018

Se quiser construir CNTK a partir do código fonte e quiser utilizar o script 'Instalação do Desenvolvedor', esta página é para si.

Se procura outro tipo de suporte na criação de um ambiente de construção de CNTK ou na instalação de CNTK no seu sistema, deverá ir aqui em vez disso.

Para a sua consideração

Aqui estão as recomendações para garantir que pode construir CNTK com sucesso:

O sistema local na máquina de construção deve ser definido para uma linguagem com um conjunto de caracteres baseado em latim.
Evite nomes de caminhos extremamente longos. O procedimento de construção utiliza copy-operations (XCOPY) que podem encontrar problemas com a expressão do caminho com mais de 256 caracteres de comprimento.

64 bits de SO

CNTK requer uma instalação de Windows de 64 bits. Testámos o processo de construção em Windows 8.1, Windows 10, e Windows Server 2012 R2 e mais tarde. Outros ambientes não são oficialmente apoiados. Para problemas de compatibilidade, verifique CNTK configuração de Construção e Teste de Produção.

Preparação

Existem passos necessários para criar um ambiente de desenvolvimento CNTK na sua máquina:

Instalação de ferramentas necessárias
- Visual Studio 2017
- NVIDIA CUDA 9.0
- Git
- Clone o código CNTK Fonte
Executando o script de instalação do desenvolvedor
- Definição de opções de linha de comando para configurar a operação do script
- Executar o script
Compilar e testar

Esta página irá acompanhá-lo através de todos estes passos. A instalação orientada por scripts criará um ambiente de desenvolvimento com todos os componentes opcionais, incluindo ferramentas NVIDIA, o ambiente Python, OpenCV e bibliotecas de compressão. O script suporta parâmetros opcionais para afinar a instalação do seu sistema (como o diretório de instalação da Anaconda, etc.), detalhes estão disponíveis aqui

Instalação de ferramentas necessárias

Visual Studio 2017

Instale o Microsoft Visual Studio 2017 para Windows. Um link para o download pode ser encontrado aqui. Você precisará de uma conta Microsoft e uma subscrição gratuita na subscrição Visual Studio Dev Essentials, ou uma subscrição válida da MSDN. Se não tiver uma conta Microsoft, a subscrição necessária ou ambos, será oferecido para se inscrever.

A versão comunitária de Visual Studio 2017 é suficiente para construir CNTK.

Durante o processo de instalação, selecione "Plataforma Universal do Windows desenvolvimento", "desenvolvimento do ambiente de trabalho NET", "Desenvolvimento de ambientes de trabalho com C++" e cargas de trabalho de "desenvolvimento Python":

im1

Além disso, no ecrã de componentes individuais certifique-se de adicionar a versão 15.4 v14.11 e o 'Visual C++ para uWP' à sua instalação:

im1

Por último, adicione 'Windows 10 SDK (10.0.16299.0) para desktop C++ [x86 e x64]":

im1

Pré-existente Visual Studio instalação de 2017

É necessário ter a versão 'VC++ 2017 15.4 v14.11', 'Visual C++ para UWP' e 'Windows 10 SDK (10.0.16299.0) para Desktop C++ [x86 e x64]» instalado no seu sistema. Para verificar a abertura do Windows "Painel de Controlo -> Programas -> Programas e Funcionalidades" e selecione 'Visual Studio Community 2017' da lista de programas instalados. Isto irá recomeçar a configuração Visual Studio e permite-lhe certificar-se de que os componentes acima referidos estão instalados no seu sistema (ver imagem acima).

Nota

Se VS2017INSTALLDIR a variável ambiente não foi definida pelo instalador Visual Studio, coloque-a manualmente. O diretório de instalação exato depende tanto da versão (2017 neste caso) como da oferta (Comunidade, Empresa, etc)) de Visual Studio, de acordo com o seguinte padrão: C:\Program Files (x86)\Microsoft Visual Studio\<version>\<offering>.

Para Visual Studio edição empresarial de 2017, corra:

setx VS2017INSTALLDIR "C:\Program Files (x86)\Microsoft Visual Studio\2017\Enterprise"

Para Visual Studio edição comunitária de 2017, corra:

setx VS2017INSTALLDIR "C:\Program Files (x86)\Microsoft Visual Studio\2017\Community"

NVIDIA CUDA 9

Importante

Caso tenha uma instalação de Visual Studio 2017 pela primeira vez, conforme descrito acima, terá de instalar a NVIDIA CUDA 9 agora, mesmo que já tenha uma instalação existente de CUDA 9! A instalação NVIDIA CUDA 9 adiciona suporte às ferramentas de desenvolvimento da NVIDIA para o ambiente Visual Studio, que é necessário para construir CNTK com sucesso.

CNTK está pronto para construir com CUDA 9.0. Descarregue e instale o Kit de Ferramentas NVIDIA CUDA 9.0:

Faça o download do pacote necessário a partir desta página de descarregamento
Executar o procedimento de instalação

Nota: Caso não tenha um sistema com uma placa gráfica compatível com NVIDIA CUDA 9.0, o instalador CUDA emitirá um aviso. Por favor, continue o instalador se receber este aviso, as ferramentas CUDA serão instaladas e poderá construir uma versão de GPU ativada NVIDIA de CNTK no seu sistema.

Git

Git é obrigado a clonar a base de código CNTK. Existem várias ferramentas de clientes Git disponíveis. Você também pode trabalhar com Git diretamente de dentro Visual Studio. Aqui assumimos que instalou Git para Windows. Assumimos que instalou o Git utilizando as opções padrão no instalador Git (Especialmente 'Use Git from the Windows Command Prompt' e com a opção "Checkout Windows-style, cometer terminações de linha de estilo UNIX" no "Fim de linha configurante" ativado.

Clone o código fonte CNTK

Criaremos um clone do código fonte CNTK no c:\repos\cntk. Se preferir um local diferente, terá de ajustar os comandos em conformidade.

Abra uma concha de comando de janelas padrão, e execute estes comandos

c: && md \repos && cd \repos
git clone --recursive https://github.com/Microsoft/cntk
cd cntk

O submodule Multiverso é utilizado para permitir a formação de DataParallelASGD . Se não precisar de suporte dataParallelASGD, adicione a variável ambiental CNTK_ENABLE_ASGD e desfaça o seu valor. Por exemplo, executar isto num pedido cmd e, em seguida, reabrir os seus cartuchos CMD e Visual Studio para recolher a mudança:

setx CNTK_ENABLE_ASGD false

Executando o script de instalação do desenvolvedor

O script de instalação do desenvolvedor (devInstall.ps1) é um script PowerShell localizado na tools subdiretória dentro da raiz do repositório CNTK. Irá instalar todas as ferramentas necessárias e opcionais para construir CNTK no seu sistema. Também criará as definições de ambiente local de utilização necessárias. Uma vez iniciado o script, não é necessária nenhuma entrada adicional do utilizador, embora seja necessário reconhecer a instalação de programas ou a criação de variáveis ambientais, dependendo da definição de 'Controlo de Conta de Utilizador'.

Opções de configuração

Por predefinição, não são necessárias opções adicionais para executar o script de instalação. Existem várias opções adicionais para adaptar as funções do script às suas necessidades. Mais detalhes estão aqui.

Executando o script de instalação

Por defeito, o PowerShell não permite a execução de quaisquer scripts. Para permitir a execução do script de instalação a partir de uma Windows comando padrão iniciar PowerShell por:

start powershell -executionpolicy remotesigned

Assumindo que clonou o código fonte CNTK para o c:\repos\cntk diretório, mude dentro da sessão PowerShell para o diretório com o script de instalação dentro do repositório de CNTK clonado e inicie o instalador nesse diretório:

cd C:\repos\cntk\Tools\devInstall\Windows
.\DevInstall.ps1

O script inspecionará o seu sistema e determinará os pré-requisitos que faltam. Será notificado sobre as etapas de instalação propostas. Se estiver satisfeito com as alterações propostas, pode proceder à instalação real. Para mais informações sobre as opções da linha de comando consulte aqui.

O script irá descarregar os componentes necessários da web, pelo que é necessária uma ligação à Internet. Executará estes componentes e, de acordo com a configuração do UAC (User Account Control) no seu sistema, será solicitado que reconheça a execução e instalação destes componentes.

Dependendo da velocidade do seu sistema e da sua ligação à Internet, todo o processo pode demorar entre 20 e 30 minutos. Especialmente a instalação de Anaconda3 é muito demorada sem qualquer indicação de progresso, por favor seja paciente. Os ficheiros descarregados da internet estão a ser cached no diretório c:\installCacheCntk e permite-lhe refazer o instalador sem passar novamente pelo download do componente. Em caso de problemas, pode reiniciar novamente o instalador, não voltará a instalar componentes instalados com sucesso. Nota: Se o instalador for interrompido, poderá ser necessário reiniciar o PowerShell para propagar as novas variáveis ambientais.

Compilar e testar

Neste momento, todos os componentes necessários para construir CNTK no seu sistema estão instalados. Pode seguir os passos aqui encontrados para construir e testar CNTK.