Partilhar via


Chainer Classe

Representa um avaliador para preparação em experimentações do Chainer.

PRETERIDO. Utilize o objeto com o ScriptRunConfig seu próprio ambiente definido ou um dos ambientes organizados pelo Azure ML Chainer. Para obter uma introdução à configuração de execuções de experimentação com ScriptRunConfig, veja Configurar e submeter execuções de preparação.

Versões suportadas: 5.1.0, 7.0.0

Inicializar um avaliador do Chainer.

Herança
azureml.train.estimator._framework_base_estimator._FrameworkBaseEstimator
Chainer

Construtor

Chainer(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)

Parâmetros

Name Description
source_directory
Necessário
str

Um diretório local que contém ficheiros de configuração de experimentação.

compute_target
Necessário

O destino de computação onde a preparação vai acontecer. Pode ser um objeto ou a cadeia "local".

vm_size
Necessário
str

O tamanho da VM do destino de computação que será criado para a preparação. Valores suportados: qualquer tamanho de VM do Azure.

vm_priority
Necessário
str

A prioridade da VM do destino de computação que será criado para a preparação. Se não for especificado, é utilizado "dedicado".

Valores suportados: "dedicado" e "lowpriority".

Isto só entra em vigor quando o vm_size param é especificado na entrada.

entry_script
Necessário
str

O caminho relativo para o ficheiro que contém o script de preparação.

script_params
Necessário

Um dicionário de argumentos da linha de comandos para passar para o script de preparação especificado em entry_script.

node_count
Necessário
int

O número de nós no destino de computação utilizado para a preparação. Se for superior a 1, será executada uma tarefa distribuída por MPI. Apenas o AmlCompute destino é suportado para tarefas distribuídas.

process_count_per_node
Necessário
int

O número de processos por nó. Se for superior a 1, será executada uma tarefa distribuída por MPI. Apenas o AmlCompute destino é suportado para tarefas distribuídas.

distributed_backend
Necessário
str

O back-end de comunicação para formação distribuída.

PRETERIDO. Utilize o distributed_training parâmetro .

Valores suportados: "mpi".

'mpi': MPI/Horovod

Este parâmetro é necessário quando node_count ou process_count_per_node> 1.

Quando node_count == 1 e process_count_per_node == 1, não será utilizado nenhum back-end, a menos que o back-end esteja explicitamente definido. Apenas o AmlCompute destino é suportado para preparação distribuída.

distributed_training
Necessário
Mpi

Parâmetros para executar uma tarefa de preparação distribuída.

Para executar uma tarefa distribuída com o back-end MPI, utilize o Mpi objeto para especificar process_count_per_node.

use_gpu
Necessário

Especifica se o ambiente para executar a experimentação deve suportar GPUs. Se for verdadeiro, a imagem predefinida do Docker baseada em GPU será utilizada no ambiente. Se for falso, será utilizada uma imagem baseada na CPU. As imagens predefinidas do docker (CPU ou GPU) só serão utilizadas se o custom_docker_image parâmetro não estiver definido. Esta definição é utilizada apenas em destinos de computação ativados pelo Docker.

use_docker
Necessário

Especifica se o ambiente para executar a experimentação deve ser baseado no Docker.

custom_docker_base_image
Necessário
str

Será criado o nome da imagem do Docker a partir da qual será criada a imagem a utilizar para preparação.

PRETERIDO. Utilize o custom_docker_image parâmetro .

Se não estiver definida, será utilizada uma imagem baseada na CPU predefinida como imagem base.

custom_docker_image
Necessário
str

Será criado o nome da imagem do Docker a partir da qual será criada a imagem a utilizar para preparação. Se não estiver definida, será utilizada uma imagem baseada na CPU predefinida como imagem base.

image_registry_details
Necessário

Os detalhes do registo de imagens do Docker.

user_managed
Necessário

Especifica se o Azure ML reutiliza um ambiente Python existente. Se for falso, o Azure ML criará um ambiente Python com base na especificação de dependências de conda.

conda_packages
Necessário

Uma lista de cadeias que representam pacotes conda a serem adicionados ao ambiente python para a experimentação.

pip_packages
Necessário

Uma lista de cadeias que representam pacotes pip a serem adicionados ao ambiente python para a experimentação.

conda_dependencies_file_path
Necessário
str

O caminho relativo para o ficheiro yaml de dependências de conda. Se especificado, o Azure ML não instalará pacotes relacionados com a arquitetura. PRETERIDO. Utilize o conda_dependencies_file parâmetro .

pip_requirements_file_path
Necessário
str

O caminho relativo para o ficheiro de texto dos requisitos do pip. Isto pode ser fornecido em combinação com o pip_packages parâmetro. PRETERIDO. Utilize o pip_requirements_file parâmetro .

conda_dependencies_file
Necessário
str

O caminho relativo para o ficheiro yaml de dependências de conda. Se especificado, o Azure ML não instalará pacotes relacionados com a arquitetura.

pip_requirements_file
Necessário
str

O caminho relativo para o ficheiro de texto dos requisitos do pip. Isto pode ser fornecido em combinação com o pip_packages parâmetro.

environment_variables
Necessário

Um dicionário de nomes e valores de variáveis de ambiente. Estas variáveis de ambiente são definidas no processo em que o script de utilizador está a ser executado.

environment_definition
Necessário

A definição de ambiente para a experimentação. Inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente através de outros parâmetros para a construção do Avaliador pode ser definida com este parâmetro. Se este parâmetro for especificado, terá precedência sobre outros parâmetros relacionados com o ambiente, como use_gpu, custom_docker_image, conda_packagesou pip_packages. Os erros serão comunicados em combinações inválidas.

inputs
Necessário

Uma lista de DataReference objetos ou DatasetConsumptionConfig para utilizar como entrada.

source_directory_data_store
Necessário

O arquivo de dados de cópia de segurança da partilha de projetos.

shm_size
Necessário
str

O tamanho do bloco de memória partilhado do contentor do Docker. Se não estiver definido, é utilizada a azureml.core.environment._DEFAULT_SHM_SIZE predefinida. Para obter mais informações, veja Referência de execução do Docker.

resume_from
Necessário

O caminho de dados que contém o ponto de verificação ou os ficheiros de modelo a partir dos quais pretende retomar a experimentação.

max_run_duration_seconds
Necessário
int

O tempo máximo permitido para a execução. O Azure ML tentará cancelar automaticamente a execução se demorar mais tempo do que este valor.

framework_version
Necessário
str

A versão chainer a ser utilizada para executar o código de preparação. Chainer.get_supported_versions() devolve uma lista das versões suportadas pelo SDK atual.

source_directory
Necessário
str

Um diretório local que contém ficheiros de configuração de experimentação.

compute_target
Necessário

O destino de computação onde a preparação vai acontecer. Pode ser um objeto ou a cadeia "local".

vm_size
Necessário
str

O tamanho da VM do destino de computação que será criado para a preparação. Valores suportados: qualquer tamanho de VM do Azure.

vm_priority
Necessário
str

A prioridade da VM do destino de computação que será criado para a preparação. Se não for especificado, será predefinido como "dedicado".

Valores suportados: "dedicado" e "lowpriority".

Isto só entra em vigor quando o parâmetro vm_size é especificado na entrada.

entry_script
Necessário
str

O caminho relativo para o ficheiro que contém o script de preparação.

script_params
Necessário

Um dicionário de argumentos da linha de comandos para passar para o script de preparação especificado em entry_script.

node_count
Necessário
int

O número de nós no destino de computação utilizado para a preparação. Se for superior a 1, será executada uma tarefa distribuída por MPI. Apenas o AmlCompute destino é suportado para tarefas distribuídas.

process_count_per_node
Necessário
int

O número de processos por nó. Se for superior a 1, será executada uma tarefa distribuída por MPI. Apenas AmlCompute o destino de computação de destino é suportado para tarefas distribuídas.

distributed_backend
Necessário
str

O back-end de comunicação para preparação distribuída.

PRETERIDO. Utilize o distributed_training parâmetro .

Valores suportados: "mpi".

'mpi': MPI/Horovod

Este parâmetro é necessário quando node_count ou process_count_per_node> 1.

Quando node_count == 1 e process_count_per_node == 1, não será utilizado nenhum back-end, a menos que o back-end esteja explicitamente definido. Apenas o AmlCompute destino é suportado para preparação distribuída.

distributed_training
Necessário
Mpi

Parâmetros para executar uma tarefa de preparação distribuída.

Para executar uma tarefa distribuída com o back-end MPI, utilize o Mpi objeto para especificar process_count_per_node.

use_gpu
Necessário

Especifica se o ambiente para executar a experimentação deve suportar GPUs. Se for verdadeiro, será utilizada uma imagem predefinida do Docker baseada em GPU no ambiente. Se for falso, será utilizada uma imagem baseada na CPU. As imagens predefinidas do Docker (CPU ou GPU) só serão utilizadas se o custom_docker_image parâmetro não estiver definido. Esta definição é utilizada apenas em destinos de computação compatíveis com o Docker.

use_docker
Necessário

Especifica se o ambiente para executar a experimentação deve ser baseado no Docker.

custom_docker_base_image
Necessário
str

O nome da imagem do Docker a partir da qual será criada a imagem a utilizar para preparação.

PRETERIDO. Utilize o custom_docker_image parâmetro .

Se não for definida, será utilizada uma imagem baseada na CPU predefinida como imagem de base.

custom_docker_image
Necessário
str

O nome da imagem do Docker a partir da qual será criada a imagem a utilizar para preparação. Se não for definida, será utilizada uma imagem baseada na CPU predefinida como imagem de base.

image_registry_details
Necessário

Os detalhes do registo de imagens do Docker.

user_managed
Necessário

Especifica se o Azure ML reutiliza um ambiente Python existente. Se for falso, o Azure ML criará um ambiente Python com base na especificação de dependências conda.

conda_packages
Necessário

Uma lista de cadeias que representam pacotes conda a serem adicionados ao ambiente Python para a experimentação.

pip_packages
Necessário

Uma lista de cadeias que representam pacotes pip a serem adicionados ao ambiente Python para a experimentação.

conda_dependencies_file_path
Necessário
str

O caminho relativo para o ficheiro yaml de dependências conda. Se for especificado, o Azure ML não instalará quaisquer pacotes relacionados com a arquitetura. PRETERIDO. Utilize o conda_dependencies_file parâmetro .

pip_requirements_file_path
Necessário
str

O caminho relativo para o ficheiro de texto dos requisitos do pip. Isto pode ser fornecido em combinação com o pip_packages parâmetro . PRETERIDO. Utilize o pip_requirements_file parâmetro .

conda_dependencies_file
Necessário
str

O caminho relativo para o ficheiro yaml de dependências conda. Se for especificado, o Azure ML não instalará quaisquer pacotes relacionados com a arquitetura.

pip_requirements_file
Necessário
str

O caminho relativo para o ficheiro de texto dos requisitos do pip. Isto pode ser fornecido em combinação com o pip_packages parâmetro .

environment_variables
Necessário

Um dicionário de nomes e valores de variáveis de ambiente. Estas variáveis de ambiente são definidas no processo em que o script de utilizador está a ser executado.

environment_definition
Necessário

A definição de ambiente para a experimentação. Inclui PythonSection, DockerSection e variáveis de ambiente. Qualquer opção de ambiente não exposta diretamente através de outros parâmetros para a construção do Avaliador pode ser definida com este parâmetro. Se este parâmetro for especificado, terá precedência sobre outros parâmetros relacionados com o ambiente, como use_gpu, custom_docker_image, conda_packagesou pip_packages. Os erros serão comunicados em combinações inválidas.

inputs
Necessário

Uma lista de azureml.data.data_reference. Objetos DataReference a utilizar como entrada.

source_directory_data_store
Necessário

O arquivo de dados de cópia de segurança da partilha de projetos.

shm_size
Necessário
str

O tamanho do bloco de memória partilhada do contentor do Docker. Se não estiver definido, é utilizada a azureml.core.environment._DEFAULT_SHM_SIZE predefinida. Para obter mais informações, veja Docker run reference (Referência de execução do Docker).

resume_from
Necessário

O caminho de dados que contém o ponto de verificação ou os ficheiros de modelo a partir dos quais pretende retomar a experimentação.

max_run_duration_seconds
Necessário
int

O tempo máximo permitido para a execução. O Azure ML tentará cancelar automaticamente a execução se demorar mais tempo do que este valor.

framework_version
Necessário
str

A versão chainer a ser utilizada para executar código de preparação. Chainer.get_supported_versions() devolve uma lista das versões suportadas pelo SDK atual.

_enable_optimized_mode
Necessário

Ative a compilação incremental do ambiente com imagens de arquitetura pré-criadas para uma preparação mais rápida do ambiente. Uma imagem de estrutura pré-criada baseia-se nas imagens base da CPU/GPU predefinidas do Azure ML com dependências de arquitetura pré-instaladas.

_disable_validation
Necessário

Desative a validação do script antes da submissão da execução. A predefinição é Verdadeiro.

_show_lint_warnings
Necessário

Mostrar avisos de linting de script. A predefinição é Falso.

_show_package_warnings
Necessário

Mostrar avisos de validação de pacotes. A predefinição é Falso.

Observações

Ao submeter uma tarefa de preparação, o Azure ML executa o script num ambiente conda num contentor do Docker. Os contentores chainer têm as seguintes dependências instaladas.

Dependências | Encadeador 5.1.0 | Encadeador 7.0.0 | —————————- | —————– | ————— | Python | 3.6.2 | 3.6.2 | CUDA (apenas imagem de GPU) | 9.0 | 9.0 | cuDNN (apenas imagem gpu) | 7.6.3 | 7.6.3 | NCCL (apenas imagem de GPU) | 2.4.8 | 2.4.8 | azureml-defaults | Mais recente | Mais recente | IntelMpi | 2018.3.222 | 2018.3.222 | horovod | 0.15.2 | 0.15.2 | miniconda | 4.5.11 | 4.5.11 | chainer | 5.1.0 | 7.0.0 | cupy-cuda90 (apenas imagem da GPU) | 5.2.0 | 7.0.0 | git | 2.7.4 | 2.7.4 |

As imagens do Docker expandem o Ubuntu 16.04.

Para instalar dependências adicionais, pode utilizar o pip_packages parâmetro ou conda_packages . Em alternativa, pode especificar o pip_requirements_file parâmetro ou conda_dependencies_file . Em alternativa, pode criar a sua própria imagem e transmitir o custom_docker_image parâmetro ao construtor do avaliador.

Para obter mais informações sobre os contentores do Docker utilizados na preparação do Chainer, consulte https://github.com/Azure/AzureML-Containers.

Atributos

DEFAULT_VERSION

DEFAULT_VERSION = '5.1.0'

FRAMEWORK_NAME

FRAMEWORK_NAME = 'Chainer'