Solucionar problemas de pipelines do Azure Data Factory e do Synapse

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Este artigo explora métodos comuns de solução de problemas para atividades de controle externo nos pipelines do Azure Data Factory e do Synapse.

Conector e atividade de cópia

Para problemas de conector, como encontrar um erro ao usar a atividade de cópia, consulte o artigo Solucionar problemas de conectores.

Azure Databricks

Código de erro: 3200

• Mensagem: Erro 403.

• Causa: The Databricks access token has expired.

• Recomendação: Por padrão, o token de acesso do Azure Databricks é válido por 90 dias. Crie um token e atualize o serviço vinculado.

Código de erro: 3201

• Mensagem: Missing required field: settings.task.notebook_task.notebook_path.

• Causa: Bad authoring: Notebook path not specified correctly.

• Recomendação: Especifique o caminho do notebook na atividade do Databricks.

• Mensagem: Cluster... does not exist.

• Causa: Authoring error: Databricks cluster does not exist or has been deleted.

• Recomendação: Verifique se o cluster do Databricks existe.

• Mensagem: Invalid Python file URI... Please visit Databricks user guide for supported URI schemes.

• Causa: Bad authoring.

• Recomendação: Especifique caminhos absolutos para esquemas de endereçamento de workspace ou dbfs:/folder/subfolder/foo.py para arquivos armazenados no DFS (Sistema de Arquivos do Databricks).

• Mensagem: {0} LinkedService should have domain and accessToken as required properties.

• Causa: Bad authoring.

• Recomendação: Verifique a definição de serviço vinculado.

• Mensagem: {0} LinkedService should specify either existing cluster ID or new cluster information for creation.

• Causa: Bad authoring.

• Recomendação: Verifique a definição de serviço vinculado.

• Mensagem: Node type Standard_D16S_v3 is not supported. Supported node types: Standard_DS3_v2, Standard_DS4_v2, Standard_DS5_v2, Standard_D8s_v3, Standard_D16s_v3, Standard_D32s_v3, Standard_D64s_v3, Standard_D3_v2, Standard_D8_v3, Standard_D16_v3, Standard_D32_v3, Standard_D64_v3, Standard_D12_v2, Standard_D13_v2, Standard_D14_v2, Standard_D15_v2, Standard_DS12_v2, Standard_DS13_v2, Standard_DS14_v2, Standard_DS15_v2, Standard_E8s_v3, Standard_E16s_v3, Standard_E32s_v3, Standard_E64s_v3, Standard_L4s, Standard_L8s, Standard_L16s, Standard_L32s, Standard_F4s, Standard_F8s, Standard_F16s, Standard_H16, Standard_F4s_v2, Standard_F8s_v2, Standard_F16s_v2, Standard_F32s_v2, Standard_F64s_v2, Standard_F72s_v2, Standard_NC12, Standard_NC24, Standard_NC6s_v3, Standard_NC12s_v3, Standard_NC24s_v3, Standard_L8s_v2, Standard_L16s_v2, Standard_L32s_v2, Standard_L64s_v2, Standard_L80s_v2.

• Causa: Bad authoring.

• Recomendação: Veja a mensagem de erro.

Código de erro: 3202

• Mensagem: There were already 1000 jobs created in past 3600 seconds, exceeding rate limit: 1000 job creations per 3600 seconds.

• Causa: Too many Databricks runs in an hour.

• Recomendação: Verifique todos os pipelines que usam este workspace do Databricks para saber a taxa de criação de trabalho. Se os pipelines inicializaram muitas execuções do Databricks em agregação, migre alguns pipelines para um novo workspace.

• Mensagem: Could not parse request object: Expected 'key' and 'value' to be set for JSON map field base_parameters, got 'key: "..."' instead.

• Causa: Authoring error: No value provided for the parameter.

• Recomendação: Inspecione o JSON do pipeline e verifique se todos os parâmetros no notebook baseParameters especificam um valor não vazio.

• Mensagem: User: 'SimpleUserContext{userId=..., name=user@company.com, orgId=...}' is not authorized to access cluster.

• Causa: O usuário que gerou o token de acesso não tem permissão para acessar o cluster do Databricks especificado no serviço vinculado.

• Recomendação: Verifique se o usuário tem as permissões necessárias no workspace.

• Mensagem: Job is not fully initialized yet. Please retry later.

• Causa: o trabalho não foi inicializado.

• Recomendação: aguarde e tente novamente mais tarde.

Código de erro: 3203

• Mensagem: The cluster is in Terminated state, not available to receive jobs. Please fix the cluster or retry later.

• Causa: O cluster foi encerrado. Para clusters interativos, esse problema pode ser uma condição de corrida.

• Recomendação: Para evitar esse erro, use clusters de trabalho.

Código de erro: 3204

• Mensagem: Job execution failed.

• Causa: Mensagens de erro indicam vários problemas, como um estado de cluster inesperado ou uma atividade específica. Geralmente, nenhuma mensagem de erro é exibida.

• Recomendação: N/D

Código de erro: 3208

• Mensagem: An error occurred while sending the request.

• Causa: a conexão de rede com o serviço Databricks foi interrompida.

• Recomendação: se você estiver usando um runtime de integração auto-hospedada, verifique se a conexão de rede é confiável a partir dos nós do runtime de integração. Se você estiver usando o Azure Integration Runtime, a nova tentativa normalmente funcionará.

A saída de execução booliana começa a ser obtida como cadeia de caracteres em vez de int como era esperado

• Sintomas: A saída de execução booliana começa a ser obtida como cadeia de caracteres (por exemplo, "0" ou "1") em vez de int (por exemplo, 0 ou 1) como era esperado.

  

  Você observou essa alteração em 28 de setembro de 2021 por volta das 9h IST quando o pipeline que depende dessa saída começou a falhar. Nenhuma alteração foi feita no pipeline e os dados de saída boolianos estavam chegando conforme o esperado antes da falha.

  

• Causa: esse problema é causado por uma alteração recente, e é proposital. Após a alteração, se o resultado for um número que começa com zero, o Azure Data Factory converterá o número para um valor octal, o que é um bug. Esse número é sempre 0 ou 1, e nunca causou problemas antes da alteração. Portanto, para corrigir a conversão para octal, a saída da cadeia de caracteres é passada da execução do Notebook como está.

• Recomendação: altere a condição if para algo como if(value=="0").

Análise Azure Data Lake

A tabela a seguir se aplica ao U-SQL.

Código de erro: 2709

• Mensagem: The access token is from the wrong tenant.

• Causa: Locatário incorreto do Microsoft Entra.

• Recomendação: Locatário incorreto do Microsoft Entra.

• Mensagem: We cannot accept your job at this moment. The maximum number of queued jobs for your account is 200.

• Causa: Esse erro é causado pela limitação no Data Lake Analytics.

• Recomendação: Reduza o número de trabalhos enviados ao Data Lake Analytics. Altere os gatilhos e as configurações de simultaneidade nas atividades ou aumente os limites no Data Lake Analytics.

• Mensagem: This job was rejected because it requires 24 AUs. This account's administrator-defined policy prevents a job from using more than 5 AUs.

• Causa: Esse erro é causado pela limitação no Data Lake Analytics.

• Recomendação: Reduza o número de trabalhos enviados ao Data Lake Analytics. Altere os gatilhos e as configurações de simultaneidade nas atividades ou aumente os limites no Data Lake Analytics.

Código de erro: 2705

• Mensagem: Forbidden. ACL verification failed. Either the resource does not exist or the user is not authorized to perform the requested operation.<br/> <br/> User is not able to access Data Lake Store. <br/> <br/> User is not authorized to use Data Lake Analytics.

• Causa: A entidade de serviço ou o certificado não tem acesso ao arquivo no armazenamento.

• Recomendação: Verifique se a entidade de serviço ou o certificado que o usuário forneceu para trabalhos do Data Lake Analytics tem acesso à conta do Data Lake Analytics e à instância do Data Lake Storage padrão na pasta raiz.

Código de erro: 2711

• Mensagem: Forbidden. ACL verification failed. Either the resource does not exist or the user is not authorized to perform the requested operation.<br/> <br/> User is not able to access Data Lake Store. <br/> <br/> User is not authorized to use Data Lake Analytics.

• Causa: A entidade de serviço ou o certificado não tem acesso ao arquivo no armazenamento.

• Recomendação: Verifique se a entidade de serviço ou o certificado que o usuário forneceu para trabalhos do Data Lake Analytics tem acesso à conta do Data Lake Analytics e à instância do Data Lake Storage padrão na pasta raiz.

• Mensagem: Cannot find the 'Azure Data Lake Store' file or folder.

• Causa: O caminho para o arquivo U-SQL está errado ou as credenciais do serviço vinculado não têm acesso.

• Recomendação: Verifique o caminho e as credenciais fornecidas no serviço vinculado.

Código de erro: 2704

• Mensagem: Forbidden. ACL verification failed. Either the resource does not exist or the user is not authorized to perform the requested operation.<br/> <br/> User is not able to access Data Lake Store. <br/> <br/> User is not authorized to use Data Lake Analytics.

• Causa: A entidade de serviço ou o certificado não tem acesso ao arquivo no armazenamento.

• Recomendação: Verifique se a entidade de serviço ou o certificado que o usuário forneceu para trabalhos do Data Lake Analytics tem acesso à conta do Data Lake Analytics e à instância do Data Lake Storage padrão na pasta raiz.

Código de erro: 2707

• Mensagem: Cannot resolve the account of AzureDataLakeAnalytics. Please check 'AccountName' and 'DataLakeAnalyticsUri'.

• Causa: A conta do Data Lake Analytics no serviço vinculado está incorreta.

• Recomendação: Verifique se a conta certa foi fornecida.

Código de erro: 2703

• Mensagem: Error Id: E_CQO_SYSTEM_INTERNAL_ERROR (or any error that starts with "Error Id:").

• Causa: O erro é do Data Lake Analytics.

• Recomendação: O trabalho que foi enviado para o Data Lake Analytics falhou bem como o script no Data Lake Analytics. Investigue no Data Lake Analytics. No portal, acesse a conta do Data Lake Analytics e procure o trabalho usando a ID da execução de atividade do Data Factory (não use a ID de execução do pipeline). O trabalho fornece mais informações sobre o erro e o ajudará a solucionar problemas.

  Se a resolução não estiver clara, entre em contato com a equipe de suporte do Data Lake Analytics e forneça a URL (localizador de recursos universal) do trabalho, que inclui o nome da conta e a ID do trabalho.

Azure Functions

Código de erro: 3602

• Mensagem: Invalid HttpMethod: '%method;'.

• Causa: O Httpmethod especificado no conteúdo da atividade não compatível com a atividade de função do Azure.

• Recomendação: Os Httpmethods compatíveis são: PUT, POST, GET, DELETE, OPTIONS, HEAD e TRACE.

Código de erro: 3603

• Mensagem: Response Content is not a valid JObject.

• Causa: A função do Azure que foi chamada não retornou um conteúdo JSON na resposta. A atividade da função do Azure do pipeline do Azure Data Factory e no Synapse só é compatível com conteúdo de resposta JSON.

• Recomendação: Atualize a função do Azure para retornar um conteúdo JSON válido, assim como uma função de C# pode retornar (ActionResult)new OkObjectResult("{\"Id\":\"123\"}");

Código de erro: 3606

• Mensagem: Chave de função ausente na atividade de função do Azure.

• Causa: A definição de atividade da função do Azure não está completa.

• Recomendação: Verifique se a definição JSON da atividade de entrada da função do Azure tem uma propriedade chamada functionKey.

Código de erro: 3607

• Mensagem: Azure function activity missing function name.

• Causa: A definição de atividade da função do Azure não está completa.

• Recomendação: Verifique se a definição JSON da atividade de entrada da função do Azure tem uma propriedade chamada functionName.

Código de erro: 3608

• Mensagem: Call to provided Azure function '%FunctionName;' failed with status-'%statusCode;' and message - '%message;'.

• Causa: Os detalhes da função do Azure na definição da atividade podem estar incorretos.

• Recomendação: Corrija os detalhes da função do Azure e tente novamente.

Código de erro: 3609

• Mensagem: Azure function activity missing functionAppUrl.

• Causa: A definição de atividade da função do Azure não está completa.

• Recomendação: Verifique se a definição JSON da atividade de entrada da Função do Azure tem uma propriedade chamada functionAppUrl.

Código de erro: 3610

• Mensagem: There was an error while calling endpoint.

• Causa: A URL da função pode estar incorreta.

• Recomendação: Verifique se o valor de functionAppUrl na atividade JSON está correto e tente novamente.

Código de erro: 3611

• Mensagem: Azure function activity missing Method in JSON.

• Causa: A definição de atividade da função do Azure não está completa.

• Recomendação: Verifique se a definição JSON da atividade de entrada da função do Azure tem uma propriedade chamada method.

Código de erro: 3612

• Mensagem: Azure function activity missing LinkedService definition in JSON.

• Causa: A definição de atividade da função do Azure não está completa.

• Recomendação: Verifique se a definição JSON da atividade de entrada da função do Azure tem detalhes do serviço vinculado.

Azure Machine Learning

Código de erro: 4101

• Mensagem: AzureMLExecutePipeline activity '%activityName;' has invalid value for property '%propertyName;'.

• Causa: Formato inadequado ou definição da propriedade %propertyName; ausente.

• Recomendação: Verifique se a atividade %activityName; tem a propriedade %propertyName; definida com os dados corretos.

Código de erro: 4110

• Mensagem: AzureMLExecutePipeline activity missing LinkedService definition in JSON.

• Causa: A definição da atividade AzureMLExecutePipeline não está completa.

• Recomendação: Verifique se a definição JSON da atividade AzureMLExecutePipeline de entrada tem detalhes do serviço vinculados corretamente.

Código de erro: 4111

• Mensagem: AzureMLExecutePipeline activity has wrong LinkedService type in JSON. Expected LinkedService type: '%expectedLinkedServiceType;', current LinkedService type: Expected LinkedService type: '%currentLinkedServiceType;'.

• Causa: Definição de atividade incorreta.

• Recomendação: Verifique se a definição JSON da atividade AzureMLExecutePipeline de entrada tem detalhes do serviço vinculados corretamente.

Código de erro: 4112

• Mensagem: AzureMLService linked service has invalid value for property '%propertyName;'.

• Causa: Formato inadequado ou definição da propriedade '%propertyName;' ausente.

• Recomendação: Verifique se o serviço vinculado tem a propriedade %propertyName; definida com os dados corretos.

Código de erro: 4121

• Mensagem: Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

• Causa: A Credencial usada para acessar o Azure Machine Learning expirou.

• Recomendação: Verifique se a credencial está válida e tente novamente.

Código de erro: 4122

• Mensagem: Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

• Causa: A credencial fornecida no serviço vinculado do Azure Machine Learning está inválida ou não tem permissão para a operação.

• Recomendação: Verifique se a credencial no serviço vinculado está válida e tem permissão para acessar o Azure Machine Learning.

Código de erro: 4123

• Mensagem: Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

• Causa: As propriedades da atividade, como pipelineParameters, são inválidas para o pipeline do Azure ML (Machine Learning).

• Recomendação: verifique se o valor das propriedades da atividade corresponde ao conteúdo esperado do pipeline do Azure Machine Learning publicado especificado no Serviço Vinculado.

Código de erro: 4124

• Mensagem: Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

• Causa: o ponto de extremidade do pipeline do Azure Machine Learning publicado não existe.

• Recomendação: Verifique se o ponto de extremidade do pipeline de Azure Machine Learning publicado especificado no serviço vinculado existe no Azure Machine Learning.

Código de erro: 4125

• Mensagem: Request sent to Azure Machine Learning for operation '%operation;' failed with http status code '%statusCode;'. Error message from Azure Machine Learning: '%externalMessage;'.

• Causa: Há um erro de servidor no Azure Machine Learning.

• Recomendação: Tente novamente mais tarde. Contate a equipe do Azure Machine Learning para obter ajuda se o problema continuar.

Código de erro: 4126

• Mensagem: Azure ML pipeline run failed with status: '%amlPipelineRunStatus;'. Azure ML pipeline run Id: '%amlPipelineRunId;'. Please check in Azure Machine Learning for more error logs.

• Causa: a execução do pipeline do Azure Machine Learning falhou.

• Recomendação: Verifique se há mais logs de erros no Azure Machine Learning e, em seguida, corrija o pipeline de ML.

Azure Synapse Analytics

Código de erro: 3250

• Mensagem: There are not enough resources available in the workspace, details: '%errorMessage;'

• Causa: recursos insuficientes

• Recomendação: tente terminar os trabalhos em execução no workspace, reduzindo o número de vCores solicitados, aumentando a cota de workspace ou usando outro workspace.

Código de erro: 3251

• Mensagem: There are not enough resources available in the pool, details: '%errorMessage;'

• Causa: recursos insuficientes

• Recomendação: tente terminar os trabalhos em execução no pool, reduzindo o número de vCores solicitados, aumentando o tamanho máximo do pool ou usando outro pool.

Código de erro: 3252

• Mensagem: There are not enough vcores available for your spark job, details: '%errorMessage;'

• Causa: núcleos virtuais insuficientes

• Recomendação: tente reduzir o número de vCores solicitados ou aumentar a cota de vCore. Para obter mais informações, confira Conceitos de núcleo do Apache Spark.

Código de erro: 3253

• Mensagem: There are substantial concurrent MappingDataflow executions which is causing failures due to throttling under the Integration Runtime used for ActivityId: '%activityId;'.

• Causa: a limitação foi atingida.

• Recomendação: repita a solicitação após um período de espera.

Código de erro: 3254

• Mensagem: AzureSynapseArtifacts linked service has invalid value for property '%propertyName;'.

• Causa: Formato inadequado ou definição da propriedade '%propertyName;' ausente.

• Recomendação: verifique se o serviço vinculado tem a propriedade '%propertyName;' definida com os dados corretos.

Comum

Código de erro: 2103

• Mensagem: Please provide value for the required property '%propertyName;'.

• Causa: O valor necessário para a propriedade não foi fornecido.

• Recomendação: Forneça o valor da mensagem e tente novamente.

Código de erro: 2104

• Mensagem: The type of the property '%propertyName;' is incorrect.

• Causa: O tipo de propriedade fornecido não está correto.

• Recomendação: Corrija o tipo da propriedade e tente novamente.

Código de erro: 2105

• Mensagem: An invalid json is provided for property '%propertyName;'. Encountered an error while trying to parse: '%message;'.

• Causa: O valor da propriedade é inválido ou não está no formato esperado.

• Recomendação: Veja a documentação da propriedade e verifique se o valor fornecido inclui o formato e o tipo corretos.

Código de erro: 2106

• Mensagem: The storage connection string is invalid. %errorMessage;

• Causa: A cadeia de conexão para o armazenamento está inválida ou tem formato incorreto.

• Recomendação: Acesse o portal do Azure e localize seu armazenamento, em seguida, copie e cole a cadeia de conexão no serviço vinculado e tente novamente.

Código de erro: 2110

• Mensagem: The linked service type '%linkedServiceType;' is not supported for '%executorType;' activities.

• Causa: O serviço vinculado especificado na atividade está incorreto.

• Recomendação: Verifique se o tipo de serviço vinculado é um dos tipos compatíveis para a atividade. Por exemplo, o tipo de serviço vinculado para atividades HDI pode ser HDInsight ou HDInsightOnDemand.

Código de erro: 2111

• Mensagem: The type of the property '%propertyName;' is incorrect. The expected type is %expectedType;.

• Causa: O tipo da propriedade fornecida não está correto.

• Recomendação: Corrija o tipo de propriedade e tente novamente.

Código de erro: 2112

• Mensagem: The cloud type is unsupported or could not be determined for storage from the EndpointSuffix '%endpointSuffix;'.

• Causa: O tipo de nuvem não é compatível ou não pôde ser determinado para armazenamento proveniente do EndpointSuffix.

• Recomendação: Use o armazenamento em outra nuvem e tente novamente.

Personalizado

A tabela a seguir se aplica ao Lote do Azure.

Código de erro: 2500

• Mensagem: Hit unexpected exception and execution failed.

• Causa: Can't launch command, or the program returned an error code.

• Recomendação: Verifique se o arquivo executável existe. Se o programa tiver sido iniciado, verifique se stdout.txt e stderr.txt foram carregados na conta de armazenamento. É uma boa prática incluir logs em seu código para depuração.

Código de erro: 2501

• Mensagem: Cannot access user batch account; please check batch account settings.

• Causa: Chave de acesso do Lote ou nome do pool incorreto.

• Recomendação: Verifique o nome do pool e a chave de acesso do Lote no serviço vinculado.

Código de erro: 2502

• Mensagem: Cannot access user storage account; please check storage account settings.

• Causa: Nome da conta de armazenamento ou chave de acesso incorreto.

• Recomendação: Verifique o nome da conta de armazenamento e a chave de acesso no serviço vinculado.

Código de erro: 2504

• Mensagem: Operation returned an invalid status code 'BadRequest'.

• Causa: Muitos arquivos no folderPath da atividade personalizada. O tamanho total de resourceFiles não pode ter mais de 32.768 caracteres.

• Recomendação: Remova os arquivos desnecessários ou compacte-os e adicione um comando unzip para extraí-los.

  Por exemplo, use powershell.exe -nologo -noprofile -command "& { Add-Type -A 'System.IO.Compression.FileSystem'; [IO.Compression.ZipFile]::ExtractToDirectory($zipFile, $folder); }" ; $folder\yourProgram.exe

Código de erro: 2505

• Mensagem: Cannot create Shared Access Signature unless Account Key credentials are used.

• Causa: As atividades personalizadas são compatíveis apenas com contas de armazenamento que usam uma chave de acesso.

• Recomendação: Veja a descrição do erro.

Código de erro: 2507

• Mensagem: The folder path does not exist or is empty: ...

• Causa: Não há arquivos na conta de armazenamento no caminho especificado.

• Recomendação: O caminho da pasta deve conter os arquivos executáveis que você deseja executar.

Código de erro: 2508

• Mensagem: There are duplicate files in the resource folder.

• Causa:vários arquivos com o mesmo nome estão em subpastas diferentes de folderPath.

• Recomendação: Estrutura de pastas nivelam atividades personalizadas em folderPath. Se você precisar preservar a estrutura de pastas, compacte os arquivos e extraia-os no Lote do Azure usando um comando unzip.

  Por exemplo, use powershell.exe -nologo -noprofile -command "& { Add-Type -A 'System.IO.Compression.FileSystem'; [IO.Compression.ZipFile]::ExtractToDirectory($zipFile, $folder); }" ; $folder\yourProgram.exe

Código de erro: 2509

• Mensagem: Batch url ... is invalid; it must be in Uri format.

• Causa: As URLs do lote devem ser semelhantes a https://mybatchaccount.eastus.batch.azure.com

• Recomendação: Veja a descrição do erro.

Código de erro: 2510

• Mensagem: An error occurred while sending the request.

• Causa: A URL do lote é inválida.

• Recomendação: Verifique a URL do lote.

HDInsight

Código de erro: 206

• Mensagem: The batch ID for Spark job is invalid. Please retry your job.

• Causa: Houve um problema interno com o serviço que causou esse erro.

• Recomendação: Esse problema pode ser transitório. Tente novamente o trabalho depois de algum tempo.

Código de erro: 207

• Mensagem: Could not determine the region from the provided storage account. Please try using another primary storage account for the on demand HDI.

• Causa: Ocorreu um erro interno ao tentar determinar a região da conta de armazenamento primária.

• Recomendação: Tente outro armazenamento.

Código de erro: 208

• Mensagem: Service Principal or the MSI authenticator are not instantiated. Please consider providing a Service Principal in the HDI on demand linked service which has permissions to create an HDInsight cluster in the provided subscription and try again.

• Causa: Ocorreu um erro interno ao tentar ler a entidade de serviço ou instanciar a autenticação MSI.

• Recomendação: Considere fornecer uma entidade de serviço que tenha permissões para criar um cluster HDInsight na assinatura fornecida e tente novamente. Verifique se Gerenciar Identidades está configurado corretamente.

Código de erro: 2300

• Mensagem: Failed to submit the job '%jobId;' to the cluster '%cluster;'. Error: %errorMessage;.

• Causa: A mensagem de erro contém uma mensagem semelhante a The remote name could not be resolved.. O URI do cluster fornecido pode ser inválido.

• Recomendação: Verifique se o cluster não foi excluído e se o URI fornecido está correto. Ao abrir o URI em um navegador, você deverá ver a interface do usuário do Ambari. Se o cluster estiver em uma rede virtual, o URI deverá ser o URI privado. Para abri-lo, use uma VM (Máquina Virtual) que faça parte da mesma rede virtual.

  Para obter mais informações, confira Conectar-se diretamente aos serviços do Apache Hadoop.

• Causa: Se a mensagem de erro contiver uma mensagem semelhante a A task was canceled., o envio do trabalho atingiu o tempo limite.

• Recomendação: O problema pode ser a conectividade geral do HDInsight ou a conectividade da rede. Primeiro, confirme se a interface do usuário do Ambari no HDInsight está disponível em qualquer navegador. Em seguida, verifique se suas credenciais ainda estão válidas.

  Se você estiver usando um IR (integration runtime) auto-hospedado, execute esta etapa na VM ou no computador em que o IR auto-hospedado está instalado. Em seguida, tente reenviar o trabalho.

  Para obter mais informações, leia Interface do usuário da Web do Ambari.

• Causa: Quando a mensagem de erro contém uma mensagem semelhante a User admin is locked out in Ambari ou Unauthorized: Ambari user name or password is incorrect, as credenciais do HDInsight estão incorretas ou expiraram.

• Recomendação: Corrija as credenciais e reimplante o serviço vinculado. Primeiro, verifique se as credenciais funcionam no HDInsight abrindo o URI do cluster em qualquer navegador e tentando entrar. Se as credenciais não funcionarem, você poderá redefini-las no portal do Azure.

  Para o cluster ESP, redefina a senha por meio da redefinição de senha por autoatendimento.

• Causa: Quando a mensagem de erro contém uma mensagem semelhante a 502 - Web server received an invalid response while acting as a gateway or proxy server, esse erro é retornado pelo serviço do HDInsight.

• Recomendação: Um erro 502 geralmente ocorre quando o processo do Servidor do Ambari foi desligado. Você pode reiniciar os serviços do Ambari reiniciando o nó principal.

  1. Conecte-se a um de seus nós no HDInsight usando SSH.

  2. Identifique o host do nó de cabeçalho ativo executando ping headnodehost.

  3. Conecte-se ao nó de cabeçalho ativo, pois o Servidor do Ambari fica no nó de cabeçalho ativo usando o SSH.

  4. Reinicialize o nó de cabeçalho ativo.

     Para obter mais informações, confira a documentação de solução de problemas do Azure HDInsight. Por exemplo:

     • Erro 502 da interface de usuário do Ambari
     • RpcTimeoutException para servidor Thrift do Apache Spark
     • Solução de problemas de erros de gateway incorreto no Gateway de Aplicativo.

• Causa: Quando a mensagem de erro contém uma mensagem semelhante a Unable to service the submit job request as templeton service is busy with too many submit job requests ou Queue root.joblauncher already has 500 applications, cannot accept submission of application, há muitos trabalhos sendo enviados ao HDInsight ao mesmo tempo.

• Recomendação: Limite o número de trabalhos simultâneos enviados ao HDInsight. Veja a simultaneidade de atividade se os trabalhos estiverem sendo enviados pela mesma atividade. Altere os gatilhos para que as execuções de pipeline simultâneas sejam distribuídas com o passar do tempo.

  Veja a Documentação do HDInsight para ajustar templeton.parallellism.job.submit conforme o erro sugere.

Código de erro: 2301

• Mensagem: Could not get the status of the application '%physicalJobId;' from the HDInsight service. Received the following error: %message;. Please refer to HDInsight troubleshooting documentation or contact their support for further assistance.

• Causa: O cluster ou serviço HDInsight tem problemas.

• Recomendação: Esse erro ocorre quando o serviço não recebe uma resposta do cluster do HDInsight ao tentar solicitar o status do trabalho em execução. Esse problema pode estar no próprio cluster ou o serviço HDInsight pode ter uma interrupção.

  Veja a documentação de solução de problemas do HDInsight, ou entre em contato com o suporte da Microsoft para obter assistência adicional.

Código de erro: 2302

• Mensagem: Hadoop job failed with exit code '%exitCode;'. See '%logPath;/stderr' for more details. Alternatively, open the Ambari UI on the HDI cluster and find the logs for the job '%jobId;'. Contact HDInsight team for further support.

• Causa: O trabalho foi enviado para o cluster HDI e falhou.

• Recomendação:

1. Verifique a interface do usuário do Ambari:
   1. Verifique se todos os serviços ainda estão em execução.
   2. Na interface do usuário do Ambari, verifique a seção de alertas em seu painel.
      1. Para obter mais informações sobre alertas e resoluções de alertas, confira Gerenciar e monitorar um cluster.
   3. Examine a memória do YARN. Se a memória do YARN estiver alta, o processamento dos trabalhos poderá ser atrasado. Se você não tiver recursos suficientes para acomodar seu aplicativo/trabalho do Spark, escale verticalmente o cluster para garantir que o cluster tenha memória e núcleos suficientes.
2. Execute um trabalho de teste de exemplo.
   1. Se você executar o mesmo trabalho no back-end do HDInsight, verifique se ele foi bem-sucedido. Para obter exemplos de execuções de amostra, veja Executar os exemplos do MapReduce incluídos no HDInsight
3. Se o trabalho ainda estiver falhando no HDInsight, verifique os logs e as informações do aplicativo para fornecer ao suporte:
   1. Verifique se o trabalho foi enviado para o YARN. Se o trabalho não foi enviado para o YARN, use --master yarn.
   2. Se o aplicativo concluiu a execução, colete a hora de início e de término do aplicativo YARN. Se o aplicativo não concluiu a execução, colete a Hora de início/Hora de inicialização.
   3. Verifique e colete o log do aplicativo com yarn logs -applicationId <Insert_Your_Application_ID>.
   4. Verifique e colete os logs do Resource Manager do YARN no diretório /var/log/hadoop-yarn/yarn.
   5. Se essas etapas não forem suficientes para resolver o problema, entre em contato com a equipe do Azure HDInsight para obter suporte e forneça os logs e carimbos de data e hora acima.

Código de erro: 2303

• Mensagem: Hadoop job failed with transient exit code '%exitCode;'. See '%logPath;/stderr' for more details. Alternatively, open the Ambari UI on the HDI cluster and find the logs for the job '%jobId;'. Try again or contact HDInsight team for further support.

• Causa: O trabalho foi enviado para o cluster HDI e falhou.

• Recomendação:

1. Verifique a interface do usuário do Ambari:
   1. Verifique se todos os serviços ainda estão em execução.
   2. Na interface do usuário do Ambari, verifique a seção de alertas em seu painel.
      1. Para obter mais informações sobre alertas e resoluções de alertas, confira Gerenciar e monitorar um cluster.
   3. Examine a memória do YARN. Se a memória do YARN estiver alta, o processamento dos trabalhos poderá ser atrasado. Se você não tiver recursos suficientes para acomodar seu aplicativo/trabalho do Spark, escale verticalmente o cluster para garantir que o cluster tenha memória e núcleos suficientes.
2. Execute um trabalho de teste de exemplo.
   1. Se você executar o mesmo trabalho no back-end do HDInsight, verifique se ele foi bem-sucedido. Para obter exemplos de execuções de amostra, veja Executar os exemplos do MapReduce incluídos no HDInsight
3. Se o trabalho ainda estiver falhando no HDInsight, verifique os logs e as informações do aplicativo para fornecer ao suporte:
   1. Verifique se o trabalho foi enviado para o YARN. Se o trabalho não foi enviado para o YARN, use --master yarn.
   2. Se o aplicativo concluiu a execução, colete a hora de início e de término do aplicativo YARN. Se o aplicativo não concluiu a execução, colete a Hora de início/Hora de inicialização.
   3. Verifique e colete o log do aplicativo com yarn logs -applicationId <Insert_Your_Application_ID>.
   4. Verifique e colete os logs do Resource Manager do YARN no diretório /var/log/hadoop-yarn/yarn.
   5. Se essas etapas não forem suficientes para resolver o problema, entre em contato com a equipe do Azure HDInsight para obter suporte e forneça os logs e carimbos de data e hora acima.

Código de erro: 2304

• Mensagem: MSI authentication is not supported on storages for HDI activities.

• Causa: Os serviços vinculados de armazenamento usados no serviço vinculado do HDI (HDInsight) ou na atividade do HDI são configurados com uma autenticação da MSI que não é compatível.

• Recomendação: Forneça cadeias de conexão completas para as contas de armazenamento usadas no serviço vinculado do HDI ou na atividade do HDI.

Código de erro: 2305

• Mensagem: Failed to initialize the HDInsight client for the cluster '%cluster;'. Error: '%message;'

• Causa: As informações de conexão do cluster HDI estão incorretas, o usuário fornecido não tem permissões para executar a ação necessária ou o serviço HDInsight tem problemas de resposta às solicitações do serviço.

• Recomendação: Verifique se as informações do usuário estão corretas e se a interface do usuário do Ambari para o cluster HDI pode ser aberta em um navegador de VM em que o IR está instalado (para um IR auto-hospedado) ou pode ser aberta em qualquer computador (para o Azure IR).

Código de erro: 2306

• Mensagem: An invalid json is provided for script action '%scriptActionName;'. Error: '%message;'

• Causa: O JSON fornecido para a ação de script é inválido.

• Recomendação: A mensagem de erro deve ajudar a identificar o problema. Corrija a configuração JSON e tente novamente.

  Verifique o Serviço vinculado do Azure HDInsight sob demanda para obter mais informações.

Código de erro: 2310

• Mensagem: Failed to submit Spark job. Error: '%message;'

• Causa: O serviço tentou criar um lote em um cluster do Spark usando a API Livy (livy/batch), mas recebeu um erro.

• Recomendação: Siga a mensagem de erro para corrigir o problema. Se não houver informações suficientes para resolver isso, entre em contato com a equipe de HDI e forneça a ID do lote e a ID do trabalho, que podem ser encontradas na Saída da execução da atividade da página de Monitoramento do serviço. Para solucionar os problemas, colete o log completo do trabalho em lotes.

  Para obter mais informações sobre como coletar o log completo, confira Obter o log completo de um trabalho em lotes.

Código de erro: 2312

• Mensagem: Spark job failed, batch id:%batchId;. Please follow the links in the activity run Output from the service Monitoring page to troubleshoot the run on HDInsight Spark cluster. Please contact HDInsight support team for further assistance.

• Causa: O trabalho falhou no cluster do HDInsight Spark.

• Recomendação: Siga os links da saída da execução da atividade na página de monitoramento do serviço para solucionar problemas de execução no cluster do HDInsight Spark. Contate a equipe de suporte do HDInsight para obter mais assistência.

  Para obter mais informações sobre como coletar o log completo, confira Obter o log completo de um trabalho em lotes.

Código de erro: 2313

• Mensagem: The batch with ID '%batchId;' was not found on Spark cluster. Open the Spark History UI and try to find it there. Contact HDInsight support for further assistance.

• Causa: O lote foi excluído no cluster do HDInsight Spark.

• Recomendação: Solucionar problemas de lotes no cluster do HDInsight Spark. Contate o suporte do HDInsight para obter mais assistência.

  Para obter mais informações sobre como coletar o log completo, confira Obter o log completo de um trabalho em lotes e compartilhe o log completo com o suporte do HDInsight para obter mais assistência.

Código de erro: 2328

• Mensagem: Failed to create the on demand HDI cluster. Cluster or linked service name: '%clusterName;', error: '%message;'

• Causa: A mensagem de erro deve mostrar os detalhes do que deu errado.

• Recomendação: A mensagem de erro deve ajudar a solucionar o problema.

Código de erro: 2329

• Mensagem: Failed to delete the on demand HDI cluster. Cluster or linked service name: '%clusterName;', error: '%message;'

• Causa: A mensagem de erro deve mostrar os detalhes do que deu errado.

• Recomendação: A mensagem de erro deve ajudar a solucionar o problema.

Código de erro: 2331

• Mensagem: The file path should not be null or empty.

• Causa: O caminho de arquivo fornecido está vazio.

• Recomendação: Forneça um caminho para um arquivo existente.

Código de erro: 2340

• Mensagem: HDInsightOnDemand linked service does not support execution via SelfHosted IR. Your IR name is '%IRName;'. Please select an Azure IR instead.

• Causa: O serviço vinculado HDInsightOnDemand não é compatível com a execução por meio de IR auto-hospedado.

• Recomendação: Selecione um Azure IR e tente novamente.

Código de erro: 2341

• Mensagem: HDInsight cluster URL '%clusterUrl;' is incorrect, it must be in URI format and the scheme must be 'https'.

• Causa: A URL fornecida não está no formato correto.

• Recomendação: Corrija a URL do cluster e tente novamente.

Código de erro: 2342

• Mensagem: Failed to connect to HDInsight cluster: '%errorMessage;'.

• Causa: As credenciais fornecidas estão incorretas para o cluster ou houve uma configuração de rede ou um problema de conexão ou o IR está tendo problemas para se conectar com o cluster.

• Recomendação:

  1. Verifique se as credenciais estão corretas abrindo a interface do usuário do Ambari do cluster HDInsight em um navegador.

  2. Se o cluster estiver em uma VNet (Rede Virtual) e um IR auto-hospedado estiver sendo usado, a URL do HDI deverá ser a URL privada em VNets e deverá ter -int listado após o nome do cluster.

     Por exemplo, altere https://mycluster.azurehdinsight.net/ para https://mycluster-int.azurehdinsight.net/. Observe o -int após mycluster, mas antes de .azurehdinsight.net

  3. Se o cluster estiver na VNet, o IR auto-hospedado estiver sendo usado e a URL privada tiver sido usada e, ainda assim, a conexão falhar, a VM em que o IR está instalado teve problemas ao se conectar com o HDI.

     Conecte-se à VM em que o IR está instalado e abra a interface do usuário do Ambari em um navegador. Use a URL privada para o cluster. Essa conexão deve funcionar no navegador. Caso contrário, contate a equipe de suporte do HDInsight para obter mais assistência.

  4. Se o IR auto-hospedado não estiver sendo usado, o cluster HDI deverá ser acessível publicamente. Abra a interface do usuário do Ambari em um navegador e verifique se ela é aberta. Se houver algum problema com o cluster ou com os serviços, entre em contato com a equipe de suporte do HDInsight para obter assistência.

     A URL do cluster do HDI usada no serviço vinculado deve ser acessível para o IR (auto-hospedado ou Azure) para que a conexão de teste passe e para que as execuções funcionem. Esse estado pode ser verificado abrindo a URL em um navegador em uma VM ou em qualquer computador público.

Código de erro: 2343

• Mensagem: User name and password cannot be null or empty to connect to the HDInsight cluster.

• Causa: o nome de usuário ou a senha estão vazios.

• Recomendação: Forneça as credenciais corretas para se conectar ao HDI e tente novamente.

Código de erro: 2345

• Mensagem: Failed to read the content of the hive script. Error: '%message;'

• Causa: O arquivo de script não existe ou o serviço não pôde se conectar à localização do script.

• Recomendação: Verifique se o script existe e se o serviço vinculado associado tem as credenciais apropriadas para uma conexão.

Código de erro: 2346

• Mensagem: Failed to create ODBC connection to the HDI cluster with error message '%message;'.

• Causa: O serviço tentou estabelecer uma conexão ODBC com o cluster HDI e falhou com um erro.

• Recomendação:

  1. Confirme se você configurou corretamente sua conexão ODBC/JDBC (Java Database Connectivity).
     1. Para JDBC, se você estiver usando a mesma rede virtual, poderá obter essa conexão de:
        Hive -> Summary -> HIVESERVER2 JDBC URL
     2. Para garantir que você tenha a configuração JDBC correta, veja Consultar Apache Hive por meio do driver JDBC no HDInsight.
     3. Para ODB (Open Database), confira o Tutorial: Consultar Apache Hive com ODBC e PowerShell para ter a configuração correta.
  2. Verifique se Hiveserver2, Metastore do Hive e Hiveserver2 Interactive estão ativos e funcionando.
  3. Verifique a interface do usuário do Ambari:
     1. Verifique se todos os serviços ainda estão em execução.
     2. Na interface do usuário do Ambari, verifique a seção de alertas em seu painel.
        1. Para obter mais informações sobre alertas e resoluções de alertas, confira Gerenciar e monitorar um cluster.
  4. Se essas etapas não forem suficientes para resolver o problema, entre em contato com a equipe do Azure HDInsight.

Código de erro: 2347

• Mensagem: Hive execution through ODBC failed with error message '%message;'.

• Causa: o serviço enviou o script do Hive para execução para o cluster HDI por meio da conexão ODBC e o script falhou no HDI.

• Recomendação:

  1. Confirme se você configurou corretamente sua conexão ODBC/JDBC (Java Database Connectivity).
     1. Para JDBC, se você estiver usando a mesma rede virtual, poderá obter essa conexão de:
        Hive -> Summary -> HIVESERVER2 JDBC URL
     2. Para garantir que você tenha a configuração JDBC correta, veja Consultar Apache Hive por meio do driver JDBC no HDInsight.
     3. Para ODB (Open Database), confira o Tutorial: Consultar Apache Hive com ODBC e PowerShell para ter a configuração correta.
  2. Verifique se Hiveserver2, Metastore do Hive e Hiveserver2 Interactive estão ativos e funcionando.
  3. Verifique a interface do usuário do Ambari:
     1. Verifique se todos os serviços ainda estão em execução.
     2. Na interface do usuário do Ambari, verifique a seção de alertas em seu painel.
        1. Para obter mais informações sobre alertas e resoluções de alertas, confira Gerenciar e monitorar um cluster.
  4. Se essas etapas não forem suficientes para resolver o problema, entre em contato com a equipe do Azure HDInsight.

Código de erro: 2348

• Mensagem: The main storage has not been initialized. Please check the properties of the storage linked service in the HDI linked service.

• Causa: As propriedades do serviço vinculado de armazenamento não estão definidas corretamente.

• Recomendação: Somente as cadeias de conexão completas são compatíveis com o serviço vinculado do armazenamento principal para atividades do HDI. Verifique se você não está usando autorizações ou aplicativos do MSI.

Código de erro: 2350

• Mensagem: Failed to prepare the files for the run '%jobId;'. HDI cluster: '%cluster;', Error: '%errorMessage;'

• Causa: As credenciais fornecidas para se conectar ao armazenamento em que os arquivos devem estar localizados estão incorretas ou os arquivos não existem.

• Recomendação: Esse erro ocorre quando o serviço se prepara para atividades do HDI e tenta copiar arquivos para o armazenamento principal antes de enviar o trabalho para o HDI. Verifique se os arquivos existem na localização fornecida e se a conexão do armazenamento está correta. Como as atividades do HDI não são compatíveis com a autenticação MSI em contas de armazenamento relacionadas a atividades do HDI, verifique se esses serviços vinculados têm chaves completas ou estão usando o Azure Key Vault.

Código de erro: 2351

• Mensagem: Could not open the file '%filePath;' in container/fileSystem '%container;'.

• Causa: O arquivo não existe no caminho especificado.

• Recomendação: Verifique se o arquivo realmente existe e se o serviço vinculado com informações de conexão que apontam para esse arquivo tem as credenciais corretas.

Código de erro: 2352

• Mensagem: The file storage has not been initialized. Please check the properties of the file storage linked service in the HDI activity.

• Causa: As propriedades do serviço vinculado de armazenamento de arquivos não estão definidas corretamente.

• Recomendação: Verifique se as propriedades do serviço vinculado de armazenamento de arquivos estão configuradas corretamente.

Código de erro: 2353

• Mensagem: The script storage has not been initialized. Please check the properties of the script storage linked service in the HDI activity.

• Causa: As propriedades do serviço vinculado de armazenamento do script não estão definidas corretamente.

• Recomendação: Verifique se as propriedades do serviço vinculado de armazenamento do script estão configuradas corretamente.

Código de erro: 2354

• Mensagem: The storage linked service type '%linkedServiceType;' is not supported for '%executorType;' activities for property '%linkedServicePropertyName;'.

• Causa: O tipo de serviço vinculado de armazenamento não é compatível com a atividade.

• Recomendação: Verifique se o serviço vinculado selecionado tem um dos tipos compatíveis com a atividade. As atividades do HDI são compatíveis com os serviços vinculados AzureBlobStorage e AzureBlobFSStorage.

  Para obter mais informações, leia Comparar opções de armazenamento para uso com clusters do Azure HDInsight

Código de erro: 2355

• Mensagem: The '%value' provided for commandEnvironment is incorrect. The expected value should be an array of strings where each string has the format CmdEnvVarName=CmdEnvVarValue.

• Causa: O valor fornecido para commandEnvironment está incorreto.

• Recomendação: Verifique se o valor fornecido é semelhante a:

  \"variableName=variableValue\"
  ]
  

  Verifique também se cada variável aparece na lista apenas uma vez.

Código de erro: 2356

• Mensagem: The commandEnvironment already contains a variable named '%variableName;'.

• Causa: O valor fornecido para commandEnvironment está incorreto.

• Recomendação: Verifique se o valor fornecido é semelhante a:

  \"variableName=variableValue\"
  ]
  

  Verifique também se cada variável aparece na lista apenas uma vez.

Código de erro: 2357

• Mensagem: The certificate or password is wrong for ADLS Gen 1 storage.

• Causa: As credenciais fornecidas estão incorretas.

• Recomendação: Verifique se as informações de conexão no ADLS Gen 1 estão vinculadas ao serviço e verifique se a conexão de teste foi realizada com sucesso.

Código de erro: 2358

• Mensagem: The value '%value;' for the required property 'TimeToLive' in the on demand HDInsight linked service '%linkedServiceName;' has invalid format. It should be a timespan between '00:05:00' and '24:00:00'.

• Causa: O valor fornecido para a propriedade necessária TimeToLive tem um formato inválido.

• Recomendação: Atualize o valor para o intervalo sugerido e tente novamente.

Código de erro: 2359

• Mensagem: The value '%value;' for the property 'roles' is invalid. Expected types are 'zookeeper', 'headnode', and 'workernode'.

• Causa: O valor fornecido para a propriedade roles é inválido.

• Recomendação: Atualize o valor para uma das sugestões e tente novamente.

Código de erro: 2360

• Mensagem: The connection string in HCatalogLinkedService is invalid. Encountered an error while trying to parse: '%message;'.

• Causa: A cadeia de conexão fornecida para o HCatalogLinkedService é inválida.

• Recomendação: Atualize o valor para uma cadeia de conexão correta do Azure SQL e tente novamente.

Código de erro: 2361

• Mensagem: Failed to create on demand HDI cluster. Cluster name is '%clusterName;'.

• Causa: A criação do cluster falhou e o serviço não recebeu um erro do serviço do HDInsight.

• Recomendação: Abra o portal do Azure e tente localizar o recurso do HDI com o nome fornecido e, em seguida, verifique o status de provisionamento. Contate a equipe de suporte do HDInsight para obter mais assistência.

Código de erro: 2362

• Mensagem: Only Azure Blob storage accounts are supported as additional storages for HDInsight on demand linked service.

• Causa: O armazenamento adicional fornecido não era o Armazenamento de Blobs do Azure.

• Recomendação: Forneça uma conta de Armazenamento de Blobs do Azure como um armazenamento adicional para o serviço vinculado sob demanda do HDInsight.

Erro de SSL quando o serviço vinculado está usando o cluster ESP do HDInsight

• Mensagem: Failed to connect to HDInsight cluster: 'ERROR [HY000] [Microsoft][DriverSupport] (1100) SSL certificate verification failed because the certificate is missing or incorrect.'

• Causa: o problema provavelmente está relacionado ao repositório confiável do sistema.

• Resolução: você pode navegar até o caminho Microsoft Integration Runtime\4.0\Shared\ODBC Drivers\Microsoft Hive ODBC Driver\lib e abrir o arquivo DriverConfiguration64.exe para alterar a configuração.

  

Atividade HDI travada na preparação para o cluster

Se a atividade HDI estiver travada na preparação para o cluster, siga as diretrizes abaixo:

1. Verifique se o tempo limite é maior do que o descrito abaixo e aguarde a conclusão da execução ou a expiração, e então aguarde o tempo de vida útil (TTL) antes de enviar novos trabalhos.

   O tempo padrão máximo necessário para criar um cluster é de duas horas. Se você tiver um script de inicialização, ele será acrescentado até o máximo de outras duas horas.

2. Confira se o armazenamento e o HDI estão sendo provisionados na mesma região.

3. Verifique se a entidade de serviço usada para acessar o cluster HDI é válida.

4. Se o problema persistir, como alternativa, exclua o serviço vinculado HDI e recrie-o com um novo nome.

Atividade da Web

Código de erro: 2001

• Mensagem: The length of execution output is over limit (around 4MB currently).

• Causa: a saída de execução é maior que 4 MB de tamanho, mas o tamanho máximo do payload de resposta de saída com suporte é de 4 MB.

• Recomendação: verifique se o tamanho da saída de execução não excede 4 MB. Para obter mais informações, confira Como escalar horizontalmente o tamanho dos dados que migram usando o Azure Data Factory.

Código de erro: 2002

• Mensagem: The payload including configurations on activity/dataSet/linked service is too large. Please check if you have settings with very large value and try to reduce its size.

• Causa: o payload que você está tentando enviar é muito grande.

• Recomendação: confira O payload é grande demais.

Código de erro: 2003

• Mensagem: There are substantial concurrent external activity executions which is causing failures due to throttling under subscription <subscription id>, region <region code> and limitation <current limit>. Please reduce the concurrent executions. For limits, refer https://aka.ms/adflimits.

• Causa: há atividades demais sendo executadas simultaneamente. Isso pode acontecer quando muitos pipelines são disparados de uma só vez.

• Recomendação: reduzir a simultaneidade do pipeline. Talvez seja necessário distribuir o tempo de gatilho dos seus pipelines.

Código de erro: 2010

• Mensagem: The Self-hosted Integration Runtime ‘<SHIR name>’ is offline

• Causa: o runtime de integração auto-hospedada está offline ou o Azure Integration Runtime expirou ou não está registrado.

• Recomendação: verifique se o runtime de integração auto-hospedada está em execução. Confira Solucionar problemas de runtime de integração auto-hospedada para obter mais informações.

Código de erro: 2105

• Mensagem: The value type '<provided data type>', in key '<key name>' is not expected type '<expected data type>'

• Causa: os dados gerados na expressão de conteúdo dinâmico não correspondem à chave e causam falha na análise do JSON.

• Recomendação: examine o campo de chave e corrija a definição de conteúdo dinâmico.

Código de erro: 2108

• Mensagem: Error calling the endpoint '<URL>'. Response status code: 'NA - Unknown'. More details: Exception message: 'NA - Unknown [ClientSideException] Invalid Url: <URL>. Please verify Url or integration runtime is valid and retry. Localhost URLs are allowed only with SelfHosted Integration Runtime'

• Causa: não é possível acessar a URL fornecida. Isso pode ocorrer porque houve um problema de conexão de rede, a URL não pôde ser armazenada ou uma URL do localhost estava sendo usada em um runtime de integração do Azure.

• Recomendação: verifique se a URL fornecida está acessível.

• Mensagem: Error calling the endpoint '%url;'. Response status code: '%code;'

• Causa: A solicitação falhou devido a um problema subjacente, como conectividade de rede, uma falha de DNS, uma validação de certificado do servidor ou um tempo limite.

• Recomendação: use Fiddler/Netmon/Wireshark para validar a solicitação.

  Como usar o Fiddler

  Para usar Fiddler para criar uma sessão HTTP do aplicativo Web monitorado:

  1. Baixe, instale e abra o Fiddler.

  2. Se o aplicativo Web usar HTTPS, acesse Ferramentas>Opções do Fiddler>HTTPS.

     1. Na guia HTTPS, selecione Capturar conexões HTTPS e Descriptografar tráfego HTTPS.

        

  3. Se o aplicativo usar certificados TLS/SSL, adicione o certificado Fiddler ao seu dispositivo.

     Acesse: Ferramentas>Opções do Fiddler>HTTPS>Ações>Exportar Certificado Raiz para a Área de Trabalho.

  4. Desligue a captura acessando Arquivo>Capturar Tráfego. Ou pressione F12.

  5. Limpe o cache do navegador para que todos os itens em cache sejam removidos e tenham que ser baixados novamente.

  6. Crie uma solicitação:

  7. Selecione a guia Composer.

     1. Defina o método HTTP e a URL.

     2. Se necessário, adicione cabeçalhos e corpo da solicitação.

     3. Selecione Executar.

  8. Ative a captura de tráfego novamente e conclua a transação com problema em sua página.

  9. Acesse: Arquivo>Salvar>Todas as Sessões.

  Para saber mais, confira Introdução ao Fiddler.

Código de erro: 2113

• Mensagem: ExtractAuthorizationCertificate: Unable to generate a certificate from a Base64 string/password combination

• Causa: não é possível gerar certificado da combinação de cadeia de caracteres/senha Base64.

• Recomendação: verifique se a combinação do certificado PFX codificado em Base64 com a senha que você está usando foram inseridos corretamente.

Código de erro: 2403

• Mensagem: Get access token from MSI failed for Datafactory <DF name>, region <region code>. Please verify resource url is valid and retry.

• Causa: não é possível adquirir um token de acesso da URL de recurso fornecida.

• Recomendação: verifique se você forneceu a URL de recurso correta para sua identidade gerenciada.

Geral

Erro NULL do token de continuação REST

Mensagem de erro: {"token":null,"range":{"min":..}

Causa: ao consultar várias partições/páginas, o serviço de back-back retorna o token de continuação no formato JObject com três propriedades: token, min e max key ranges, por exemplo, {"token":null,"range":{"min":"05C1E9AB0DAD76","max":"05C1E9CD673398"}}). Dependendo dos dados de origem, a consulta pode resultar em 0 indicando token ausente, embora haja mais dados a buscar.

Recomendação: Quando o continuationToken não é null, como na cadeia de caracteres {"token":null,"range":{"min":"05C1E9AB0DAD76","max":"05C1E9CD673398"}}, é necessário chamar a API queryActivityRuns novamente com o token de continuação da resposta anterior. Você precisa passar a cadeia de caracteres completa para a API de consulta novamente. As atividades serão retornadas nas páginas subsequentes para o resultado da consulta. Você deve ignorar que há uma matriz vazia nessa página, contanto que o valor completo de continuationToken != null, você precisa continuar consultando. Para obter mais detalhes, veja API REST para consulta de execução de pipeline.

Problema de atividade paralisada

Quando você observa que a atividade está sendo executada muito mais do que as suas execuções normais sem quase nenhum progresso, pode acontecer de ela estar paralisada. Você pode cancelá-la e tentar novamente para ver se isso resolve o problema. Se for uma atividade Copy, você pode aprender sobre monitoramento de desempenho e solução de problemas em Solucionar problemas de desempenho da atividade Copy. Se for um fluxo de dados, aprenda com o guia de ajuste Desempenho do fluxo de dados de mapeamento.

O conteúdo é muito grande

Mensagem de erro: The payload including configurations on activity/dataSet/linked service is too large. Please check if you have settings with very large value and try to reduce its size.

Causa: o conteúdo para cada execução de atividade inclui a configuração da atividade, os conjuntos de dados associados e as configurações de serviços vinculados, se houver, e uma pequena parte das propriedades do sistema geradas por tipo de atividade. O limite desse tamanho de conteúdo é de 896 KB, conforme mencionado na documentação de limites do Azure para o Data Factory e o Azure Synapse Analytics.

Recomendação: você atingiu esse limite provavelmente porque passou um ou mais valores de parâmetro grandes a partir da saída de atividade upstream ou externa, especialmente se você passar dados reais entre atividades no fluxo de controle. Verifique se você consegue reduzir o tamanho dos valores de parâmetro grandes ou ajuste a lógica do pipeline para evitar passar esses valores entre as atividades e tratar dentro da atividade.

A compactação sem suporte faz com que os arquivos sejam corrompidos

Sintomas: você tenta descompactar um arquivo armazenado em um contêiner de blob. Uma única atividade Copy em um pipeline tem uma fonte com o tipo de compactação definido como "deflate64" (ou qualquer tipo que não possua suporte). Essa atividade é executada com êxito e produz o arquivo de texto contido no arquivo zip. No entanto, há um problema com o texto no arquivo, e esse arquivo aparece corrompido. Quando esse arquivo é descompactado localmente, ele está bom.

Causa: seu arquivo zip está compactado pelo algoritmo do "deflate64", enquanto a biblioteca zip interna do Azure Data Factory dá suporte apenas a "deflate". Se o arquivo zip for compactado pelo sistema Windows e o tamanho geral do arquivo exceder um determinado número, o Windows usará o "deflate64" por padrão, e não há suporte para isso no Azure Data Factory. Por outro lado, se o tamanho do arquivo for menor ou se você usar algumas ferramentas zip de terceiros que deem suporte à especificação do algoritmo de compactação, o Windows usará o "deflate" por padrão.

Dica

Na verdade, o formato binário no Azure Data Factory e no Azure Synapse e o formato de texto Delimitado no Azure Data Factory e no Azure Synapse Analytics claramente mostram que não há suporte para o formato "deflate64" no Azure Data Factory.

A atividade Execute Pipeline passa o parâmetro de matriz como cadeia de caracteres para o pipeline filho

Mensagem de erro: Operation on target ForEach1 failed: The execution of template action 'MainForEach1' failed: the result of the evaluation of 'foreach' expression '@pipeline().parameters.<parameterName>' is of type 'String'. The result must be a valid array.

Causa: mesmo que você crie o parâmetro do tipo matriz na atividade Execute Pipeline, conforme mostrado na imagem abaixo, o pipeline falhará.

Isso ocorre porque o conteúdo é passado do pipeline pai para o filho como cadeia de caracteres. Podemos vê-lo quando verificamos a entrada passada para o pipeline filho.

Recomendação: para resolver o problema, podemos aproveitar a função Criar matriz, conforme mostrado na imagem abaixo.

Em seguida, nosso pipeline terá êxito. E podemos ver na caixa de entrada que o parâmetro passado é uma matriz.

Conteúdo relacionado

Para obter mais ajuda com a solução de problemas, experimente estes recursos:

• Blog de Data Factory
• Solicitações de recurso do Data Factory
• Fórum do Stack Overflow para Data Factory
• X informações sobre o Data Factory
• Vídeos do Azure
• Página de perguntas e respostas da Microsoft