Понимание и устранение ошибок, полученных из WebHCat в HDInsight
Дополнительные сведения об ошибках, возникающих при использовании WebHCat в HDInsight, а также способы их устранения. WebHCat используется во внутренних процессах таких клиентских инструментов, как Azure PowerShell и средства Azure Data Lake для Visual Studio.
Что такое WebHCat
WebHCat — это REST API для HCatalog, таблицы и уровня управления хранилищем для Apache Hadoop. WebHCat активирован по умолчанию в кластерах HDInsight и используется различными средствами для отправки заданий, получения состояния задания и т. д. без входа в кластер.
Изменение конфигурации
Некоторые из ошибок, приведенных в этом документе, возникают из-за превышения установленного максимума. Если на этапе разрешения говорится, что можно изменить значение, используйте Apache Ambari (онлайн-версию или REST API) для изменения значения. Дополнительные сведения см. в разделе Управление кластерами HDInsight с помощью веб-интерфейса Ambari.
Конфигурация по умолчанию
При превышении следующих значений по умолчанию может снизиться производительность WebHCat или могут возникнуть ошибки.
| Параметр | Что он делает | Default value |
|---|---|---|
| [yarn.scheduler.capacity.maximum-applications] [максимальное число приложений] | Максимальное количество заданий, которые могут быть активны одновременно (в состоянии ожидания или выполнения) | 10,000 |
templeton.exec.max-procs |
Максимальное число запросов, которые могут обрабатываться параллельно | 20 |
| [mapreduce.jobhistory.max-age-ms] [max-age-ms] | Число дней, в течение которых хранится журнал заданий. | 7 дней |
Слишком много запросов
Код состояния HTTP: 429
| Причина | Решение |
|---|---|
| Превышено максимальное число одновременных запросов, обслуживаемых WebHCat в минуту (по умолчанию 20) | Уменьшите рабочую нагрузку и убедитесь, что максимальное количество параллельных запросов не превышено, или увеличьте количество одновременных запросов путем изменения templeton.exec.max-procs. Для получения дополнительных сведений ознакомьтесь с разделом Изменение конфигурации. |
Сервер недоступен
Код состояния HTTP: 503
| Причина | Решение |
|---|---|
| Обычно этот код состояния отображается во время обработки отказа между первичным и вторичным головным узлом кластера. | Подождите две минуты, а затем повторите операцию |
Содержимое плохого запроса: не удалось найти задание
Код состояния HTTP: 400
| Причина | Решение |
|---|---|
| Сведения о задании очищаются с помощью более чистого журнала заданий | Срок хранения по умолчанию для журнала заданий составляет семь дней. Его можно изменить, внеся изменения в mapreduce.jobhistory.max-age-ms. Для получения дополнительных сведений ознакомьтесь с разделом Изменение конфигурации. |
| Задание убито из-за отработки отказа | Повторить попытку отправки задания через две минуты. |
| Использован недопустимый идентификатор задания | Проверьте, правильно ли указан идентификатор задания |
Недопустимый шлюз
Код состояния HTTP: 502
| Причина | Решение |
|---|---|
| Внутренний сбор мусора происходит в процессе WebHCat | Дождитесь завершения процесса сбора мусора или перезапустите службу WebHCat |
| Время ожидания ответа от службы Resource Manager. Эта ошибка может произойти, когда число активных приложений становится выше заданного максимума (по умолчанию 10 000). | Дождитесь завершения выполняемых заданий или увеличьте ограничение на количество одновременно выполняемых заданий, изменив yarn.scheduler.capacity.maximum-applications. Дополнительные сведения см. в разделе Изменение конфигурации. |
Выполнена попытка получить все задания вызовом GET /Jobs при Fields со значением *. |
Не пытайтесь получить сведения обо всех заданиях. Вместо этого используйте jobid для получения сведений только о тех заданиях, идентификатор которых больше определенного значения. Или не используйте Fields |
| Служба WebHCat не работает во время отработки отказа узла HeadNode | Подождите 2 минуты и повторите попытку |
| В настоящий момент более 500 заданий, отправленных через WebHCat, находятся в режиме ожидания | Дождитесь завершения текущих заданий, находящихся в режиме ожидания, перед отправкой новых заданий |
Следующие шаги
Если вы не видите своего варианта проблемы или вам не удается ее устранить, дополнительные сведения можно получить, посетив один из следующих каналов.
Получите ответы специалистов Azure на сайте поддержки сообщества пользователей Azure.
Подпишитесь на @AzureSupport — официальный канал Microsoft Azure для улучшения качества взаимодействия с клиентами. Вступайте в сообщество Azure для получения нужных ресурсов: ответов, поддержки и советов экспертов.
Если вам нужна дополнительная помощь, отправьте запрос в службу поддержки на портале Azure. Выберите Поддержка в строке меню или откройте центр Справка и поддержка. Дополнительные сведения см. в статье Создание запроса на поддержку Azure. Доступ к управлению подписками и поддержкой выставления счетов уже включен в вашу подписку Microsoft Azure, а техническая поддержка предоставляется в рамках одного из планов Службы поддержки Azure.