Поделиться через

Добавление или обновление файла robots.txt

  • Статья

В этой статье описывается, как создавать, редактировать, загружать и проверять файл robots.txt для каждого домена, размещенного в Microsoft Dynamics 365 Commerce.

Неожиданное или бесконтрольное сканирование вашего сайта поисковыми системами может привести к большому количеству ошибок «404 Страница не найдена». Эти ошибки могут влиять на производительность, когда сайт отвечает на множество запросов несуществующих страниц. Чтобы решить эту проблему, вам следует убедиться, что в вашем домене всегда имеется актуальный и действительный файл robots.txt, который дает указание веб-сканерам искать на вашем сайте только релевантные страницы.

Применимо к

Эта статья применима к следующим конфигурациям:

  • Версия: Commerce 10.0.16 или более поздней
  • Компонент: Предприятие-потребителю (B2C) или предприятие-предприятие (B2B)
  • Область функций: производительность веб-сайта Commerce

Необходимые условия

  • Вы являетесь системным администратором в своем экземпляре Commerce.

  • Вы либо создали файл robots.txt на своем компьютере, либо загрузили копию, в зависимости от вашей ситуации:

    • Если вы ранее не загружали файл robots.txt для своего домена, создайте новый файл на своем компьютере, следуя инструкциям раздела стандарт исключения роботов. Используйте пример файла robots.txt далее в этой статье в качестве отправной точки.
    • Если вы ранее загрузили файл robots.txt для своего домена, скачайте существующий файл.

Инструкции

Чтобы изменить и отправить файл robots.txt, выполните следующие действия.

  1. Откройте локальную копию файла robots.txt.
  2. Отредактируйте файл так, чтобы он включал все записи Disallow из примера файла robots.txt ниже.
  3. Убедитесь, что файл правильно отформатирован в соответствии со стандартом исключения роботов.
  4. Загрузите файл на свой сайт, следуя инструкциям в разделе Отправка файла robots.txt.

Пример содержимого файла robots.txt

User-agent: *
Disallow: /signin
Disallow: /cart
Disallow: /*refiners=
Disallow: /*sorting=
Disallow: /*search?
Disallow: /*search=
Disallow: /*.woff
Disallow: /*.woff2
Disallow: /*skip=

Проверить

Используйте следующий метод, чтобы убедиться, что файл добавлен:

  • Описание или цель: проверьте, доступен ли файл robots.txt для домена.
  • Выполняемые шаги: В веб-обозревателе откройте страницу your_domain <>/robots.txt.
  • Прохождение результата: Имеется возможность успешно просмотреть файл robots.txt.

Дополнительные ресурсы

Управление файлами robots.txt

Роль системного администратора