添加或更新 robots.txt 文件
本文介绍如何为在 Microsoft Dynamics 365 Commerce 中托管的每个域创建、编辑、上传和验证 robots.txt 文件。
搜索引擎对网站的意外或不定向抓取会导致大量“404 未找到页面”错误。 这些错误会影响网站性能，因为网站会响应所有对不存在的页面的请求。 为帮助解决这一问题，您应确保您的域始终拥有最新且有效的 robots.txt 文件，以指示 Web 爬网程序仅在您的网站上查找相关页面。
适用于
本文适用于以下配置：
- 版本： Commerce 10.0.16 或更高版本
- 组件： 企业到消费者（B2C）或企业到企业（B2B）
- 功能区域： Commerce 网站性能
先决条件
您是 Commerce 实例的系统管理员。
根据您的情况，您已经在计算机上创建了 robots.txt 文件或下载了一份副本：
- 如果您之前没有为域名上传 robots.txt 文件，请按照机器人排除标准在电脑上创建一个新文件。 请使用本文后面的 robots.txt 文件示例作为起点。
- 如果您之前已经为域名上传了 robots.txt 文件，请下载现有文件。
完成步骤
要编辑和上传 robots.txt 文件，请按照以下步骤操作。
- 打开 robots.txt 文件的本地副本。
- 编辑该文件，使其包含以下robots.txt 文件示例中的所有禁止条目。
- 确认文件格式符合机器人排除标准。
- 按照上传 robots.txt 文件中的说明将文件上传到您的网站。
robots.txt 文件内容示例
User-agent: *
Disallow: /signin
Disallow: /cart
Disallow: /*refiners=
Disallow: /*sorting=
Disallow: /*search?
Disallow: /*search=
Disallow: /*.woff
Disallow: /*.woff2
Disallow: /*skip=
验证
使用以下方法验证文件是否已添加：
- 描述或目的： 验证您的 robots.txt 文件是否可用于您的域。
- 运行步骤： 在 Web 浏览器中，以 <your_domain>/robots.txt 打开页面。
- 通过结果： 您可以成功查看您的 robots.txt 文件。