robots.txt ファイルの追加または更新
この記事では、Microsoft Dynamics 365 Commerce でホストされた各ドメインの robots.txt ファイルを作成、編集、アップロード、および検証する方法について説明します。
検索リンクによるサイトの予期しない、または方向性のないクロールにより、「404 ページが見つかりません」というエラーが多く引き起こす可能性があります。 これらのエラーは、サイトが存在しないページに関する多くの要求に応答する際、パフォーマンス上に影響を与える可能性があります。 この問題を解決するには、ドメインに常に最新の情報と有効な robots.txt ファイルを使用して、サイト上の関連するページのみを検索するように Web クローラに指示する必要があります。
適用先
この記事は、次の構成に適用されます。
- バージョン: Commerce 10.0.16 またはそれ以降
- コンポーネント: 企業とコンシューマー (B2C) または企業間 (B2B)
- 機能領域: Commerce Web サイト パフォーマンス
必要条件
Commerce インスタンスのシステムの管理者 です。
状況に応じて、コンピュータに robots.txt ファイルを作成、またはコピーをダウンロードしました。
- 使用しているドメインの robots.txt ファイルをまだアップロードしていない場合は、ロボット除外標準 に従って、コンピュータに新しいファイルを作成してください。 出発点として、この記事のサンプル robots.txt サンプル を後で使用します。
- 使用しているドメインの robots.txt ファイルをまだアップロードしていない場合は、既存ファイルのダウンロード を実行します。
完了までのステップ
robots.txt ファイルを編集およびアップロードするには、次のステップを実行します。
- robots.txt ファイルのローカル コピーを開きます。
- すべての不許可エントリを次のサンプル robots.txt ファイル に含めるよう、ファイルを編集します。
- ファイルが正しくロボット除外標準 に従って書式設定されているか確認します。
- robots.txt ファイルをアップロード の手順に従い、ファイルをサイトにアップロードします。
サンプル robots.txt ファイルの内容
User-agent: *
Disallow: /signin
Disallow: /cart
Disallow: /*refiners=
Disallow: /*sorting=
Disallow: /*search?
Disallow: /*search=
Disallow: /*.woff
Disallow: /*.woff2
Disallow: /*skip=
検証
ファイルが追加されているか、次の方法を使用して検証します:
- 説明または目的: ドメインで robots.txt ファイルが使用できるか検証します。
- 実行するためのステップ: Web ブラウザで、<your_domain>/robots.txt のページを開きます。
- 合格結果: robots.txt ファイルを正常に表示できます。