다음을 통해 공유


robots.txt 파일 추가 또는 업데이트

이 문서에서는 호스팅되는 각 도메인에 대한 robots.txt 파일을 만들고, 편집하고, 업로드하고, 유효성을 검사하는 방법을 설명합니다 Microsoft Dynamics 365 Commerce.

검색엔진에서 예기치 않게 사이트를 크롤링하거나 지시하지 않으면 '404 페이지를 찾을 수 없음' 오류가 대량으로 발생할 수 있습니다. 이러한 오류는 사이트가 존재하지 않는 페이지에 대한 모든 요청에 응답할 때 성능에 영향을 줄 수 있습니다. 이 문제를 해결하려면 웹 크롤러가 사이트의 관련 페이지만 찾도록 지시할 수 있는 유효한 robots.txt 파일이 항상 도메인에 있는지 확인해야 합니다.

적용 대상

이 문서는 다음 구성에 적용됩니다.

  • 버전: Commerce 10.0.16 이상
  • 구성 요소: B2C(Business-to-Consumer) 또는 B2B(Business-to-Business)
  • 기능 영역: Commerce 웹 사이트 성능

전제 조건

완료 단계

robots.txt 파일을 편집하고 업로드하려면 다음 단계를 따라와.

  1. robots.txt 파일의 로컬 복사본을 엽니다.
  2. 다음 샘플 robots.txt 파일의 모든 Disallow 항목을 포함하도록 파일을 편집합니다.
  3. 파일이 로봇 제외 표준 따라 올바른 형식인지 확인합니다.
  4. robots.txt 파일 업로드의안내에 따라 사이트에 파일을 업로드합니다.

샘플 robots.txt 파일 내용

User-agent: *
Disallow: /signin
Disallow: /cart
Disallow: /*refiners=
Disallow: /*sorting=
Disallow: /*search?
Disallow: /*search=
Disallow: /*.woff
Disallow: /*.woff2
Disallow: /*skip=

유효성 검사

다음 방법을 사용하여 파일이 추가되었는지 확인합니다.

  • 설명 또는 목적: 도메인에서 robots.txt 파일을 사용할 수 있는지 확인합니다.
  • 실행 단계: 웹 브라우저에서 your_domain </robots.txt>로페이지를 엽니다.
  • 합격 결과 : robots.txt 파일을 성공적으로 볼 수 있습니다.

추가 리소스

robots.txt 파일 관리

시스템 관리자 역할