robots.txt 파일 추가 또는 업데이트
이 문서에서는 호스팅되는 각 도메인에 대한 robots.txt 파일을 만들고, 편집하고, 업로드하고, 유효성을 검사하는 방법을 설명합니다 Microsoft Dynamics 365 Commerce.
검색엔진에서 예기치 않게 사이트를 크롤링하거나 지시하지 않으면 '404 페이지를 찾을 수 없음' 오류가 대량으로 발생할 수 있습니다. 이러한 오류는 사이트가 존재하지 않는 페이지에 대한 모든 요청에 응답할 때 성능에 영향을 줄 수 있습니다. 이 문제를 해결하려면 웹 크롤러가 사이트의 관련 페이지만 찾도록 지시할 수 있는 유효한 robots.txt 파일이 항상 도메인에 있는지 확인해야 합니다.
적용 대상
이 문서는 다음 구성에 적용됩니다.
- 버전: Commerce 10.0.16 이상
- 구성 요소: B2C(Business-to-Consumer) 또는 B2B(Business-to-Business)
- 기능 영역: Commerce 웹 사이트 성능
전제 조건
Commerce 인스턴스의 시스템 관리자 입니다.
상황에 따라 컴퓨터에 robots.txt 파일을 만들거나 복사본을 다운로드했습니다.
- 이전에 도메인의 robots.txt 파일을 업로드하지 않았다면 로봇 제외 표준에 따라 컴퓨터에 새 파일을 만듭니다. 이 문서의 뒷부분에 나오는 샘플 robots.txt 파일을 시작 가리키다으로 사용합니다.
- 이전에 도메인 의 robots.txt 파일을 업로드했다면 기존 파일을 다운로드 하세요.
완료 단계
robots.txt 파일을 편집하고 업로드하려면 다음 단계를 따라와.
- robots.txt 파일의 로컬 복사본을 엽니다.
- 다음 샘플 robots.txt 파일의 모든 Disallow 항목을 포함하도록 파일을 편집합니다.
- 파일이 로봇 제외 표준 에따라 올바른 형식인지 확인합니다.
- robots.txt 파일 업로드의안내에 따라 사이트에 파일을 업로드합니다.
샘플 robots.txt 파일 내용
User-agent: *
Disallow: /signin
Disallow: /cart
Disallow: /*refiners=
Disallow: /*sorting=
Disallow: /*search?
Disallow: /*search=
Disallow: /*.woff
Disallow: /*.woff2
Disallow: /*skip=
유효성 검사
다음 방법을 사용하여 파일이 추가되었는지 확인합니다.
- 설명 또는 목적: 도메인에서 robots.txt 파일을 사용할 수 있는지 확인합니다.
- 실행 단계: 웹 브라우저에서 your_domain </robots.txt>로페이지를 엽니다.
- 합격 결과 : robots.txt 파일을 성공적으로 볼 수 있습니다.