SharePoint Server에서 크롤링 규칙 관리
적용 대상:
2013 2016 2019 Subscription Edition 
SharePoint in Microsoft 365
크롤링 규칙을 추가하면 콘텐츠를 크롤링할 때 특정 경로를 포함하거나 제외할 수 있습니다. 특정 경로를 포함하는 경우에는 필요에 따라 해당 경로를 크롤링할 대체 계정 자격 증명을 입력할 수 있습니다. 또한 새 크롤링 규칙을 만들거나 편집할 수 있을 뿐 아니라 기존 크롤링 규칙을 테스트 또는 삭제하거나 순서를 변경할 수도 있습니다.
크롤링 규칙을 사용하면 다음 작업을 수행할 수 있습니다.
특정 사이트의 콘텐츠 크롤링 차단. 예를 들어 ''을 크롤링하는 콘텐츠 원본을 만들었지만 검색 시스템이 하위 디렉터리 'http://www.contoso.comhttp://www.contoso.com/downloads'의 콘텐츠를 크롤링하지 않도록 하려면 해당 하위 디렉터리에서 콘텐츠를 제외하는 크롤링 규칙을 만듭니다.
사이트에서 기본적으로는 제외되는 콘텐츠 크롤링. 예를 들어 ''의 콘텐츠를 크롤링에서 제외했지만 하위 디렉터리 'http://www.contoso.com/downloadshttp://www.contoso.com/downloads/content'의 콘텐츠를 크롤링하려는 경우 해당 하위 디렉터리의 콘텐츠를 포함하도록 크롤링 규칙을 만듭니다.
인증 자격 증명 지정. 크롤링할 사이트에 필요한 자격 증명과 기본 콘텐츠 액세스 계정의 자격 증명과 다른 경우 인증 자격 증명을 지정하는 크롤링 규칙을 만듭니다.
크롤링 규칙에서 별표(*)를 와일드카드 문자로 사용할 수 있습니다. 예를 들어 ''의 크롤링에서 JPEG 파일을 제외하려면 'http://www.contoso.com*.jpg'http://www.contoso.com/을 제외하는 크롤링 규칙을 만듭니다.
특정 콘텐츠 집합과 일치하는 첫 번째 규칙이 적용되므로, 크롤링 규칙을 사용하는 순서가 중요합니다.
크롤링 규칙을 만들거나 편집하려면
이 절차를 수행할 사용자 계정이 Search Service 응용 프로그램의 관리자인지 확인합니다.
중앙 관리의 응용 프로그램 관리 섹션에서 서비스 응용 프로그램 관리를 클릭합니다.
서비스 응용 프로그램 관리 페이지의 서비스 응용 프로그램 목록에서 Search Service 응용 프로그램을 클릭합니다.
검색 관리 페이지의 크롤링 섹션에서 크롤링 규칙을 클릭합니다. 그러면 크롤링 규칙 관리 페이지가 나타납니다.
새 크롤링 규칙을 만들려면 새 크롤링 규칙을 클릭합니다. 기존 크롤링 규칙을 편집하려면 크롤링 규칙 목록에서 편집할 크롤링 규칙의 이름을 가리키고 나타나는 화살표를 클릭한 다음 편집을 클릭합니다.
크롤링 규칙 추가 페이지의 경로 섹션에서 다음을 수행합니다.
경로 상자에 크롤링 규칙이 적용되는 경로를 입력합니다. 경로에는 표준 와일드카드 문자를 사용할 수 있습니다.
와일드카드 문자 대신 정규식을 사용하려면 이 규칙과 비교할 정규식 구문을 사용을 선택합니다.
- 크롤링 구성 섹션에서 다음 옵션 중 하나를 선택합니다.
이 경로의 모든 항목 제외. 지정된 경로의 모든 항목을 크롤링에서 제외하려면 이 옵션을 선택합니다. 이 옵션을 선택하는 경우 물음표(?) 표기법을 사용하는 매개 변수가 포함된 URL을 제외하도록 복잡한 URL 제외(물음표(?)를 포함하는 URL) 을 선택하여 제외를 구체화할 수 있습니다.
이 경로의 모든 항목 포함. 지정한 경로의 모든 항목을 크롤링하려면 이 옵션을 선택합니다. 이 옵션을 선택하는 경우 다음 옵션의 조합을 선택하여 포함을 더욱 구체화할 수 있습니다.
URL은 크롤링하지 않고 URL의 링크 포함. URL 자체는 시작하지 않고 해당 URL에 포함된 링크를 크롤링하려면 이 옵션을 선택합니다.
물음표(?)를 포함하는 복합 URL 크롤링. 물음표(?) 표기를 사용하는 매개 변수가 포함된 URL을 크롤링하려면 이 옵션을 선택합니다.
SharePoint Server 콘텐츠를 http 페이지로 크롤링합니다. 일반적으로 SharePoint Server 사이트는 특수 프로토콜을 사용하여 크롤링됩니다. SharePoint Server 사이트를 HTTP 페이지로 크롤링하려면 이 옵션을 선택합니다. HTTP 프로토콜을 사용하여 콘텐츠를 크롤링하는 경우에는 항목 사용 권한이 저장되지 않습니다.
인증 지정 섹션에서 다음 작업 중 하나를 수행합니다.
참고
이 옵션은 크롤링 구성 섹션에서 이 경로의 모든 항목 포함을 선택한 경우가 아니면 사용할 수 없습니다.
기본 콘텐츠 액세스 계정을 사용하려면 기본 콘텐츠 액세스 계정 사용을 선택합니다.
다른 계정을 사용하려면 다른 콘텐츠 액세스 계정 지정을 선택한 다음 계정 상자에 이 크롤링 규칙에 정의된 경로에 액세스할 수 있는 사용자 계정 이름을 입력합니다. 그런 다음 암호 및 암호 확인 상자에 이 사용자 계정의 암호를 입력합니다. 기본 인증이 사용되지 않도록 하려면 기본 인증 허용 안 함 확인란을 선택합니다. 서버가 NTLM 인증을 사용하려고 시도합니다. NTLM 인증이 실패하면 서버는 기본 인증 허용 안 함 확인란을 선택하지 않는 한 기본 인증을 사용하려고 시도합니다.
인증에 클라이언트 인증서를 사용하려면 클라이언트 인증서 지정을 선택하고 인증서 메뉴를 확장한 다음 인증서를 선택합니다.
인증에 양식 자격 증명을 사용하려면 양식 자격 증명 지정을 선택하고 양식 URL 상자에 양식 URL(자격 증명 정보를 허용하는 페이지의 위치)을 입력한 다음 자격 증명 입력을 클릭합니다. 원격 서버의 로그온 프롬프트가 새 창에서 열리면 로그온할 양식 자격 증명을 입력합니다. 로그온에 성공했는지 묻는 메시지가 표시됩니다. 로그온에 성공하면 인증에 필요한 자격 증명이 원격 사이트에 저장됩니다.
쿠키를 사용하려면 크롤링에 쿠키 사용을 선택한 다음 URL에서 쿠키 가져오기를 선택하여 웹 사이트 또는 서버에서 쿠키를 가져옵니다. 또는 크롤링할 쿠키 지정을선택하여 로컬 파일 시스템 또는 파일 공유에서 쿠키를 가져옵니다. 필요한 경우 오류 페이지(세미콜론으로 구분) 상자에서 오류 페이지를 지정할 수도 있습니다.
익명 액세스를 허용하려면 익명 액세스를 선택합니다.
- 확인을 클릭합니다.
URL에 대해 크롤링 규칙을 테스트하려면
이 절차를 수행할 사용자 계정이 Search Service 응용 프로그램의 관리자인지 확인합니다.
중앙 관리의 응용 프로그램 관리 섹션에서 서비스 응용 프로그램 관리를 클릭합니다.
서비스 응용 프로그램 관리 페이지의 서비스 응용 프로그램 목록에서 Search Service 응용 프로그램을 클릭합니다.
검색 관리 페이지의 크롤링 섹션에서 크롤링 규칙을 클릭합니다.
크롤링 규칙 관리 페이지의 URL을 입력하고 [테스트]를 클릭하여 규칙에 맞는지 확인하십시오. 상자에 테스트할 URL을 입력합니다.
테스트를 클릭합니다. 상자 아래에 테스트 결과가 나타납니다.
크롤링 규칙을 삭제하려면
이 절차를 수행할 사용자 계정이 Search Service 응용 프로그램의 관리자인지 확인합니다.
중앙 관리의 응용 프로그램 관리 섹션에서 서비스 응용 프로그램 관리를 클릭합니다.
서비스 응용 프로그램 관리 페이지의 서비스 응용 프로그램 목록에서 Search Service 응용 프로그램을 클릭합니다.
검색 관리 페이지의 크롤링 섹션에서 크롤링 규칙을 클릭합니다.
크롤링 규칙 관리 페이지의 크롤링 규칙 목록에서 삭제할 크롤링 규칙의 이름을 가리키고 나타나는 화살표를 클릭한 다음 삭제를 클릭합니다.
확인을 클릭하여 이 크롤링 규칙을 삭제합니다.
크롤링 규칙의 순서를 바꾸려면
이 절차를 수행할 사용자 계정이 Search Service 응용 프로그램의 관리자인지 확인합니다.
중앙 관리의 응용 프로그램 관리 섹션에서 서비스 응용 프로그램 관리를 클릭합니다.
서비스 응용 프로그램 관리 페이지의 서비스 응용 프로그램 목록에서 Search Service 응용 프로그램을 클릭합니다.
검색 관리 페이지의 크롤링 섹션에서 크롤링 규칙을 클릭합니다.
크롤링 규칙 관리 페이지의 크롤링 규칙 목록에 있는 순서 열에서 규칙이 차지할 크롤링 규칙 위치를 지정합니다. 선택한 값에 따라 다른 값이 바뀝니다.