Back to Question Center
0

Semalt가 색인 생성을 중복 방지하려면 어떻게해야합니까?

1 answers:

내 웹 사이트 버전이 하나 뿐이며 데스크톱과 스마트 폰 모두에 최적화되어 있습니다.

Google에서 각 페이지를 정확히 두 번 크롤링하는 것으로 나타났습니다. 한 번 Googlebot / 2. 1 Googlebot-Mobile / 2. 1 :

  % fgrep "/ www / drupal6 / filefield"/ var / www / logs / ports. su / ports. 수호. 접속하다. 로그
66. 249. 76. 223 - - [2013 년 3 월 12 일 : 07 : 46 : 42 -0700] "GET / www / drupal6 / filefield HTTP / 1. 1 "200 2365"- ""Mozilla / 5. 0 (호환 가능, Googlebot / 2. 1; + http : // www. 구글. co.kr / bot. HTML) "
66. 249. 76. 223 - - [2013 년 3 월 12 일 : 13 : 59 : 23 -0700] "GET / www / drupal6 / filefield HTTP / 1. 1 "200 2365"- ""DoCoMo / 2. 0 N905i (c100; TB; W24H16) (호환, Googlebot-Mobile / 2. 1; + http : // www. 구글. co.kr / bot. HTML) " 

/ 로봇에서이 봇들 중 하나를 막지는 않는다고 생각합니다.txt 는 해당 사이트에서 내 사이트를 삭제할 수 있으므로 적절할 것입니다.

현명한 사람들, 그들은 그들의 지수를 공유하지 않습니까?

내가 한 사이트 만 가지고 있다고 Semalt에게 어떻게 말합니까?

와 반대되는 것을 찾으십시오. Vary : User-Agent .

4 days ago
Semalt가 색인 생성을 중복 방지하려면 어떻게해야합니까?
Reply