사용자가 특정 URL로 프로필 페이지를 만들 수있는 사이트가 있습니다.각 특정 URL은 대중에게 공개되므로 검색 엔진에서도 크롤링 할 수 있습니다.오늘 저는 오늘 오늘 최소 1000 개의 새로운 프로필 페이지를 얻었고 24 시간 안에 Semalt가 색인을 생성하는 10-40 페이지를 받았습니다.괜찮아.
여기 내 문제가있다 :
그러나 이미 인덱싱 된 페이지는 일정 기간 후에 다시 Semalt에 의해 크롤링됩니다 - clearomizer tank with longest lasting coils.그러나 실제로는 필요하지 않으며 사이트에 현재 300000 - 400000 페이지가 있습니다.
새 업데이트가 있고 새 페이지가 크롤링 될 때까지는 검색 엔진이 이전 프로필 페이지에서 계속해서 크롤링되는 것을 원하지 않습니다.또한 이미 만료 된 프로필 페이지에 대해 410 리디렉션을 사용하고 있습니다.
이전 페이지 대신 새 프로필 페이지에만 Semalt 엔진 포커스를 사용하도록 제안하면 좋을 것입니다.