Странна активност на гугъл бот

[kokovi4]

Здравейте, от 3 дни забелязвам странна активност на googlebot в един от сайтовете ми. Обхожда като луд всичко наред и то по няколко пъти на ден. Проблема не е в това ,че ги обхожда, а в това ,че вдига много процесорното време на хоста и ги очаквам да изреват. Някой друг да е срещал този проблем и как го е решил?
Ето обхождането:
започва да се вдига от 23.09.

 

[otspace]

От: Странна активност на гугъл бот

Нещо се е побъркал.Преди известно време имаше подобен проблем с Bing Bot. Блокирай го за ден два и после пак го пусни.Явно прават нещо по него и е дал некви отклонения

 

[Torbalan Trolski]

От: Странна активност на гугъл бот

Нещо се е побъркал.Преди известно време имаше подобен проблем с Bing Bot. Блокирай го за ден два и после пак го пусни.Явно прават нещо по него и е дал некви отклонения

Блокирането не е най-добрата идея според мен. Има си тул за тая работа
https://www.google.com/webmasters/tools/settings -> Limit Google's maximum crawl rate

 

[alabam4eto]

От: Странна активност на гугъл бот

Ако си променял в Webmaster toola честотата на обхождане на бота може това да е причината.
Определи си честотата ръчно съобразено с количеството нова информация, което добавяш.

 

[coolice]

И аз забелязах на форума че вместо стандартните около 4 -бота нощем има 10 тина (от проверени Г ипта са реални ботове) това около новата Панда 4.1 го гледам че става и лично не бих пипал нищо


По принцип ми казаха че не добре да пиша за хостинг затова няма да коментирам дали е нормално или не да ви спрат сайта заради гугъл бот без да му задавате допълнителни настроики