MacTeP каза:
В webmasters tools има настройка колко често да минава
Няма такава настройка, настройката е за с ква скорост да минава тоест колко threads да пуска или с прости думи дали да хрупа по 1-2-3 или повече страници в секунда. Ако ти е слабо серверчето примерно и имаш сайт с повечко странички може да го натовари доста.
Бота си има собствена логика кое, как и колко и едва ли има някой, който да каже как точно, единственият начин за който съм чувал и тествал по който можеш да го манипулираш е регулярно и по честичко да допълваш content така малко по малко ще си учести посещенията като вижда, че всеки път има нещо ново.