Дайте да го уморим най-накрая това проклето животно Semrush

madgooglebot

madgooglebot

Well-Known Member
Тия ултра нагли нещастници ми скъсиха живота с 5г :)

Какви по-специални хватки да използвам, че да спре да ми лази веднъж завинаги, гадната твар!

Главно използват
185.191.171.1/31,185.191.171.4/30,185.191.171.8/29,185.191.171.16/28,185.191.171.32/29,185.191.171.40/30,185.191.171.44/31,85.208.98.20/30,85.208.98.24/29

Блокирал съм на сървърно ниво.
Отделно съм блокирал през сайта
Отделно има рестрикция в робота
Отделно има рестрикция в аксеса: |SemrushBot|Semrush| RewriteRule ^.* - [F,L]
Отделно има още една: SetEnvIfNoCase User-Agent "SemrushBot" bad_user

Не спира и не спира..

После го "лъжа" с пренасочване към къстъм страница, белким миряса, че явно тапаците повтарят и повтарят и след 403, да не би нещо да се е променило, а и най им харесва 500 ахахаха Съсипаха ме тия пендели. Цял месец, не спират и не спират.

Да им пиша ли една мега майна с четиресе епитета, ама на български..

Дайте идея кво да ги правя скапани умреляци :mad:
 
Те си са буквално досатак..нема такива, чудя се нарочно ли го правят :mad: Аз имам над 10К листа блок ип и мрежи, ама такива идиоти не бях срещал, изобщо не знам какъв им е случая, изглежда се едно е поръчка..ква им е далаверата да продължават, след като отдавна са блокнати. Май ще пиша на хостинга те нещо да направят, щото на мен ми писна, само лога за юни с техни изпълнения е 17мб :)
 
А па се чудя ако ги отблокирам, дали пък няма да спрат в един момент :) То нема кво да крауват толкова, по-скоро нещо като на инат ми се струва.. ахаха Нема такива олигофрени. И тия другите измислени ботове с измислените им даф паф и джаф, като ahrefs, дет по-фейк стат нема и само лъжат хората..а директни нанайси и никога нема да има така, ама нещо нали трее да замести липсата на PR вече и някои се възползват от момента, ама после ще боли глава гаранция ахахах
 
На един познат, сайта му беше почти 100% от денонищието, "нападнато" от ей тия гадове:
AhrefsBot
Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)

BLEXbot
Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)
SemrushBot
SemrushBot

Сайта зад CloudFlare и на тия блок, секунди по-късно и тия замлъкнаха.
Нищо не признаваха, robot, .htaccess, редиректване, агенти, абе всичко де нормален бот ще се съобрази.
Има още няколко, но като ги блокнеш и след ден-два се отказват и се кротват.
 
Привет, трябва сериозно да се лекуваш имати нещо вярно. Защо все трябва да изпадаш във някакви кризи, лекувай се, защото това е страшно, ще ти дам съвет специално за SEMrush бота.

User-agent: SemrushBot Disallow: /

Хората ясно са написали че, няма да спрат освен ако нямаш това: https://www.semrush.com/bot/ чети малко. Другият вариант е Cloudflare.

Другото е да кажеш на самият sembot да сканира бавно сайта преди да се откаже:

User-agent: SemrushBot Crawl-delay: 60


Поздрави,
Станимир И
 
Станимир И каза:
Привет, трябва сериозно да се лекуваш имати нещо вярно. Защо все трябва да изпадаш във някакви кризи, лекувай се, защото това е страшно, ще ти дам съвет специално за SEMrush бота.

User-agent: SemrushBot Disallow: /

Хората ясно са написали че, няма да спрат освен ако нямаш това: https://www.semrush.com/bot/ чети малко. Другият вариант е Cloudflare.

Другото е да кажеш на самият sembot да сканира бавно сайта преди да се откаже:

User-agent: SemrushBot Crawl-delay: 60


Поздрави,
Станимир И
Увеличете...

Абе смешникоФ, за 90 път ти пиша, че ти нищо НЕ ЧЕТЕШ, с 200 диоптер ли си, куха лейка ли си, не знам. Тия рестрикции в робота ги имам от 100 гонини ламчо, и дилей съм пробвал и всичко нормално. Просто в един момент го обърнаха буквално на дос (40К заявки, а страниците нямат и 1К) и естетвено аз търся други варианти. Кво са писали, чети си ти, четникоФ. Мислиш се за голям специалист, ама си гола вода и кал по гърба. Погледни си сайта бе! Е може ли такава излагация, ти нещо за подредба структура, съчетание от WEB цветове чел ли си...бахти позьора си, 100%ов Ай изчезвай, от теб съвети не искам, ламчоВ
 
Спряха!!! Направо не вервам.. Тамън реших да пробвам като предпоследно да ги отблокирам и да редиректна всички ип към техния домейн, и гледам в лога, от днес рано сутринта, до сега - нито една заявка o_O

Не знам колко може да е случайно това, но този форум започва да ми харесва :)

Данке вери зер! Блинки чувствам се задължен, дори и да няма нищо общо :) ;)

​

 
ahrefs са много добри.. ама е много скъпо.. иначе другите не струват.. обаче с ahrefs може да дръпнеш много напред :)
 
Мога да дръпна, а мога и да зема един нулев боунс ахаха ако ще ми джаскат 100 ип-та на сайт с 50 уникални ;)

Ама на теб се доверявам донякъде и ще тествам на един сайт, дет си спомням ahrefs се буташе нещо :)
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе