Virosss
Active Member
Понеже напоследък доста често срещам срещам теми и мнения на начинаещи собственици на сайтове и молба за помощ срещу повишено процесорно време, реших, че е добра идея да се създаде проект, който до някаква степен да решава въпросният проблем.
Естествено, повишаването на процесорното време може да се дължи на страшно много фактори и лошите ботове са може би е един от последните от тези фактори, но все пак в някой случай филтрирането им помага и то доста. В Интернет е пълно с кодове и съвети как да се справим с лошите ботове, но доста често за да го направите ще са ви необходими поне някакви минимални знания.
Именно по тази причина, реших да създам този проект, който накратко има за цел да улесни потребителите, като им представи до някъде що-годе универсално решение на проблема с лошите ботове.
Самият проект не е нещо ново (не смятам, че съм открил топлата вода) и е просто една база с информация за някой от ботовете, които най-често посещават сайтовете напоследък. Като информацията към момента включва - Име, Кратко описание, User Agent, Извадка от access log и код за филтриране чрез Apache и Nginx (в момента тествам някой неща и скоро смятам да добавя и код за филтриране чрез Varnish).
Като услуга, сайта предлага да ползвате основен код, който филтрира основните лоши ботове. Гледал съм в този списък да влизат само ботове, които можете да филтрирате спокойно, без това да навреди на сайта ви. Естествено, можете допълнително да добавите към филтрирането и други ботове, които съм сметнал, че не трябва да са в този списък, но в някой специфични ситуации, може би за вас би било добре да изолирате. Такива например са Bing/Yandex ботовете.
Сайта можете да разгледате на следният адрес: http://badbots.vps.tips
Естествено идеята ми не е просто да си пльосна един линк в темата, а по-скоро бих желал вашите критики и идеи за развитието на проекта.
Безплатен бонус
Всъщност този "безплатен бонус" е малка уловка, защото реално вие ще си платите, но под формата на информация. И преди да сте започнали да ме хейтите, ще кажа, че всъщност "безплатно" ще е времето, което ще ми отнеме да ви помогна.
Предлагам на тези от вас, които желаят да филтрират лошите ботове, но нямат знанията и възможностите да го направят, да ми представят access log-овете на своя сайт. Аз от своя страна ще анализирам логовете и ще създам персонален филтър с който да филтрирате лошите ботове, които посещават сайта ви. Така ще си помогнем взаимно. Аз ще ви помогна да се отървете от лошите паяци, а от своя страна вие ще ми предоставите информация, която евентуално ще помогне за допълването на базата с лоши ботове и всъщност ще помогнете до някаква степен и на много ваши колеги.
Имайте предвид, че целият този процес отнема време, така, че е много вероятно при много желаещи да се наложи да позабавям заявките ви или пък в един момент да откажа изпълнението на повече заявки.
Е това е от мен, очаквам вашите отзиви.
Естествено, повишаването на процесорното време може да се дължи на страшно много фактори и лошите ботове са може би е един от последните от тези фактори, но все пак в някой случай филтрирането им помага и то доста. В Интернет е пълно с кодове и съвети как да се справим с лошите ботове, но доста често за да го направите ще са ви необходими поне някакви минимални знания.
Именно по тази причина, реших да създам този проект, който накратко има за цел да улесни потребителите, като им представи до някъде що-годе универсално решение на проблема с лошите ботове.
Самият проект не е нещо ново (не смятам, че съм открил топлата вода) и е просто една база с информация за някой от ботовете, които най-често посещават сайтовете напоследък. Като информацията към момента включва - Име, Кратко описание, User Agent, Извадка от access log и код за филтриране чрез Apache и Nginx (в момента тествам някой неща и скоро смятам да добавя и код за филтриране чрез Varnish).
Като услуга, сайта предлага да ползвате основен код, който филтрира основните лоши ботове. Гледал съм в този списък да влизат само ботове, които можете да филтрирате спокойно, без това да навреди на сайта ви. Естествено, можете допълнително да добавите към филтрирането и други ботове, които съм сметнал, че не трябва да са в този списък, но в някой специфични ситуации, може би за вас би било добре да изолирате. Такива например са Bing/Yandex ботовете.
Сайта можете да разгледате на следният адрес: http://badbots.vps.tips
Естествено идеята ми не е просто да си пльосна един линк в темата, а по-скоро бих желал вашите критики и идеи за развитието на проекта.
Безплатен бонус
Всъщност този "безплатен бонус" е малка уловка, защото реално вие ще си платите, но под формата на информация. И преди да сте започнали да ме хейтите, ще кажа, че всъщност "безплатно" ще е времето, което ще ми отнеме да ви помогна.
Предлагам на тези от вас, които желаят да филтрират лошите ботове, но нямат знанията и възможностите да го направят, да ми представят access log-овете на своя сайт. Аз от своя страна ще анализирам логовете и ще създам персонален филтър с който да филтрирате лошите ботове, които посещават сайта ви. Така ще си помогнем взаимно. Аз ще ви помогна да се отървете от лошите паяци, а от своя страна вие ще ми предоставите информация, която евентуално ще помогне за допълването на базата с лоши ботове и всъщност ще помогнете до някаква степен и на много ваши колеги.
Имайте предвид, че целият този процес отнема време, така, че е много вероятно при много желаещи да се наложи да позабавям заявките ви или пък в един момент да откажа изпълнението на повече заявки.
Е това е от мен, очаквам вашите отзиви.
