Проблем с процесорното време

mvmrik

mvmrik

Well-Known Member
Сега получих от ich.bg писмо, че сайта ми bgurl.net има превишен ресурс. Като гледам графиката е било всичко нормално до 25 декември и след това има рязко покачване. Работата е там, че не съм променял нищо по сайта и дори няма увеличение на посещенията. Сега искат да минавам на по-скъп пакет, а няма смисъл, тъй като този сайт няма толкова голяма печалба, така че няма смисъл.
Сложих и скрийншот, да видите за какво става въпрос. Сега имам 72 часа да го оправя или ще спрат сайта. Какво предлагате да се направи?
 

Прикачени файлове

  • 121.JPG
    121.JPG
    36.7 KB · Преглеждания: 200
От: Проблем с процесорното време

Влез в Австатс и виж IP адресите, от които има големичък трафик. Провери ги с Whois и ако сред тях има агресивни ботове трябва да направиш разни действия. Напоследък Яндекс робота се е побъркал и ти препоръчвам направо да му баннеш IP адресите, от които влиза в твоя сайт. Второто е да си добавиш сайта в Google Webmaster tools и да намалиш 4-5 пъти скоростта, с която бота на Google обхожда сайта ти. Това би трябвало да помогне много и според мен няма да окаже никакво влияние на класирането ти в търсачките.

Другото, което трябва да направиш е да си спомниш какво си променил по скриптовете в сайта през дните когато натоварването е скочило рязко. Ако си правил промени пробвай да върнеш старото положение.

Последен вариант: минаваш на Спейс.бг където, доколкото знам, преди да те отрежат ще ти кажат какъв точно е проблема в сайта ти за да можеш да го оправиш.
 
От: Проблем с процесорното време

Гледам сега за февруари от кои IP адреси е влизано най-много и се оказа че на първо място е моя от който има 220.47 MB - това незнам дали е нормално.

На второ място със 130.03 MB е 91.215.216.11, който пък видях че бил на ICN.

Следват Yandex и Google с по 107.90 MB и 115.43 MB

Yandex го забраних, а на Google намалих на минимума индексирането. Другите IP адреси са с доста по-малко трафик. Само ми е странно защо от моя адрес трафика е най-голям. Наистина влизам всеки ден и одобрявам предложените сайтове, но те са по 20-30 дневно, възможно ли е да е от това. Иначе не се сещам да съм правил някакви промени през този период.
 
От: Проблем с процесорното време

Сега пак погледнах сайта и видях, че е директория с хиляди страници. Почти сигурен съм, че проблемът е в агресивните ботове защото няма много реални посещения.
 
От: Проблем с процесорното време

Сега прегледах статистиките за миналите месеци и видях че до декември ботовете на гугъл и яндекс са правили значително по-малко трафик, и ми е чудно защо точно след 25 декември се увеличава. Също така какъв е този трафик от това IP на ICN.bg, който също скача заедно с трафика на ботовете?
 
От: Проблем с процесорното време

Питай ги тях, може някой умник да ти парсва сайта например. И го забрани.
 
От: Проблем с процесорното време

Ще изчакам до утре да видя дали промените, които направих ще имат някакъв ефект първо.
 
От: Проблем с процесорното време

Този проблем с агресивните ботове се появи по същото време и при много други сайтове. Даже имаше служител на Суперхостинг, който писа по този въпрос тук, преди време. От ICN би трябвало да знаят това и трябваше да ти драснат два реда какви са причините за скочилото време и как да ги отстраниш. Доста непрофесионална проява от тяхна страна.
 
От: Проблем с процесорното време

както и да е, дано да се оправи и да е проблема от ботовете
 
Последно редактирано:
От: Проблем с процесорното време

Пълна простотия, махнал съм yandex, дадох на Google да минава възможно най-рядко, пуснах една опция от сайта за кеширане и няма промяна, пак надхвърлям лимита. Как е възможно всичко това да стане за 1 ден. До 25 декември всичко си е нормално и изведнъж от 26 има двойно увеличение и после расте още. Така и досега и нищо не помага. Само забелязвам че трафика от IP-то, което е на ICN е самото IP на сайта и този трафик расте най-бързо от всичко, това нормално ли е?
 
От: Проблем с процесорното време

Яндекс трябва да се следи изкъсо щото е най-агресивен от всички ботове, а настройките за Гугъл май не дават резултат веднага. Дръж ги изкъсо и следи за други агресивни ботове.
 
От: Проблем с процесорното време

mvmrik каза:
Как е възможно всичко това да стане за 1 ден. До 25 декември всичко си е нормално и изведнъж от 26 има двойно увеличение и после расте още. Така и досега и нищо не помага. Само забелязвам че трафика от IP-то, което е на ICN е самото IP на сайта и този трафик расте най-бързо от всичко, това нормално ли е?
Увеличете...

Ами може да стане за един ден например ако от хостинга са сложили тогава на този сървър още 4-5 сайта и му е дошло в повече. Или пък са го преместили на някой скапан сървър :)

Да нямаш и други сайтове на това IP, които теглят нещо от този сайт? RSS, линкове или нещо такова. Опитай да го проследиш какво точно и защо прави, сложи си в кода нещо такова:

if ( ip == 'xxxx' ) {
запис във файл на request uri, refferer, user agent и тн
}

и анализирай.
 
От: Проблем с процесорното време

В крайна сметка си платих още и сега съм на по-скъпа тарифа. Нищо не можах да разбера и така си остана.
 
От: Проблем с процесорното време

Не разбрах само правиш много трафик или използваш много процесорни ресурси от към php (или там каквото ползваш).
В първия случай наистина трябва да провериш кои ip та ти правят много трафик възможно е и някои да парсва от саита ти или rss и те да ти правят проблем.
А при втория случай трябва да си оптимизираш скриптовете и заявките към базата данни, най-често срещания проблем е разрастването на базата данни при което заявките хабят много ресурси и отнемат повече време. Друг често срещан проблем е прекалено много заявки към базата данни или скриптове изискващи много ресурси. Ако ползваш готово система за управление на съдържанието е най-добре да си потърсиш модул за кеширане с което когата върнеш заявка от базата данни тя има определен от теб живот и при следващото зареждане на страницата не се налага ново запитване към базата данни а се връща резултата получен при предишното.
 
От: Проблем с процесорното време

Човека има уеб директория с десетки хиляди сайтове вътре и търсачките сигурно го разчекват направо. Това трябва да е. А тъпият Яндекс влиза от безброй IP-та и няма спиране. Това е най-гадния бот. Аз дори се регистрирах в сайта им за да видя какви инструменти за уебмастъри имат, но нямат почти нищо. Нито можеш да си извадиш сайта от индекса им, нито робота им зачита robots.txt, нито можеш да намалиш скоростта на бота... нищо. Само бан по IP ама те са толкова много, че има опасност от омазване. Гадна работа.
 
на яндекс има опции за скороста но не съм ги ползвал

http://help.yandex.ru/webmaster/?id=996567

Директива Crawl-delay. Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").
Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.
Примеры:
User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
Увеличете...

Иначе има ип има проблем банниго скреипъра вероятно ще олекне с малко ...

Ако полваш спамасасин и можеш да пробваш да го спреш от контролния панел ако разрешена тази опция .... незнам как ви смята процесорното време но и съм го виждал spamd child да товари доста процесите напоследък след последните ъпдеити на цпанел
 
Последно редактирано от модератор:
От: Проблем с процесорното време

Не съм имал случай Яндекс да се съобрази с каквото и да е написано в robots.txt.
 
От: Проблем с процесорното време

И аз имам проблем. Става дума за споделен хостинг в Суперхостинг.бг. Имам инсталиран SMF форум с Ajax Chat към него и добавка за вмъкване на линкове от Youtube. Направи ми впечатление обаче, че процесорното време за последните 2 дни нараства и надвишава лимита. Потребителите не са много, няма и 20 човека засега. Обаче чата е доста често използван. Някой може ли да даде идея откъде идва натоварването и какво мога да направя?
 
От: Проблем с процесорното време

Има много голяма вероятност да е от чата. Този вид чатове генерират огромен брой връзки към сървъра и по този начин почти непрестанно използват ресурс. Спри чата за 24 часа и следи как ще се движи натоварването. По мое лично мнение от него идва проблема.
 
От: Проблем с процесорното време

С процесорното време хостинг компаниите имат инструмент с който те карат да преминеш към по скъп план. И никъде не се споменава това в сайтовете им.
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе