Странно предупреждение в webmasters tools

N

nobreak

Member
Здравейте. Днес гледам във webmasters tools-а на следното предупреждение:

"Sitemap съдържа URL адреси, които са блокирани от robots.txt." и ми дава следните адреси:

http://rezachki.com/image/data/Ofert...stems-m-85.JPG
http://rezachki.com/kosachka-paltsov...rosystems-m-85

Някой може ли да ми каже каква е причината заради което не може да се индексира точно тази оферта?
Благодаря.
 
От: Странно предупреждение в webmasters tools

Имаш знаковия низ "system" в адресите.

Може да е заради този ред:

Код: 
Disallow: /system/

Виж също и другите редове и гледай да не съвпада някой низ. Не съм сигурен как роботите интерпретират наклонените черти.
 
От: Странно предупреждение в webmasters tools

@nobreak, понеже ме беше попитал за този проблем на лични, ще се включа и аз в темата. На пръв прочит наистина не можах да видя къде е проблемния ред, но благодарение на @happyslacker той е намерен. Обаче низа посочен от поста на @happyslacker си е абсолютно правилен - забранява индексирането на съдържание от директория "system" и нищо повече. Може би е бил подведен от факта, че си направил темата, когато вече си сменил старото съдържание на файла robots.txt с новото, което ти предложих.

Ето и проблемния ред от стария файл:

Код: 
Disallow: /*system

Звездичката, в случая оказва нула или повече символи(както при regex) преди думата "system". Затова линковете, които си посочил биха били забранени за достъп.
 
Последно редактирано:
От: Странно предупреждение в webmasters tools

И аз първо си помислих, че може би robots.txt е вече редактиран.

Значи, липсата на наклонена черта в края на реда е еквивалентно на *?
 
От: Странно предупреждение в webmasters tools

Благодаря и на двамата! stan_bg съжалявам, че не ми позволява да ти дам пак rep :)
 
От: Странно предупреждение в webmasters tools

По принцип проблема си стои в webmasters-а, като ми изписва брой проблеми 6, а дава 3 линка - 2 за картинката и 1 за самата оферта...Какво друго мога да направя?
 
От: Странно предупреждение в webmasters tools

Я провери преди колко време последно е изтеглян robots.txt, защото може да помни още старото съдържание. Няма как при текущото му съдържание да ти дава проблемните линкове като забранени за обхождане. Даже лично тествах и както се очакваше няма проблеми. И нали казахме, че трябва да бъде "Disallow: /system/", а не "Disallow: /*system/". Защо си го променил ?
 
От: От: Странно предупреждение в webmasters tools

Понеже си беше Disallow: /system/, а грешката си стоеше и аз разбрах, че трябва да е Disallow: /*system/ и за това го промених...Върнах го както си беше и ще видим...
 
От: Странно предупреждение в webmasters tools

Съобщението за грешка стои, но това не значи, че причината за грешката съществува.
 
От: Странно предупреждение в webmasters tools

Пробвай с Fetch as Google.
 
От: Странно предупреждение в webmasters tools

Пробвах и ми изписа това:

Изтеглен HTTP отговор:

HTTP/1.1 301 Moved Permanently
Date: Tue, 15 Jul 2014 09:29:57 GMT
Server: Apache
Location: http://rezachki.com/
Content-Length: 228
Keep-Alive: timeout=15, max=100
Connection: Keep-Alive
Content-Type: text/html; charset=iso-8859-1

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>301 Moved Permanently</title>
</head><body>
<h1>Moved Permanently</h1>
<p>The document has moved <a href="http://rezachki.com/">here</a>.</p>
</body></html>
 
От: Странно предупреждение в webmasters tools

Трябва да пробваш как се теглят изображенията, не www.rezachki.com.
 
От: От: Странно предупреждение в webmasters tools

Гледам в грешки при обхождане и ми дава 3 грешки:

Googlebot успя да осъществи достъп до сайта ви, но определени URL адреси са блокирани за Googlebot-mobile за смартфони във файла ви „robots.txt“. Те не се показват в отчета „Блокирани URL адреси“ и може да не са блокирани целенасочено.


index.php?route=product/compare

index.php?route=affiliate/forgotten

index.php?route=product/category&path=67


Като му дам извличане като гугъл постоянно ми изписва "Временно няма достъп"...
 
Последно редактирано:
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе