Проблем с Googlebot

[Desisslava Dimitrova]

Здравейте,
от известно време получавам съобщения, че бота на Google не може да обходи сайта, заради грешка в robot.txt.

Това е част от съобщението:
http://otdihbg.com/: Googlebot не може да осъществи достъп до сайта Ви
През последните 24 часа Googlebot се натъкна на 3 грешки при опита да извлече информацията за DNS за сайта Ви. Общият процент на грешки при заявките към DNS за него е 100.0%.

Имах проблем с трансфера на домейна и оттам идва грешката в robot.txt
В момента сайта е записан като www.otdihbg.com. Другия адрес го изтрих от
уеб администратори. В настройките съм дала да няма предпочитан домейн. На
www.otdihbg.com имам robot.txt, съдържанието му е следното:
User-agent: *
Disallow: /feeds
Disallow: /*/_/
Sitemap: http://www.otdihbg.com:80/system/feeds/sitemap
Добавих sitemap към адреса и в момента има от 18 изпратени страници, 13
индексирани.
Дали е възможно проблемът с домейните да се оправи?
И нещо друго - някои от страниците се показват при търсене с оригиналния
адрес на Гугъл сайт. След това, след две три страници се показва страницата
от www.otdihbg.com.

Последната статия я качих на 13.04 и все още не излиза при търсене. Предишните излязоха в рамките на 24 часа.

 

[lqllqlq]

От: Проблем с Googlebot

Всъщност без www също трябва да го има за да можеш да го верифицираш.
Отделно звучи ли ти логично да си заложила домейн с www., а в същото време "да нямаш предпочитания"? Трябва да бъде със предпочитание към www.
И накрая, но всъщност нещо, с което е трябвало да започнеш е пренасочване 301 от без www, към www

 

[Desisslava Dimitrova]

От: Проблем с Googlebot

Добавих http://otdihbg.com в уеб администратори, след което отидох в настройки и избрах предпочитан домейн www.otdihbg.com, записа го успешно.
Един глупав въпрос:
Всички данни са в www.otdihbg.com.
В otdigbg.com и оригиналния домейн на гугъл сайт също са в уеб администратори.
Като като се опитам да извличане като Гугъл на otdihbg.com, отново излиза съобщение, че страницата е недостъпна.
На www.... дадох предпочитан домейн www...
На http://otdihbg.com дадох същия otdih....
Сега двата адреса би трябвало да сочат към един и същ сайт, нали?

Вече при търсене излиза и http: //otdihbg.com
lqllqlq, много ти благодаря за съдействието!

 

[radoslav68]

От: Проблем с Googlebot

направи редирект 301 в .htaccess файла - това трябва да се конфигурира!

 

[Desisslava Dimitrova]

От: Проблем с Googlebot

Единствения вариант е да коригирам файла през хоста, но от host.bg казаха, че не е нужно да се слага този файл. В общи линии, според тях всичко е направено. Наистина вече при търсене излиза добре. Но има друг проблем.
Получи се дублирано съдържание. Явно избързах с картата и пинга на новия адрес. Две от статиите бяха индексирани със стария адрес, а категориите с новия. Сега последната статия излиза с новия адрес, а категорията в която е сложена със стария. Иначе направих всичко необходимо за трансфера на домейна, но явно Гугъл вече е индексирал неправилно сайта. Мога ли да направя нещо, за да се оправи дублираното съдържание и страниците да си излизат само с новия домейн?
Може да видите пример с последната статия:

 

[lqllqlq]

От: Проблем с Googlebot

Честно не знам какво се стряскаш толкова? Колко статии има в тоя блог? Аз имам 1550 с 920 коментара и преди малко зададох предпочитан домейн и смених настройката да зарежда с www. И не ми пука кога Гошо ще се усети. Нали им върховен алгоритъма - да се оправят. В крайна сметка пиша за хората, не за търсачката.

 

[Desisslava Dimitrova]

От: Проблем с Googlebot

Да, прав си, че хората в крайна сметка отиват на едно и също място, независимо през кой адрес влизат.
Притеснява ме, като някой влезе през адрес на Гугъл сайт дали това няма да го накара повече да не влезе като види адреса. Въпреки, че от друга страна хората търсят нещо полезно и най вече съдържание. Аз лично не гледам какъв е адреса, но знам ли.
Това е първия сайт, с който се боря, другите бяха с безплатни домейни и нямах такива проблеми.