Web crawl errors

[kolev89]

От няколко дена имам този проблем и сайта ми спря да се индексира. Ето и скрийншота:

Неясно ми е как да се справя с тези грешки. Също да ви питам от какво зависи колко често ще влизат ботове в сайта ми? Как да бъде индексиран всеки ден?
Предварително ви благодаря

 

[Pesho1978]

От: Web crawl errors

Покажи какво имаш в robots.txt

 

[netsurfer]

От: Web crawl errors

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

Може да е проблем с хоста,
покажи какви грешки ти дава

 

[strana]

От: Web crawl errors

1. Картата на сайта с joommap или xmap си я правил? Дава ти грешка там - виж каква е.
2. Роботса ти е нормален, само дето си махнал /images
3. Най-вероятно става въпрос за предишни остатъци, но няма как да се каже точно без да се види сайта, sef-рирайт ползваш ли?
4. Ако не се оправиш тук, виж за всеки случай и на joomla-bg.com, джумлиерите сме там.

 

[strana]

От: Web crawl errors

А за честотата на индексиране виж в Webmasters Tools, има настройка за минаване на бота отляво, не се спомням как се казваше точно. Но по принцип и стандартната върши работа, щом си добавил сайтмапа там, Гугъл напоследък заобича Джумлата. Всичките сайтове, дето са ми на джумла, се индексират доста добре и като честота и като брой страници, без да променям настройките за бота.

 

[netsurfer]

От: Web crawl errors

3. Най-вероятно става въпрос за предишни остатъци, но няма как да се каже точно без да се види сайта, sef-рирайт ползваш ли?

сайта се вижда на картинката и го има в подписа му ... и като го гледам си е с грозните url-ta ...