Googlebot няма достъп до CSS и JS файловете за Opencart

CTAH

CTAH

Well-Known Member
За тези от вас които имат онлайн магазин на опенкарт и разбира се имат, robots.txt a освен че имат са го модифицирали по някакъв начин.
И най вероятно сте забранили индексирането на папката /catalog
Вече може да сте получили или ако не скоро ще получите подобен емайл.

Googlebot няма достъп до CSS и JS файловете за http://xxxx.com/

До уеб администратора на http://xxxx.com/

Системите на Google неотдавна установиха проблем с началната Ви страница, който се отразява върху качеството на визуализирането и индексирането на съдържанието Ви от страна на алгоритмите ни. По-конкретно, Googlebot няма достъп до Ваши файлове с JavaScript и/или CSS заради ограничения във файла Ви robots.txt. Тези файлове помагат на Google да се увери, че уебсайтът Ви работи правилно, поради което блокирането на достъпа до тях може да доведе до влошено класиране.

........


Необходимо е да отворите достъп до файловете за стилове, скриптове и изображения (а не цялата директория)
Код: 
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif
 
От: Googlebot няма достъп до CSS и JS файловете за Opencart

robots.txt така или иначе никога не е било добро работещо решение, защото така наречените лоши ботове, които трупат кофти трафик изобщо не се съобразяват с него. А пък ботовете на легитимните търсачки си мисля, че няма нужда да са описани в този файл. За мен най-доброто решение си остава rewrite rules спрямо web сървъра, което би свършило чудесна работа.
 
При положение, че веднъж съм disallow-нал "/catalog", ще има ли ефект когато отделно от това дам достъп до стиловете, скриптовете и т.н.? Т.е. ето така правилно ли е?

Код: 
Disallow: /catalog
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Все пак да съм сигурен преди да съм направил някаква глупост :)
 
От: Googlebot няма достъп до CSS и JS файловете за Opencart

Е той го търси, но с каква цел изобщо бота на Гошко е бил описван в този файл. За да не се затруднява евентуално, което да оказва влияние и да влошава нещата при класирането? Не разбирам каква е идеята да се описва полезен робот във въпросния файл.
 
Последно редактирано:
От: Googlebot няма достъп до CSS и JS файловете за Opencart

И аз имах съмнения дали ще чете файловете и как и си отворих помощния файл google.com/robots.txt :)
И разреших целите папки за по-сигурно.
 
От: От: Googlebot няма достъп до CSS и JS файловете за Opencart

Искал да гледа мобиле фриендли ли е темата ...!!?!?!!!???

wsar каза:
Е той го търси, но с каква цел изобщо бота на Гошко е бил описван в този файл. За да не се затруднява евентуално, което да оказва влияние и да влошава нещата при класирането? Не разбирам каква е идеята да се описва полезен робот във въпросния файл.
Увеличете...
 
От: От: Googlebot няма достъп до CSS и JS файловете за Opencart

CTAH каза:
Искал да гледа мобиле фриендли ли е темата ...!!?!?!!!???
Увеличете...

Да де, то това беше ясно отдавна, че си ъпгрейднаха политиката и ще лансират респонсив сайтовете или тези с мобилна версия. Даже имаше и съответните насоки. Принципно, за да стане това на бота му тряя достъп до съответните файлове .css и.js. Чуденката ми беше, защо бота на Гугъл изобщо е описван в robots.txt, за да няма достъп то тези файлове? По принцип там се описват лошите роботи, като се оказва и кои точно директории да не обхождат. Но така или иначе както вече споменах, тези роботи често не се съобразяват с въпросните robots.txt, за това този файл се слага просто фиктивно, като най-добре с/у тях да се вземат мерки чрез rewrite rules спрямо web сървъра както вече споменах, а пък за легитимните и полезни търсачки не е нужно да се слагат ограничения. Те така или иначе сканират страниците с приоритет и не са толкова шашави. Е разбира се има условия, например ако кода е гаден ще има проблеми, но това си е част от сео нещата.
 
Последно редактирано:
От: Googlebot няма достъп до CSS и JS файловете за Opencart

За WP тествам това

User-Agent: Googlebot
Allow: /*.js*
Allow: /*.css*

вие ще кажете дали е вярно , ама като гледа в момента целия свят е в паника :)))))))))))))
 
Последно редактирано:
До сега си играх и го докарах до тук:

Код: 
Disallow: /catalog
Allow: /catalog/view/javascript
Allow: /catalog/view/theme/VARNA/js
Allow: /catalog/view/theme/VARNA/stylesheet
Allow: /catalog/*.png
Allow: /catalog/*.gif

Така всичко е наред и проблема с JS и CSS е решен при мен. Благодаря много за което!


Обаче пък друг проблем ми се появи, когато се опитах да визуализирам сайта...

Код: 
Googlebot не можа да извлече всички ресурси за тази страница. Следва списък:

URL адрес                                                                           Тип 	        Причина 	 

/catalog/view/theme/*/stylesheet/sidebarmenu.min.css                                Стилов лист 	Ненамерени 	
/catalog/view/theme/*/stylesheet/cart_add.wav	                                        Ресурс 	        Временно няма достъп

Заради тях го докарвам до частична визуализация. Wav файла ми е звука за кошницата, а стила sidebarmenu.min.css колкото и странно да звучи го няма в темата ми и въбоще не съществува. Дайте някаква идея какво да правя с тоя css. За какво е по принцип? Мога ли да го заместя с този от дефолт темата? И въобще как да ги изчистя и двата файла от там? :cry:
 
От: Googlebot няма достъп до CSS и JS файловете за Opencart

Е то не е от вчера или от днеска това чудо:
http://peter.nikolow.me/robots-txt-wordpress/

На всички eCommerce обаче положението е трагично заради многото duplicate content. Затова внимавайте там със Allow, можете неволно да активирате друг спящ звяр.
 
От: Googlebot няма достъп до CSS и JS файловете за Opencart

Аз продължавам да не доумявам защо изобщо се разчита на този robots.txt и се използва, след като е почти неефективен. И защо на ботовете на полезните търсачки трябва да им се забраняват директории.
 
От: Googlebot няма достъп до CSS и JS файловете за Opencart

Какво става ако изтрием изобщо robots.txt? Това означава ли че бота ще чете всичко по сайта ?
 
От: Googlebot няма достъп до CSS и JS файловете за Opencart

В крайна сметка какво е най-доброто решение? На два от сайтовете и аз го получих това, но не смея да му дам достъп, защото не са риспонзив и ако ми види CSS-а, ще ме дръпне назад в класирането. А иначе уж като вляза в GWT, ми показва за robots.txt 0 грешки и 0 предупрежедния. Демек хем са недоволни, ама хем няма проблеми. Май май и те не са сигурни какво искат.

Нека някой, който даде достъп до забранените файлове, да сподели опита си.
 
От: Googlebot няма достъп до CSS и JS файловете за Opencart

mobilio каза:
Е то не е от вчера или от днеска това чудо:
http://peter.nikolow.me/robots-txt-wordpress/

На всички eCommerce обаче положението е трагично заради многото duplicate content. Затова внимавайте там със Allow, можете неволно да активирате друг спящ звяр.
Увеличете...

duplicate content най-добре с meta noindex,follow, не с робота.

svilenov каза:
В крайна сметка какво е най-доброто решение? На два от сайтовете и аз го получих това, но не смея да му дам достъп, защото не са риспонзив и ако ми види CSS-а, ще ме дръпне назад в класирането. А иначе уж като вляза в GWT, ми показва за robots.txt 0 грешки и 0 предупрежедния. Демек хем са недоволни, ама хем няма проблеми. Май май и те не са сигурни какво искат.

Нека някой, който даде достъп до забранените файлове, да сподели опита си.
Увеличете...

Така или иначе ще ти намалят ранкинга ако не им позволиш. Според мен цялата идея е колкото за mobile friendly, толкова и за да могат да гледат за скрити линкове с css - z-index-и, фонтове и т.н. Те не, че сега не ги засичат, но явно бота става по умен в тая насока.
 
От: Googlebot няма достъп до CSS и JS файловете за Opencart

Kapo каза:
Какво става ако изтрием изобщо robots.txt? Това означава ли че бота ще чете всичко по сайта ?
Увеличете...

Да, ако изтриеш robots.txt робота на Гугъл ще може да чете всичко по директорите, но все пак това не е много добра идея. Като цяло по този начин и други вредни роботи също ще имат това право, а повярвай ми не искаш такъв трафик. И все пак колкото и дa е неефективен този файл на днешно време, чат-пат има някаква полза от него и са останали някакви роботи дето се съобразяват с него, но винаги защитата от такъв вреден трафик, който често може да влияе силно на класирането от легитимните търсачки, трябва да е комплексна и такива ботове трябва да се блокират. За различните web сървъри подхода е различен, но при най-разпространения Apache примерно правилно структуриран .htaccess е повече от задължителен. Иначе аз лично на robots.txt не разчитам, имам такъв файл и едни ред в него, колкото да не гледам 404 по логовете това е. Всичко, което искам да филтрирам го правя именно с .htaccess Полезните търсачки имат пълна свобода да сканират каквото си искат. Нещо такова като принцип за robots.txt ще разреши на полезните роботи като Гугъл, Бинг, Фейсбук да имат свободата да сканират, а пък останалите, които не са описани изрично ще бъдат блокирани:

Код: 
User-agent: Googlebot
Disallow: 

User-agent: bingbot
Disallow: 

User-agent: facebookexternalhit
Disallow: 

User-agent: *
Disallow: /
 
От: Googlebot няма достъп до CSS и JS файловете за Opencart

Здравей Стан нов съм още във форума и аз скоро получих следното съобщение в WMT от твоето решения има ли ефект и дали да го прилагам сега или да изчакам ново решение . Имам онлайн магазин Базиран на OpenCart 1.5.4 с robots.txt от поместен в една от по-горните ти Статии !
Имам и още въпроси които бих искал да ти задам на лични ако нямаш нищо напротив ?
Благодаря
 
От: От: Googlebot няма достъп до CSS и JS файловете за Opencart

Здравей Александър

Решението което съм дал аз, а и колегите работи

Ако си ползвал някои роботс.тхт там има един ред : Disallow: /catalog
точно това спира бота да чете нужните му файлове, може и просто да истриеш този ред от файла ...

В момента не съм си в къщи но след няколко дни съм на линия може да се свържиш с мен на скайп : stiv.raider

Успех
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе