Не ми се изяснява едно нещо за robots.txt (SEO)

[Rusev1]

Какво разбрах аз от robots.txt - това е вид команда която се задава на google бота да не сканира и ранква страници които не са предназначени за хората да виждат. Например ако имаш страница ''Контакти'' да не я ранква. Но немога да разбера как негативно ще повлияе на SEOто ако я ранква и сканира?

 

[zlatko0o]

Никъде не е казано, че ако я сканира ще повлияе грешно на "SEO"-то. Това се ползва както каза, за страница, които не искаш да се виждат. Не е яко някой да те търси и втората страница, която му излиза да е администраторския ти панел на сайта - примерно.

 

[mobilio]

Ето ти пълната спецификация:
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

Това което четеш можеш да го прилагаш на много неща. Примерно си представи че имаш папка със PDFи и някакъв HTML за всеки един PDF.
Бота минава, опъва HTML-a и после почва да гази и PDFите. И във резултатите ти се появяват PDFите и започва един цирк дето не е за разправяне...
Тогава можеш да забраниш ПДФ-ите като папка или файлове и хората ще кацат на HTMLите.

Това е просто пример.

 

[Rusev1]

Благодаря ви за отговорите