robots.txt- Какво е това!?

[kokernur]

Здравейте и добро утро. На хостинга който ползвам в контролния панел има такава опция за редактиране -robots.txt . трябва ше да чакам 2 месеца за да ми позволят ла я отредактирам и вече ми е позволено. Та какво се пише тук ? За какво служи ? Какво е това ? Предварително благодваря.

Сега там е написано това:

User-agent: *
Disallow: /wrn.php
Disallow: /component/
Disallow: /administrator/

 

[тео]

От: robots.txt- Какво е това!?

http://lmgtfy.com/?q=robots.txt

 

[BullBlogger]

От: robots.txt- Какво е това!?

В резюме указваш на търсачките, кои страници не искаш да се посещават. В случая си забранил три папки. Обикновено това се прави за служебни папки като администраторската например и други нещица, които не искаш да се индексират. Хубаво е да имаш предвид, че:
а) търсачките не са длъжни да се съобразяват със съдържанието на файла, по принцип повечето го правят (е разни гаражни самоделки не са дорасли да обхождат толкоз много файлове и го игнорират)
б) ако смяташ да скриеш тайни файлове в някоя папка и да я забраниш през роботс.тхт за да не я намерят потребителите ти не е много умно - първото място където човъркам, когато искам да видя кво се крие в некой сайт е роботс.тхт файла. Идея си нямаш що уебмастъри "крият" из разни незащитени папки пдф книгите, които продават

В общи линии това е (изтървах нещо умно някъде на третото изречение и сега не мога да се сетя какво беше)

Едит: я, Тео постнал докат съм писал и е далеч по-изчерпателен. Тоз сайт трябва да си го букмаркна и аз