Така ли трябва да е robots.txt

[pgplamen]

Понеже не съм много сигурен затова ще помоля за помощ. Кой от двата начина е по-точен Кой да сложа на сайта. Има ли смисъл да посочвам Sitemap.

1 txt

User-agent: *
Disallow: /admin/
Disallow: /images/
Disallow: /templates/
Disallow: /includes/

2 txt
Sitemap: /sitemapsIndex.xml
User-agent: *
Disallow: /admin/
Disallow: /images/
Disallow: /templates/
Disallow: /includes/

 

[BullBlogger]

От: Така ли трябва да е robots.txt

посочи сайтмапа да и се увери, че действително това е адреса

 

[ktomov]

Сайтмапа ти може да бъде в дъното на файла, даже повечето генератори там го набиват и за да бъда честен не съм си играл да търся точната причина защо е така.
Имаш една голяма грешка обаче в горния пример. Sitemap: директивата трябва да съдържа пълния адрес до файла, т.е. да е във вид:
Sitemap: http :// tvoia-domain.com/sitemap.xml иначе в GWT ще получиш грешка, че има проблем при обхождането на robots.txt файла.

 

[pgplamen]

От: Така ли трябва да е robots.txt

Да посочвам пълния адрес на сайтмапа http :// moq-domain.com/sitemapsIndex.xml

Това се питах дали да е долу или горе. При конкуренцията е горе.

 

[ktomov]

Да. Ако можеш да отвориш този файл http :// moq-domain.com/sitemapsIndex.xml през браузера ти, значи си на прав път

 

[pgplamen]

От: Така ли трябва да е robots.txt

Отваря се дилемата беше къде да го слагам и дали да го посочвам този sitemapsIndex.xml Сега вече съм сигурен че ще го посоча и ще го сложа долу.