Къде да сложа robots.txt

[Scanolions]

Имам 2 въпроса:

1.Блог-а ми се намира на такъв адрес www.site.com/mods/ и съм сложил sitema.xml и robots.txt в папката /mods/ дали съм сложил на вярно място,а като се влезе в домейна www.site.com той след 1 сек пренасочва към www.site.com/mods/
2.Какво да задам на страниците в момента като се публикува се задава index,follow това добре ли е ако не е кажете ви как трябва да е

 

[Unwise]

От: Къде да сложа robots.txt

Аз ги слагам в главната директория, защото ботът по принцип там го търси. Нямам навика да ползвам поддиректории за основната част от сайта. Дори намирам това за грешно.
Ето ти един класически robots.txt:

User-Agent: *
Allow: /

Алтернативно може да добавиш това в HTML-ите на сайта:

<meta name="robots" content="index, follow, all" />

или

<meta name="googlebot" content="index, follow, all" />

или най-добре и двете.
Най-добре си сложи robots.txt в главната директория и си добави тези два meta тага. Ако искаш някакво ограничение, което по принцип Google рядко спазва, може да го опишеш.

 

[Scanolions]

От: Къде да сложа robots.txt

Еми главния ми домейн пренасочва към /mods/ дали няма да е проблем ако там сложа robots.txt

 

[Attacker]

От: Къде да сложа robots.txt

Няма да е проблем, стига site.com/robots.txt да пренасочва към site.com/mods/robots.txt.

 

[Scanolions]

От: Къде да сложа robots.txt

Няма да е проблем, стига site.com/robots.txt да пренасочва към site.com/mods/robots.txt.

Тва не го разбрах сега и в public_html и в mods ли да сложа файла robots.txt,защото сега файла е в public_html,а домейна пренасочва към site.com/mods/

 

[Attacker]

От: Къде да сложа robots.txt

Сложи robots.txt в /mods и след това напиши в браузъра домейн/robots.txt и виж дали ти излиза каквото трябва.

 

[Scanolions]

От: Къде да сложа robots.txt

Сложи robots.txt в /mods и след това напиши в браузъра домейн/robots.txt и виж дали ти излиза каквото трябва.

Ми без това robots.txt е в public_html папката и като напиша site.com/robots.txt излиза съдържанието на файла

 

[Attacker]

От: Къде да сложа robots.txt

Аааа... ама ти пренасочваш с мета таг... Чак сега видях, че имаш пренасочване с delay. Тогава си го остави така.

 

[Scanolions]

От: Къде да сложа robots.txt

Аааа... ама ти пренасочваш с мета таг... Чак сега видях, че имаш пренасочване с delay. Тогава си го остави така.

Последно къде да оставя тоя файл,че ме обърка тука в папката /mods/ или public_html

 

[sparc]

От: Къде да сложа robots.txt

Последно къде да оставя тоя файл,че ме обърка тука в папката /mods/ или public_html

Остави robots.txt файла в public_html папката, имай предвид, че robots.txt не играе почти никаква роля за индексирането. Ако искаш бота да не индексира страницата просто добави <meta name="robots" content="noindex,nofollow"> и обратно <meta name="robots" content="index, follow" /> ако искаш да я индексира тава е най сигурния начин.