как да спра ботовете на търсещите машини?

[okli]

Как да ги спра да не проверяват някой от папките?

В public_folder освен сайта имам и папки в които искам търсещите машини да не влизат и съответно това да не се индексира. Да не излиза като резултат в търсенето?
Примерно folder "test" да не се проверява а просто да го пропускат все едно несъществува?

И още нещо какво трябва задължително да има в .htaccess файла като редове?

 

[nikolaicho]

От: как да спра ботовете на търсещите машини?

Прочети за robots.txt - от там можеш да оказваш на ботовете какво да индексират и какво не.