Analyze robots.txt

[BHuMaHuE]

Гогле ми дават някъв код за какво може да послучи това Analyze robots.txt

 

[netsurfer]

това във Веб Мастерс туулс?
Показва ти роботс.тхт -то

 

[BHuMaHuE]

Да но може ли да се използва някъде

 

[netsurfer]

какво да се използва??
Показва ти какво пише в роботс.тхт