Роботс и сърч пейдж?

[Enjoy]

Дали трябва да огранича достъпа на роботите до вътрешната търсачка на сайт? преди си мислех, че те не биха могли да "сърчат", но попадам на резултати от в гугъл, които са индексирали сърч куери към вътрешната търсачка на сайта...

Какво мислите?

 

[Blinky]

От: Роботс и сърч пейдж?

Еми така не ти ли дава повече индексации? Ако да - защо да го режеш като опция? Все пак и това носи не голям, но някакъв трафи. Както е с отворените търсачки, като на дир.бг...и други такива.

 

[netsurfer]

От: Роботс и сърч пейдж?

може да има входящи линкове към сърча, нека си индексира ...

 

[Unwise]

От: Роботс и сърч пейдж?

Повече линкове към вътрешни страници (т.е. каквито ти се водят резултатите от търсенето), мисля, че увеличават trusted нивото на даден домейн.
Иначе ако е толкова спешно блокирането, просто проверявай за REFERER. Ботовете нямат навика да оставят такова нещо, а при търсене от човек, то винаги има такъв. Дори по форуми ако някой посочи адрес с търсене, то идващия от там пак идва с непразен REFERER. Само ботове, виросани браузъри и псевдозащитни системи минават без REFERER.

 

[zaekyt]

От: Роботс и сърч пейдж?

Може да дойде трафик от индексирания сърч, особено ако търсеното нещо го има в title и url. То си става все едно има такъв таг