AdSense и robots.txt

A

AdSenser

Member
Здравейте, и привет на форума! :) Наистина е много полезен.
Досега само четях, но нещо ме провотира и да "пропиша" тук, един въпрос, с който не съм сигурен как точно да се справя.

И аз като всички вас се запалих по AdSense, но, въпреки, че рекламите се показват нормално, изписва, че с форума към сайта ми има проблем. Той се дължи на файла robots.txt, в който съм забранил crawl-ването на някои страници. Съдържанието му е следното:
Код: 
user-agent: * 
disallow: /faq.php 
disallow: /groupcp.php 
disallow: /login.php 
disallow: /memberlist.php 
disallow: /modcp.php 
disallow: /posting.php 
disallow: /profile.php 
disallow: /privmsg.php 
disallow: /search.php 
disallow: /viewonline.php 
disallow: faq.php 
disallow: groupcp.php 
disallow: login.php 
disallow: memberlist.php 
disallow: modcp.php 
disallow: posting.php 
disallow: profile.php 
disallow: privmsg.php 
disallow: search.php 
disallow: viewonline.php 
disallow: /forum/faq.php 
disallow: /forum/groupcp.php 
disallow: /forum/login.php 
disallow: /forum.memberlist.php 
disallow: /forum/modcp.php 
disallow: /forum/posting.php 
disallow: /forum/profile.php 
disallow: /forum/privmsg.php 
disallow: /forum/search.php 
disallow: /forum/viewonline.php 
#disallow: /viewtopic.php?p=

От Гугъл ме съветват да:
If you would like to grant our crawler access to your pages, you can do so without granting permission to any other bots. Simply add the following two lines of text to the top of your robots.txt file:

User-agent: Mediapartners-Google*
Disallow:

This change will allow our crawler to index the content of your site and provide you with the most relevant Google ads for that content.

Смущава ме съдържанието на удебеленото... аз искам да променя файла така, че, от една страна, да дам пълен достъп на медийния crawler на Гугъл, от друга страна и останалите crawler-и да имат достъп, просто досега блокираните страници да си останат такива за тях.

Бихте ли могли да ме посъветвали как точно да променя съдържанието, за да се случи това? Просто ме е страх, че ако сложа 1:1 даденият код от Гугъл, ще блокирам всички останали crawler-и, т.е. индексиране от Yahoo и др.

Предварително ви благодаря за съвета! :wink:
 
Ами не знам, не е ли добре Гугъл да не изпитва никакви проблеми със сайта ми, от тази гледна точка... просто исках да изчистя графата "проблеми". :roll:
 
#disallow: /viewtopic.php?p=
Увеличете...
ако когато се отвори пост във форума ти искаш да има реклами махни този ред той забранява влизането на бот на всичките ти постове .
Махни рекламата , ами и гугъл би трябвало да не са ти индексирали съдържанието на форума ,а само заглавията на форумите . Това е направено за да не се четат от кеша темите , а хората да се регистрират и да влизат предполагам.
П.С то било коментирано :) то би трябвало да няма проблеми - Вероятно имаш адсенс на някой от тия страници които са забранени за бота на медияпартнерс на Адсенс
 
аз имам едно хамалско решение което ще работи :) вместо да ползваш
user-agent: * ползваш user-agent: име на бота ... и повтаряш забраните за всеки бот които искаш да не влиза в тези фаилове (ще стане голям роботс.тхт - ако видиш роботс.тхт на википедиа няма да ти се стори така ) упоменатите ботове ще спазват забраните (не всички но..) а тези които не са упоменати ще си се разхождат свободно :)
 
Blinky, много благодаря за посрещането. :wink:
Ами всъщност всичко с рекламите е наред, но просто се чудя дали могат да ми направят проблем, ако в секцията "Диагностика на сайта" има адреси от сайтовете ми? :roll:

Иначе аз засега съм го оставил
Код: 
User-agent: Mediapartners-Google* 

user-agent: * 
disallow: /faq.php 
disallow: /groupcp.php 
disallow: /login.php 
disallow: /memberlist.php 
disallow: /modcp.php 
disallow: /posting.php 
disallow: /profile.php 
disallow: /privmsg.php 
disallow: /search.php 
disallow: /viewonline.php 
disallow: faq.php 
disallow: groupcp.php 
disallow: login.php 
disallow: memberlist.php 
disallow: modcp.php 
disallow: posting.php 
disallow: profile.php 
disallow: privmsg.php 
disallow: search.php 
disallow: viewonline.php 
#disallow: /viewtopic.php?p=

Което не знам точно дали върши някаква работа, т.е. дали не се бият user-agent: * и User-agent: Mediapartners-Google*

Иначе най-странното е, че аз всъщност нямам Gоogle реклами на нито една от забранените страници. Те се имплементират в темите, след първото и после някои други следващи мнения.
 
Аз нали казах не ги обевявяи със звезда ами поименно бот след бот

Википедиа така ги обевяваха като гледах за последно

П.С. чудя се защо толкова хора дават дисалоу на мембърлист.пхп като това е една от страниците които най-бързо катерят PR поне по досегашнитеми наблюдения... е разбиса хубаво е да разкараш спам линковете от нея :)
 
Аз честно казано не знам всички ботове, може би ако някой предостави готов robots.txt за phpBB ще е добре. :wink:
Иначе струва ми се действително единственото нещо, което си струва да се блокира, е страницата за пускане на отговор или нова тема... но бях взел съдържанието на този файл наготово. :roll:

И все пак, трябва да има нормален начин просто да пуснеш Гугъл да си прави каквото иска, а останалите.. да "пасат", поне що се отнася до тези страници. :lol:
 
Защо пък да ги ограничваш всичките по агресивни са само гугъл и яхо бота хабят повече трафик - като олекотихме структурата и изключихме коуването на сърча трафика които хабят падна няколко пъти такаче нека си се разхождат :)


Етого нашият роботс

Код: 
User-agent: *
Disallow: /admin/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /search.php 

 
Sitemap: [url]http://www.predpriemach.com/sitemap.php[/url]

Ето го и на ozzu.com - един от топ уебмастърксите форуми ползващ пхп бб като напшеш в гугъл webmaster forum
Код: 
User-agent: *
Disallow: /counter/
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /spelling/
Disallow: /templates/
Disallow: /common.php
Disallow: /config.php
Disallow: /groupcp.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /search.php
Disallow: /viewonline.php
Disallow: /sutra
Disallow: /ptopic
Disallow: /ntopic
Disallow: /markforums.html
Disallow: /marktopics
Disallow: /unmarkpost

User-agent: MSIECrawler
Disallow: /

User-agent: psbot
Disallow: /
 
Ами да, то версии винаги са възможни, но надявам се все пак някой може да каже как да пусна само Гугъл медиен сроулър, пък за останалите да си бъде същото... :roll:
 
coolice каза:
Гугъл маи са ти отговорили

User-agent: Mediapartners-Google*
Disallow:

не съм го пробвал аз бих пуснал всички да си щъкат
Увеличете...

Мдаммм и аз съм пуснал всички да щъкат без никакви ограничения.
 
май не разбирате... това, което са дали гугъл, би вършило работа, ако искаш да ограничиш всички освен тях (гугъл). Аз искам да пусна само гутъл да обикаля всички страници, а останалите crawler-и да могат да виждат всички, но без изброените в robots.txt страници. :roll:
 
Аз пък предпочитам да забраня точно на Google да посещава някои от тези страници, пък те да ми препоръчват каквото желаят. Но като им позволя да преглеждат всички файлове на форум, просто разсейвам бота.
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе