Здравейте, реших да влезна в webmaster tools на google и забелязвам следното нещо: Crawl Errors: Show URLs: Not found (36) Restricted by robots.txt (569) Unreachable (1)
Прочетох какво е Crawl Errors, но пак не ми се изясни много много ( google се опитва да crawl-не линковете в блога ми, но не успява и намира следните грешки.. ) Как мога да направя така, че да намира тези, които не успял и също какво означава това ограничени от robots.txt (вижда ми се голяма цифра ), не съм много навътре с това нещо.
(Google was unable to crawl the URL due to a robots.txt restriction. This can happen for a number of reasons. For instance, your robots.txt file might prohibit the Googlebot entirely; it might prohibit access to the directory in which this URL is located; or it might prohibit access to the URL specifically. Often, this is not an error. You may have specifically set up a robots.txt file to prevent us from crawling this URL. If that is the case, there's no need to fix this; we will continue to respect robots.txt for this file.
If a URL redirects to a URL that is blocked by a robots.txt file, the first URL will be reported as being blocked by robots.txt (even if the URL is listed as Allowed in the robots.txt analysis tool).
Не му позволява да Crawl-не поради ограниченията от robots.txt ?
Основният въпрос е Как да ги премахна тези ограничения от robots.txt и как да направя така, че да може google да ги Crawl-не ?
Блога е за снимки ако е от значение и btw всичките ограничени постове от robots.txt започват .../label/...
май засяга основно таговете.
Прочетох какво е Crawl Errors, но пак не ми се изясни много много ( google се опитва да crawl-не линковете в блога ми, но не успява и намира следните грешки.. ) Как мога да направя така, че да намира тези, които не успял и също какво означава това ограничени от robots.txt (вижда ми се голяма цифра ), не съм много навътре с това нещо.
(Google was unable to crawl the URL due to a robots.txt restriction. This can happen for a number of reasons. For instance, your robots.txt file might prohibit the Googlebot entirely; it might prohibit access to the directory in which this URL is located; or it might prohibit access to the URL specifically. Often, this is not an error. You may have specifically set up a robots.txt file to prevent us from crawling this URL. If that is the case, there's no need to fix this; we will continue to respect robots.txt for this file.
If a URL redirects to a URL that is blocked by a robots.txt file, the first URL will be reported as being blocked by robots.txt (even if the URL is listed as Allowed in the robots.txt analysis tool).
Не му позволява да Crawl-не поради ограниченията от robots.txt ?
Основният въпрос е Как да ги премахна тези ограничения от robots.txt и как да направя така, че да може google да ги Crawl-не ?
Блога е за снимки ако е от значение и btw всичките ограничени постове от robots.txt започват .../label/...
май засяга основно таговете.