Здравствуйте. Прежде всего, хочу извиниться за столь долгую задержку между записями, к сожалению не было свободного времени.
А теперь перейдем к теме. Недавно я решил проверить, как обстоят дела с robots.txt на сайтах, использующих JohnCMS. Я воспользовался каталогом сайтов на wapstart: там есть категория, созданная специально для сайтов, построенных на JohnCMS. Пройдясь по первым двум десяткам ссылок результаты получились таковы: у более чем 60% ресурсов robots.txt не был обнаружен, у остальных 40% он содержал одну и более директив. Думаю, если провести более масштабные исследования, результаты существенно не изменятся.
Robots.txt это файл, к которому обращаются поисковые роботы при посещении Вашего сайта, дабы посмотреть, что не стоит включать в поисковую выдачу, а так же получить другие указания. Это файл является одним из важнейших при поисковой оптимизации сайта. Пока я решил составить robots.txt для системы управления контентом JohnCMS, который можно использовать в качестве шаблона. Возможно, в будущем я составлю подобные файлы с правилами и для других мобильных CMS.
User-agent: * Disallow: /in.php Disallow: /registration.php Disallow: /str/smile.php Disallow: /chat/ Disallow: /str/brd.php Disallow: /forum/index.php?act=new Disallow: /gallery/index.php?act=new Disallow: /read.php?do=forumfaq Disallow: /read.php?do=actmail User-agent: Yandex Disallow: /in.php Disallow: /registration.php Disallow: /str/smile.php Disallow: /chat/ Disallow: /str/brd.php Disallow: /forum/index.php?act=new Disallow: /gallery/index.php?act=new Disallow: /read.php?do=forumfaq Disallow: /read.php?do=actmail Host: yoursite.ru
Создайте файл robots.txt, вставьте туда эти строчки и загрузите в корневую директорию вашего сайта. И не забудьте изменить yoursite.ru на адрес вашего сайта!
Эти записи в robots.txt помогут исключить из индекса так называемый «поисковой мусор», то есть те страницы, которые не являются интересными для пользователей, ищущих что-либо. Сюда можно и даже нужно добавить свои страницы, которые не должны быть включены в поисковую выдачу, воспользовавшись директивой «Disallow:».
