Правильный robots.txt для Dle

Файл robots.txt очень важен сайту, так как поисковики заходящие на ваш сайт первым делом читают именно его. В этой небольшой статье я расскажу о нем и его настройке. Несмотря на то, что в заголовке я упомянул Dle, это не значит, что настройки, которые я покажу не подойдут, например, на jooml`у. Сам файл robots.txt должен находится в корневой папке вашего сайта, и путь до него должен быть site.ru/robots.txt
И так, вот вам пример правильного robots.txt для dle:

Теперь разберемся по-подробнее.
User-agent - указывает какому поисковому роботу учитывать настройки robots`а, прописывая "*" мы указываем, что учитывать настройки будут все роботы.

Disallow - здесь нужно указать какие страницы не учитывать поисковикам, это может быть обратная связь, чат и многое другое. Здесь также следует указать дублирующие страницы. Прописывая "*" мы говорим роботу, что индексировать сайт вообще не нужно. Там где мы прописали "*?*" этим мы указываем, что не нужно индексировать страницы, где в адресе есть вопросительный знак.

Allow - противоположное Disallow

Sitemap - в этом пункте следует прописать путь до вашей карты сайта, обычно это http://site.ru/sitemap.xml, где site.ru это ссылка на ваш сайт

Host - путь до вашего сайта без http и слешей

Поставив robots.txt который я написал выше, вы максимально избавитесь от дублей страниц и поисковики будут к вам лучше относиться ;)

Автор: злой админ с сайта arteom.net )