Проверено

VDS-хостинг - именно на этом хостинге работает наш сайт.
Sape - биржа временных ссылок, доход 80р/день.
Trustlink - биржа временных ссылок, доход 60р/день.
Telderi - здесь покупаю сайты для дальнейшего заработка.

Партнеры

Правильный robots.txt для Dle

Правильный robots.txt для Dle



Файл robots.txt очень важен сайту, так как поисковики заходящие на ваш сайт первым делом читают именно его. В этой небольшой статье я расскажу о нем и его настройке. Несмотря на то, что в заголовке я упомянул Dle, это не значит, что настройки, которые я покажу не подойдут, например, на jooml`у. Сам файл robots.txt должен находится в корневой папке вашего сайта, и путь до него должен быть site.ru/robots.txt
И так, вот вам пример правильного robots.txt для dle:

User-agent: *
Disallow: /*print
Disallow: /2011/
Disallow: /2012/
Disallow: /tags/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*?*
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


Теперь разберемся по-подробнее.
User-agent - указывает какому поисковому роботу учитывать настройки robots`а, прописывая "*" мы указываем, что учитывать настройки будут все роботы.

Disallow - здесь нужно указать какие страницы не учитывать поисковикам, это может быть обратная связь, чат и многое другое. Здесь также следует указать дублирующие страницы. Прописывая "*" мы говорим роботу, что индексировать сайт вообще не нужно. Там где мы прописали "*?*" этим мы указываем, что не нужно индексировать страницы, где в адресе есть вопросительный знак.

Allow - противоположное Disallow

Sitemap - в этом пункте следует прописать путь до вашей карты сайта, обычно это http://site.ru/sitemap.xml, где site.ru это ссылка на ваш сайт

Host - путь до вашего сайта без http и слешей

Поставив robots.txt который я написал выше, вы максимально избавитесь от дублей страниц и поисковики будут к вам лучше относиться ;)

Автор: злой админ с сайта arteom.net )

Другие новости по теме: