Этот файл находится в корне сайта и по умолчанию присутствует во всех установочных пакетах Joomla. Если он имеет вид robots.txt.dist, переименовываем его путем удаления расширения ".dist".
Вверху находится техническая информация, которую стираем, так чтобы первой строкой файла стала запись:
User-agent: *
Теперь, первым делом удаляем строчку
Disallow: /images/
что откроет, наконец, картинки для индексации в поисковиках.. Уж сколько я думал почему картинки не появляются в поиске.. а всё оказывается просто...
Проверяем чтобы не было пустых строчек.
Закрываем от индексации все страницы сайта со знаком ?:
Disallow: /*?*
Если необходимо какую-то страницу со знаком вопроса оставить для индексации, добавляем директиву Allow
Allow: /component/users/?xxx=xxx
Чтобы закрыть дубликат главной страницы you_site.ru/index.php, пишем -
Disallow: /index.php*
После того как мы удалили ID из ссылок материалов, статьи стали доступны по двум ссылкам (например: you_site.ru/statya и you_site.ru/111-statya) и чтобы удалить дубли с цифрами и при этом на сайте не предусмотрены материалы в названиях которых присутствуют цифры, то прописываем для каждой цифры отдельную директорию:
Disallow: /*1* Disallow: /*2* Disallow: /*3* Disallow: /*4* Disallow: /*5* Disallow: /*6* Disallow: /*7* Disallow: /*8* Disallow: /*9* Disallow: /*0*
(кстати, звездочка означает любую последовательность символов)Чтобы поисковый робот понимал основной адрес сайта (с www или без), необходимо сразу за последней директорией Disallow (Allow) указать хост -
Host: you_site.ru
Перед этим настроим перенаправление с адреса www.you_site.ru на адрес you_site.ru
Для этого в файле .htaccess в первой строчке вставим такой код:
RewriteCond %{HTTP_HOST} ^www.you_site.ru RewriteRule ^(.*)$ http://you_site.ru/$1 [R=301,L]
Теперь проверим, написав в адресной строке браузера www.you_site.ru должно перекинуть на you_site.ru
Если нужно чтобы было наоборот, меняем местами www.you_site.ru и you_site.ru
Если сайт новый, то совсем не принципиально какой адрес выбрать с .. или без, если сайт давно работает, нужно проверить каких страниц (с www или без) выводится в поиске больше, для этого в яндексе набираем site:www.you_site.ru и получаем количество страниц, которые находится в поисковом индексе. В гугле - site:www.you_site.ru/* тогда покажется количество чистых страниц (без дубликатов). И так же проверяем без www.
Подробнее...