Важность Host в robots.txt

У некоторых поисковиков, в частности у Яндекса, существуют проблемы с определением главного зеркала сайта. Есть возможность, что в список зеркал попадет главный сайт, а то и получит бан. Для того, чтоб обезопасить себя от этого, нужно сразу же после регистрации домена грамотно составить файл robot.txt, в частности параметр Host. Поисковые системы пишут рекомендации по составлению этого файла, но важно знать несколько моментов, которые уберегут Ваш сайт от случайного выпадения из поиска.

Этот частый случай возникает, в основном, из-за использования (или не использования) префикса www в названии сайта. Если Вы продвигаете сайт без www, а поисковые системы видят главным сайт с www, прописывание в директиве Host нужного адреса решит проблему, пользователи будут заходить на сайт без www. Но вот количество посещений по реферальным ссылкам упадет вдвое, т.к. разные доменные имена поделят внешние ссылки пополам.

Чтоб избежать этого неприятного момента, Host необходимо прописывать сразу же после регистрации доменного имени и Вы не столкнетесь с подобной проблемой.

В данном случае было невозможным применение 301 редиректа.

Если это возможно (т.е. сайт поднят с помощью Apache), лучше использовать именно 301 перенаправление. 301 Permament Redirect

не делит ссылки и даже оставляет PageRankи ТИЦ прежними. Таким образом, с 301 перенаправлением слияние сайтов происходит без потерь.

Что нужно знать о директиве Host

Директива Host может быть только одна. Если их несколько, учитываться будет только самая верхняя.
Директива Host должна следовать за директивами «Disallow»(«Allow») группы user-Agent для обеспечения лучшей работы с роботами, которые не всегда следуют стандартному алгоритму индексации. Тем не менее, Host является межсекционной директивой и будет учитываться вне зависимости от расположения в тексте файла.
В записи может содержаться только одно правильное имя хоста и порта, если нужно. Некорректно написанные адреса веб-сайтов будут игнорироваться.

Примеры неправильного использования директивы Host:

Host: www.site-.ru

Host: www.-site.ru

Host: www.site.ru:100000

Host: .site.ru:8000

Host: site.ru.

Host: www.site.ru/

Host: www.site.ru:8080/

Host: http://www.site.ru

Host: 213.180.194.129

Host: www.firstsite.ru,www.secondsite.ru

Список статей