Файл Sitemap– файл, имеющий расширение xml или txt, в котором содержится дополнительная информация о страницах, которые необходимо индексировать. В нем так же указывается частота обновления информации, указывая роботам наиболее важные страницы.
В ближайшее время после рождения сайта, необходимости в файле Sitemap нет. Но сайты имеют свойство разрастаться до бесконечности, количество кликов от главной страницы растет до нескольких десятков и поисковые роботы даже не стараются добраться до столь хорошо спрятанных страниц. Вот так с помощью Sitemap и указываются страницы, необходимые для индексирования. Кроме того, в файле можно указать метаданные о содержании сайта, включая географический контент (KML), видео, исходный код ПО, изображения и другое.
Создание файла Sitemap значительно влияет на скорость индексирования поисковиками.
Как создать файл Sitemap
Файл Sitemap размещается в корневом каталоге сайта с именем sitemap.xml. В интернете есть множество ресурсов, которые помогают создать Sitemap в автоматическом режиме. Официальный мультиязычный сайт содержит довольно подробный FAQ, а так же помогает создать и проверить файл Sitemap.
Путь к файлу, для более быстрого доступа к нему роботам, можно прописать в robots.txt:
Sitemap: http://www.example.com/sitemap.xml
Эта строка не требует определенного местоположения в теле файла robots.txt. Индексируя этот файл, роботы заметят и карту сайта. Так же можно зарегистрировать Sitemap в поисковых системах, которые делают целую панель управления для вебмастеров.
Sitemap можно создать и самому, вручную, а потом проверить правильность в онлайн-сервисах.
Элементарный пример содержания файла Sitemap:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.имя_сайта.ru/</loc>
</url>
<url>
<loc>http://www.имя_сайта.ru/название_страницы</loc>
</url>
</urlset>
Если в теле ссылки содержатся кириллические символы, они должны быть декодированы. Слово «контакты» приобретет следующий вид: %D0%BA%D0%BE%D0%BD%D1%82%D0%B0%D0%BA%D1%82%D1%8B. Кроме того, такие символы как одинарные и двойные кавычки, амперсанд и прочие должны быть записаны специальными символами, принятыми в кодировке UTF-8.
Как удалить файл Sitemap
Если нужно удалить данный файл, то нужно удалить все строки в robots.txt, а так же удалить пути к файлу в сервисах для веб-мастеров в поисковых системах, если Вы его там регистрировали.
Не знаете, в порядке ли у вас файл sitemap? Мы проверим и укажем на ошибки, обращайтесь!
Важность Host в robots.txt