-настройте сервер на выдачу корректных заголовков ответов (например, если страница не существует, выдавать ошибку 404, а если поступил запрос If-Modified-Since, то выдавать код 304, если страница с указанной в запросе даты не изменялась).

Что такое файл Sitemap?

Файл Sitemap — это файл, расположенный на сайте, с дополнительной информацией о страницах сайта, подлежащих индексированию. С помощью файла Sitemap вы можете сообщить Яндексу, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на страницах, а также индексирование каких страниц наиболее важно.

Файлы Sitemap учитываются при обходе сайта, однако мы не гарантируем, что все URL из вашего файла Sitemap будут добавлены в поисковый индекс Яндекса.
наверх
Нужно ли мне создавать файл Sitemap?

Обычно робот Яндекса узнаёт о страницах сайта, переходя по ссылкам со страницы на страницу. В большинстве случаев этого достаточно для полного индексирования сайтов. Однако, если ваш сайт содержит много динамически создаваемых страниц или страницы, для попадания на которые требуется много переходов по ссылкам, робот Яндекса может не найти некоторые из страниц сайта или неверно определить их важность. Файл Sitemap помогает решить эти проблемы.
наверх
Как создать файл sitemap?

Вам необходимо создать файл sitemap с учетом форматов, которые описаны ниже и разместить его в корневом каталоге на HTML-сервере сайта по адресу http://_адрес_сайта_/sitemap.xml. В интернете представлено большое количество ресурсов, позволяющих создать файл sitemap автоматически, вы можете воспользоваться ими.

Ответы на многие вопросы по созданию файла sitemap вы можете найти на официальном сайте.
наверх
Какие форматы файлов Sitemap поддерживает Яндекс?

Яндекс поддерживает два формата файлов Sitemap:
XML;
текстовый файл.
Описание форматов дано на сайте http://sitemaps.org/. Текстовый формат описан в пункте «Текстовый файл» раздела «Другие форматы файла Sitemap».


Формат XML является предпочтительным, т.к. позволяет предоставлять дополнительную информацию о страницах сайта. Для каждого URL можно указать:
дату последнего обновления страницы (lastmod);
частоту изменения страницы (changefreq);
относительную значимость страницы (priority).

Файлы Sitemap учитываются при обходе сайта, однако мы не гарантируем, что все URL из вашего файла Sitemap будут добавлены в поисковый индекс Яндекса.
наверх
Как сообщить Яндексу о файле Sitemap?

Вы можете сообщить Яндексу о наличии файла Sitemap для своего сайта двумя способами:
добавив URL файла Sitemap в разделе «Файлы Sitemap» сервиса Яндекс.Вебмастер;
добавив директиву Sitemap в файле robots.txt вашего сайта.


Яндекс поддерживает перекрестную отправку файлов Sitemap.
наверх
Как удалить файл Sitemap?

Чтобы Яндекс перестал учитывать файл Sitemap при индексировании вашего сайта, необходимо зайти в раздел «Файлы Sitemap» сервиса Яндекс.Вебмастер для соответствующего сайта и удалить URL файла Sitemap из списка.

Внимание! Для полного удаления вам, возможно, потребуется удалить директиву Sitemap в файле robots.txt вашего сайта.