Индексация сайта (индексирование) – это процесс сканирования содержимого его страниц поисковыми роботами, после которого они могут попасть поисковый индекс (поиск).

Индексация сайта происходит в автоматическом режиме поисковыми роботами, которые считывают текст, находящийся на страницах, заносят его в базу, где с ним проводятся различные манипуляции (проверка на изменения, проверка на плагиат, оценка релевантности поисковым запросам и т.д.).

Чтобы сообщить роботу о необходимости проиндексировать Ваш сайт обычно ничего делать не требуется, поисковый робот сам найдёт его по внешним ссылкам, если такие имеются. Если же он совсем новый, то необходимо провести несложную процедуру.

Чтобы добавить для индексации в Яндекс необходимо вписать адрес Вашего сайта на странице webmaster.yandex.ru, ввести символы на картинке и нажать "добавить”. Если вместо надписи "Адрес http://site.ru/ успешно добавлен. По мере обхода робота он будет проиндексирован и станет доступным для поиска” Вы получили, что-то вроде "Ваш хостинг не отвечает”, повторите попытку. После успешного добавления Вам остаётся лишь дождаться появления в Яндексе, на которое уходит от 3 до бесконечного числа дней (тут уж как повезёт). Проверить индексацию сайта в Яндексе можно на странице webmaster.yandex.ru/check.xml. Если Ваш сайт не появляется в поиске yandex в течение месяца, то можете написать сообщение им в суппорт и спросить, в чём может быть проблема.

Для добавления в Рамблер, необходимо заполнить несколько полей на странице robot.rambler.ru/cgi-bin/addsite.cgi. Эта процедура обязательна для всех международных зон. Сайты доменных зон .ru и .su могут попасть в Rambler автоматически. Индексация в Рамблере происходит обычно дольше, чем в других поисковиках. Ходят слухи, что для ускорения индексации нужно зарегистрироваться в top100.rambler.ru, хотя я считаю это только слухом. Проверить на проиндексированность в Рамблере можно на странице rambler.ru/doc/add_site.shtml.

Добавлять сайты в Google, в принципе, нет необходимости, они индексируются даже без ссылок, причём достаточно быстро. Вообще, Google по скорости индексирования является лидером. Но, если Вы желаете, то можете пройти на страницу google.com/addurl, и добавить главную страницу. Проверка сайта на проиндексированность гуглом осуществляется на странице Google.ru, путем запроса вида allinurl:site.ru/ site:site.ru.

Для удобства проверки разных параметров рекомендую использовать бесплатный сервис be1.ru/stat. Там же Вы можете добавить Ваш сайт на индексирование в поисковики нажатием на 3 соответствующие кнопки. А ещё можете купить скрипт, позволяющий проверять множество сайтов в автоматическом режиме, причём, не только индексацию в разных поисковиках, но и беки, посещаемость. Проверка сайтов осуществляется программой ezhamon.

Ускорение индексации.

Для ускорения индексации сайта поисковиками можно разместить ссылки на него на хорошо индексируемых площадках (по возможности на главных страницах), которые можно определить, к примеру, по высоким пузомеркам. И вообще, чем больше ссылок на Ваш сайт, тем быстрее он проиндексируется, регистрируйте сайт в каталогах, социальных закладках, покупайте ссылки с сайтов. Так же для сайтов с большим количеством страниц рекомендуется создать карту сайта (sitemap) на которой содержатся ссылки на все страницы. Подробнее о карте сайта можно прочитать тут. Не забывайте и про правильную внутреннюю перелинковку.

Как запретить индексацию.

Иногда возникает необходимость запретить индексацию сайта, или каких-то отдельных разделов и страниц (или частей страниц). Запрещать стоит информацию из секретных разделов, дубли страниц. Многие форумы, блоги, гостевые книги и т.д. содержат служебные каталоги, которые так же стоит запрещать к индексации, чтобы уменьшить нагрузку на хостинг.

Для закрытия части страницы от индексации достаточно заключить её в теги <noindex> </noindex>. Правда, этот тег действует только для Яндекса.

Для запрета страниц и разделов создаётся файл robots.txt, использование которого описано на странице help.yandex.ru/webmaster/?id=996567.

Помните, что индексация сайта это лишь второй шаг (первым было создание сайта) на пути получения посетителей, далее Вам предстоит продолжать наполнение его и продвижение в поисковых системах.

PS: Скрипт комментариев для любого сайта (который внизу этой страницы) стоит всего 7$, подробности на http://yourcommentit.ru/buy/.