Как раскрутить сайт - индексация сайта

Когда пользователь набирает в поисковике какой-либо запрос и нажимает "найти", поисковик извлекает данные из своего индекса - особым образом организованной базы, где содержится информация о всех посещённых поисковым роботом сайтах и страницах, которую алгоритм поисковика посчитал нужным занести в этот самый индекс, или проиндексировать. Соответственно, первая задача для вас, после того, как вы сделали новый сайт - это обеспечить попадание этого сайта в индекс поисковиков.

Известных поисковых систем, которыми пользуются большое количество пользователей, не так много. Наверно, вы знаете, что мировой лидер среди поисковых систем это Гугл (Google), однако в рунете самым крупным и популярным поисковиком уже много лет остаётся Яндекс. Яндекс даёт более 50% поискового трафика рунета, на Гугл приходится немногим более 30%, и около 8% у поисковика mail.ru. Остальные поисковые системы имеют доли процента, поэтому на них можно не обращать внимания. Некогда лидировавший в рунете, но в последние годы неуклонно терявший свою долю Рамблер не так давно отказался от развития собственных поисковых технологий и заключил сотрудничество с Яндексом. А вот компания mail.ru, которая успела посотрудничать и с Гуглом, и с Яндексом, чьи поисковые технологии использовались ею ранее, в настоящее время, напротив, перешла на собственные поисковые технологии, хотя качество поиска, которое они обеспечивают, всё ещё отстаёт и от Яндекса, и от Гугла.

Таким образом, основных поисковиков, на которые стоит ориентироваться при продвижении сайта в рунете, фактически всего два - это Яндекс и Гугл.

Как сделать, чтобы поисковики проиндексировали ваш только что выложенный на хостинге сайт? Для этого есть несколько способов. Во-первых, поисковые роботы постоянно обходят рунет, посещая сайты из числа уже занесённых в базу и переходят по встречающимся ссылкам. Таким образом, достаточно разместить несколько ссылок на уже проиндексированных сайтах (включая общедоступные форумы, блоги, социальные закладки и т. п.), чтобы через некоторое время роботы поисковиков нашли ваш сайт и проиндексировали его. Другой вариант - добавить сайт через специальную форму, которая есть у каждого поисковика (на seo-форумах часто её называют аддурилка, от англ. add url). Вот адреса этих форм для главных поисковиков:

для Яндекса - http://webmaster.yandex.ru/,
для Гугла - http://www.google.ru/intl/ru/addurl.html.

Ещё один вариант - добавить сайт в панель вебмастера Яндекса - http://webmaster.yandex.ru/ и Гугла - http://www.google.ru/webmasters/

Панель вебмастера, которая есть у Яндекса и Гугла - удобная штука, она позволяет отслеживать множество параметров сайта, включая число проиндексированных страниц, число внешних ссылок на сайт, узнать, по каким запросам пользователи переходили на ваш сайт из результатов поиска и т. п.

От момента, когда вы предприняли некоторые меры для индексации сайта, до того, когда он будет проиндексирован, пройдёт некоторое время. Это время может быть разным и зависеть от некоторых, зачастую не вполне понятных причин. Иногда сайт может попасть в индекс через несколько часов или даже минут, иногда дожидаться приходится 2-3 недели и даже дольше. Типичные рекомендации, которые обычно даются для ускорения индексации - проставить на сайт побольше ссылок, особенно с авторитетных, часто обновляемых сайтов.

У Гугла результаты поиска обновляются в постоянном режиме. У Яндекса основная часть изменений происходит во время т. н. апов - обновлений выдачи, которые случаются с интервалом в несколько дней (в среднем - 3-4 дня). Сайт может попасть в индекс сразу, если на нём немного страниц. Если страниц много, то сайт попадает в индекс не сразу, а частями.

Возможные проблемы с индексацией

Иногда бывает, что сайт не попадает в индекс, либо попадает, но затем вновь вылетает из индекса. Из-за чего это может произойти? Список причин на самом деле довольно обширен. В первую очередь, если наблюдаются проблемы с индексацией, следует проверить, не нарушаете ли вы рекомендации поисковиков и не используете ли чёрные методы оптимизации, о которых шла речь в одной из предыдущих статей. Одной из наиболее распространённых причин, по которым сайт не попадает в индекс или выпадает из него, является неуникальный контент. Точнее, много неуникального контента, так что он занимает основную массу страниц сайта. Среди других причин могут быть - частые и длительные перебои с хостингом, неумеренная продажа ссылок со своего сайта, массированные прогоны сайта по давно забаненным каталогам и спам в больших объёмах при помощи специальных программ типа хрумера.

Обычно для того, чтобы сайт начал индексироваться, нужно просто устранить причину нарушения. Иногда, однако, сайт не просто выпадает из индекса, а попадает в бан - на его индексацию накладывается запрет. В таких случаях может помочь лишь обращение в службу поддержки поисковика (в Яндекс и Гугл можно написать из той же панели вебмастера). Если вы устранили все нарушения, через некоторое время ваш сайт вернут в индекс.

Управление индексацией и robots.txt

Обычно поисковые роботы индексируют все страницы, которые найдут на сайте. Однако вы можете, если захотите, запретить им индексацию некоторых страниц или даже всего сайта целиком. Для того, чтобы сделать это, нужно создать текстовый файл с названием robots.txt и разместить его в корневом каталоге сайта. Обычно с помощью robots.txt запрещают индексацию разных служебных страниц и страниц, содержание которых дублирует содержание других страниц (например, если на сайте есть по 2 страницы для каждой новости - одна простая, а одна - с версией для печати). Для того, чтобы запретить индексацию страницы или части страниц, используется директива disallow. В начале списка директив обязательно указывается, для каких роботов данные директивы предназначены, если они предназначены для всех роботов, вместо имени робота ставится *. Например:

User-agent: *
Disallow: /forum/memberlist.php

Файл robots.txt с таким содержанием запрещает всем роботам индексировать страницу /forum/memberlist.php на вашем сайте.

Кроме этого, в файле robots.txt можно использовать и другие директивы (подробнее о них см. здесь).

Далее - мониторинг продвижения сайта

Вам всё ещё непонятно, как раскрутить сайт самостоятельно и как сайт индексируют поисковики? Задайте вопрос на форуме.