Проблемы при продвижении: сайт не участвует в поиске

Бывает, что за услугой продвижения и раскрутки сайтов к нам обращаются люди, чьи сайты вообще не проиндексированы Яндексом и другими поисковыми системами — нет ни одной страницы в поиске ни по какому запросу.

Причин может быть несколько, в том числе — намеренный запрет индексации вашего сайта людьми, имеющими к нему доступ. Когда на сайт наложен такой запрет, он начинает резко терять свои позиции в поисковых системам вплоть до полного выпадения из индекса. Другие причины отсутствия сайта в индексе — это бан сайта поисковой системой или просто факт того, что сайт недавно появился в интернете.

  1. Новый сайт

    Если сайт только выложен в сеть, то он, конечно, едва ли будет находиться в индексе поисковой системы. У каждой поисковой системы есть своя служебная страница, где вы можете «сообщить» поисковику о новом сайте, просто введя адрес сайта в соответствующее поле — это совершенно бесплатно. После этой операции ваш сайт становится в очередь на индексирование. Продвигая сайты по регионам России, мы добавляем новые сайты в следующие поисковые системы: Яндекс, Google, поиск Mail.ru и Rambler.

    Когда поисковый робот дойдет до вашего сайта, то страницы появятся в индексе — Яндекс, в частности, указывает сроки порядка двух недель. В Яндексе можно также сообщить о новом сайте через сервис для вебмастеров и наблюдать за состоянием сайта и количеством страниц в поиске и другими техническими параметрами — для этого нужен аккаунт на Яндексе и доступ к сайту (к ftp и к системе управления, если она есть). Сроки индексирования в обоих случаях одинаковые:

    вебмастер Яндекса - сроки индексации

    В этом смысле очень удачны системы управления сайтом с функцией уведомления поисковых систем об изменениях на сайте. Например, плагин Google XML-sitemaps для сайтов на WordPress автоматически уведомляет поисковую систему Google после изменения структуры сайта (переименования страниц, добавления новых или удаления) и автоматического занесения этих изменений в карту сайта.

    Однако сайт может появиться в поиске и без вашего непосредственного участия вне зависимости от структуры сайта или системы управления. Для этого достаточно, чтобы кто-нибудь поставил на него ссылку на странице, уже участвующей в поиске данной поисковой системы.

  2. Забаненный сайт

    Довольно редкий случай, но исключать его нельзя. Как правило, сайт забанен не навсегда — на него могут быть наложены определенные фильтры, понижающие его позиции в поисковых системах и затрудняющие продвижение этого сайта в них. Это, в частности, может быть и так называемый «поисковый спам», скрытый текст и скрытые ссылки на сайте и так далее. Нередко фильтры накладываются из-за некомпетентности «специалистов» по продвижению сайтов в поисковых системах.

    Фильтры у поисковых систем разные и их довольно много, поэтому каждый проблемный случай требует особого внимания. Иногда из индекса выпадает лишь часть страниц сайта — в этом случае нужно проанализировать их содержимое.

    Наконец, всегда можно обратиться в поддержку поисковой системы за помощью — возможно, дело вовсе не в вашем сайте.

  3. Запрет на индексацию: robots.txt

    Бывает и так, что на сайт или на часть страниц наложен запрет на индексацию специально. Это может быть недобросовестный поступок либо халатность, возникающая при перенесении сайта с тестового домена на конечный.

    Очень легко определить, запрещено ли поисковым роботам обходить ваш сайт. Есть два способа: первый — посмотреть файл robots.txt, если же это ничего не даст — посмотреть исходный код страниц на наличие определенного мета-тега.

    Файл robots.txt всегда располагается в корневом каталоге сайта и предназначен для поисковых роботов — Яндекса, Google и всех других, потому что это единый стандарт. Этот файл не может располагаться в другом месте или по-другому называться — он либо есть, либо его нет. Если он есть, то он всегда находится в открытом доступе.

    Robots.txt не является обязательным файлом: все поисковые системы работают по простому принципу — сейчас вам не нужно давать поисковым роботам никаких специальных указаний для нормальной индексации вашего сайта. А вот манипуляции с файлом robots.txt, как правило, заставляют задуматься.

    Чтобы посмотреть содержимое файла robots.txt, зайдите на главную страницу вашего сайта и доберите в адресной строке robots.txt:

    robots.txt

    Если файл открывается и содержит какие-либо записи — нужно внимательно проанализировать их. Неспециалисту бывает трудно разобраться с этим, поэтому мы рекомендуем вам обратиться к нам в веб-студию «Аспект-Воронеж» за услугой продвижения сайтов в поисковых системах. Подробнее о файле robots.txt и мета-тегах →

Новый сайт