Как добиться быстрой индексации сайта?

Порой случаются ситуации, когда вследствие тех или иных причин, сайт слишком долго или плохо индексируется.

Тому может быть много причин, основными из них являются:

Сайт создан недавно.
Серверные проблемы.
Блокируются некоторые «User-agent».
Неправильно настроено зеркало.
Сайт находится под санкциями поисковиков.
Файл «robots.txt» настроен некорректно.
Мета-теги«robots» настроены некорректно.
Мета-теги«canonical» настроены некорректно.

Не будем детально рассматривать каждую причину. Разберем эффективные механизмы, которые способствуют быстрой индексации сайта или его переиндексации.

«Sitemap.xml»

В файле «sitemap.xml» содержатся ссылки на самые важные страницы ресурса. Есть подробные инструкции, в которых рассказывается, как правильно составить этот файл.

Файл содержит ссылки на каждую страницу ресурса, учитывая приоритеты, частоту обновления документов и т. д.

В случае частичной индексации сайта, можно указать ссылки лишь на страницы, еще не проиндексированные поисковой системой.

Проверка индексации страниц сайт

Для того чтобы узнать попала ли страница в индексную базу поисковика «Яндекс», можно воспользоваться оператором «url». К примеру:

Для проверки индексации в поисковике «Google» используется оператор «info»:

Автоматизация процесса

Чтобы не проверять вручную наличие каждой страницы в индексе (особенно, когда их тысячи), можно воспользоваться программой «KeyCollector», которую любят многие SEO-специалисты.

Схема работы следующая:

Собираем перечень всех страниц ресурса с помощью любого парсера (к примеру, есть бесплатный «NetpeakSpider» или платный «Comparser», можно применить и любой другой метод).
Перед каждым URL-адресом страницы необходимо добавить оператор «url».

К примеру:

Это можно сделать, к примеру, посредством функции автозамена (Ctrl+H) в блокноте, так:

Затем список страниц с добавленным оператором «url» следует добавить в программу «KeyCollector».

Нужно не забыть настроить «XML», чтобы парсинг результатов был более быстрым.

Теперь запустим парсинг позиций.

Для проиндексированных документов позиция будет 1.

Дожидаемся окончания парсинга.

Получаем результаты.

Проверяя индексацию в поисковике «Google», вместо оператора «url» необходимо пользоваться аналогичным «info».

Добавление страниц

Другой метод проиндексировать страницу: добавить ее через сервисы поисковиков «Add URL», к примеру:

https://www.google.com/webmasters/tools/submit-url
https://webmaster.yandex.ru/addurl.xml

Панель вебмастеров также предоставляет возможность добавления сайта:

http://webmaster.yandex.ru/
https://www.google.com/webmasters/tools/
http://webmaster.mail.ru/

Здесь же можно просмотреть и много другой полезной информации, касающейся вашего сайта.

Внешние ссылки

Еще один способ быстрой индексации сайта в «Яндексе» и «Google», или его переиндексации, заключается в получении обычных ссылок со сторонних ресурсов.

Ссылки могут быть различными, чаще всего оптимизаторы проставляют их исключительно для расширения анкор-листа страниц. В наших целях (ускорение индексации страниц) хороший эффект дадут ссылки с соцсетей, новостных сайтов (там работают быстророботы) и форумов (можно и любые другие ссылки, по которым будут переходить пользователи). Переходы пользователей очень важны, ведь всем известно, что сегодня многие браузеры «сообщают» поисковым системам о появлении новых страниц.

Чтобы быстро проставить ссылки, можно воспользоваться любой ссылочной биржей, такой как «SAPE».

Дополнительные плагины и модули

Иногда от традиционных способов ускорения индексации страниц нет должного эффекта, или результат приходится долго ждать. В такой ситуации можно воспользоваться нестандартными методами, к примеру, модулем под названием «Перелинкатор».

Изначально это была обычная сквозная ссылка, размещенная в подвале ресурса. Затем, когда произошло значительное снижение влияния сквозных ссылок, с разных страниц начали проставлять две-три ссылки на иные документы сайта. После этого проводилась уникализацияанкоров ссылок. Был проведен подсчет распределения весов, согласно алгоритму «PageRank», в результате чего выработан следующий механизм.

С каждой страницы определенного блока (может быть в различных местах ресурса), находящейся в индексе, проставляется пара-тройка ссылок (зависимо от конкретных условий) на документы, которые еще не попали в индекс. Таким образом, они индексируются значительно быстрее, а также расширяются анкор-листы документов.

Результаты применения данного модуля представлены ниже (на примере одного крупного интернет-магазина):

В другом проекте модуль показал следующие результаты:

Есть возможность автоматической проверки индексации страниц при помощи XML лимитов «Яндекса».

Также «Перелинкатор» можно использовать и в других целях:

чтобы распределить веса внутри ресурса;
Чтобы расширить анкор-лист документов.

Выводы

Способы ускорения индексации сайтов, рассмотренные выше, отсортированы по эффективности на основе практической пользы. Самым эффективным способом, как считают многие специалисты, является именно использование модуля «Перелинкатор»,но вы можете пользоваться всеми методами одновременно.