Борьба со слабой индексацией страниц сайта поисковыми системами

Вероятно, многим даже неизвестно, что не только люди могут быть ленивыми, но и сайты. Есть довольно много интернет-порталов, которые позволили своим владельцам заработать немалые деньги. На самом деле ленивость сайтов сопровождается в первую очередь ленивостью или просто незнанием своего владельца того, что необходимо позаботиться о грамотной индексации страниц своего сайта.

Давайте более подробно попытаемся разобраться, что представляет собой процесс индексации. Ведь если это может принести Вам, как владельцу сайта, прибыль, то думаю, подобная информация станет для Вас интересной. Итак, начнем с того, что сайтам, как и спортсменам приходится постоянно соревноваться между собой. Любой сайт желает быть на вершине в выдаче системы поиска.

Соответственно, чем выше позицию занимает сайт, тем популярнее он среди пользователей, то есть сайт имеет высокую посещаемость.

Под индексацией страницы принято понимать оценку данной страницы системой поиска в соответствии с вводимым пользователем запросом. Получается что, чем больше содержимое страниц ресурса соответствует запросу пользователя, тем выше сайт будет занимать позицию в выдаче систем поиска.

Индексация в системе производится при помощи робота поисковой системы Crawler.

Среди специалистов нередко встречается другое название данного сервиса – «странствующий паук». Работа робота настроена таким образом, что он распознает содержимое страницы любого ресурса в виде тегов html. Робот, если так можно выразится, «оплетает» своей паутинкой все содержимое ресурса, обрабатывает его до того момента, пока содержимое не станет понятным системе поиска.

Полученные аналитические сведение после обработки перемещаются в базу данных, откуда они извлекаются пользователем в тот момент, когда он вводит поисковый запрос.

Те фразы, которые являются наиболее часто запрашиваемыми, называют ключевыми словами.

На сегодня имеется много способов, предназначенных для ускорения индексации страниц. Но в современном интернете нет ничего лучше для этой цели, чем социальные сети. Размещая новый пост на своей личной странице в одной из популярных сетей, можно довольно быстро достичь хороших результатов.

Можно добиться того, что недавно опубликованный материал просто взлетит в выдаче. Главное, чтобы поданный пользователю материал активно обсуждался, и люди оставляли свои комментарии по нему.

Каким же образом можно проверить индексацию страниц? Это можно совершить и самостоятельно, воспользовавшись:

— проверкой при помощи предназначенных для этого онлайн сервисов. Их существует более десятка. Наиболее популярными выступают raskruty.ru и seogadget.ru. Интерфейсы пользователя у этих двух сервисов являются практически одинаковыми.

Давайте рассмотрим функционал сервиса seogadget.ru.

После того, как Вы окажетесь на странице сервиса, нужно ввести адрес интересуемой Вас страницы в поле, и после этого нажать на кнопку «Проверить». Анализ протекает в зависимости от загруженности сервиса.

В результате программка выдаст таблицу с результатами индексации конкретной страницы с Google и Яндекс.

— Проверка посредствам расширения RDS bar. Это расширение бесплатно предоставляется браузером. Оно специально было разработано для проведения SEO-анализа. Расширение работает в браузерах Google Chrome, Opera и Mozilla Firefox.

Если Вы пользуетесь браузером Google Chrome, то нужное Вам расширение можно бесплатно скачать в интернет-магазине Chrome. Сразу же после установки приложение готово к работе. В правом верхнем углу браузера Вы должны увидеть значок приложения. При нажатии на иконку, выплывает окно приложения, где Вы будете иметь возможность узнать индексацию страниц в трех разных системах поиска: Яндекс, Bing и Google.

Следует также сказать, что расширение дает возможность узнать еще несколько параметров, важных для популярности ресурса. Тут Вы увидите количество ссылок, которые ведут на сайт с других ресурсов.

Отметим, что при слишком большом количестве проверок, которые проводятся с одного IP-адреса, система поиска блокирует доступ к аналитическим сведениям, после чего потребуется вводить капчу.

Разумеется, что каждая система поиска имеет ряд своих особенностей в работе. В системе Яндекс за сбор и анализ сведений отвечают роботы поиска.

Имеется 4 типа поисковых роботов в системе Яндекс:

— робот, который отвечает за индексацию контента;

— робот, который индексирует картинки;

— робот, который отвечает за индексацию зеркал ресурса;

— робот, который отвечает за проверку доступности сайта.

Стоит также рассказать о том, каким образом можно некоторую информацию на своем ресурсе спрятать от индексации. Такие действия бывают необходимыми при разработке новой страницы ресурса, или просто её тестировании.

Также следует скрывать административную часть сайта и регистрационные данные пользователей.

Роботы, отвечающие за индексацию сайтов, перед проверкой всегда делают запрос у владельца сайта, что им нельзя проверять. Ограничения по индексации прописываются в текстовом файле robots.txt. Этот файл размещается в корневой директории ресурса.

Как прописывать ограничения?

Чтобы запретить индексацию нескольких папок, нужно написать слово «Disallow», а далее указать путь к папке. Имя каждой новой папки прописывается с новой строчки. Команда Disallow не может запретить индексацию определенного файла, в то же время можно запрет наложить на определенную директорию.

Для этого из папки извлекаются все страницы, которые должны попадать под индексацию, а оставить ту, которая не должна войти в индексацию.

Если Вы желаете предоставить индексации только главную страницу ресурса, то необходимо прописать Disallow: /*.html. В таком случае роботам запрещается индексировать все страницы типа html, которые размещены в подкаталогах корневой папки.

Не стоит забывать, что индексация важна лишь только для систем поиска, и не нужно слишком увлекаться её показателями, поскольку сам ресурс должен быть направлен на пользователя.