Фильтр «Яндекса» за мобильный редирект

Еще с апреля прошлого года компания «Яндекс» активно борется с интернет-ресурсами, практикующими обман своих пользователей. Процесс пессимизации сайтов начался 30 апреля, и, спустя некоторое время, огромное количество владельцев, попавших в немилость сайтов, направили гневные требования прекратить снижение трафика на их сайтах. Однако, они не получили каких-либо разъяснений по этому поводу, а Платон дал максимально лаконичный и малопонятный для пострадавших предпринимателей ответ: «Сайтыпессимизируются за обман пользователей мобильного интернета».

Вебмастеры, услышавшие такое определение, впали в еще большее недоумение, ведь проводимые ими проверки сайтов давали один и тот же результат – «с ресурсом все в порядке». Позже стало ясно, что сайт попадает под фильтр при обнаружении слива трафика через мобильный интернет.

Ниже приведена статистика сайта, в отношении которого началась пессимизация. Потери трафика составляют почти 80%:

Падение трафика отмечается на всех страницах ресурса:

Главными пострадавшими от такой практики являются сайты информационного и развлекательного характера, владельцы которых размещают на страницах своих ресурсов взломанные модули или плагины, а также скрипты партнерских ссылок, являющиеся вредоносными.

Но, основной и наиболее распространенной причиной фильтрации ресурсов является мобильный редирект, представляющий собой перенаправление посетителей на сторонний сайт, либо же запрос на загрузку вредоносных данных. Эти действия осуществляются в автоматическом режиме. Редирект бывает пользовательским и серверным.

Определение наложения на сайт фильтра «Яндекса»за мобильный редирект

При обнаружении катастрофического падения трафика, первым делом следует направить в техническую поддержку «Яндекса» письмо с уточнением причин пессимизации конкретного интернет-ресурса. Как правило, нельзя сразу найти фильтр без проведения детальной проверки, а такие падения трафика можно спутать с другими фильтрами, коих немало.

В случае фильтрации сайта за рассматриваемый здесь «обман пользователей мобильного интернета», владелец сайта будет уведомлен о ограниченном ранжировании его сайта, который был признан алгоритмами «Яндекса» несоответствующим некоторым документам, на которые будут даны ссылки в письме. Также текст письма будет содержать уведомление об изменении алгоритмов «Яндекса», после чего начнется фильтрация сайтов за обман своих пользователей, использующих для посещения ресурсов мобильный интернет, так как зачастую они не могут получить искомые сведения, ввиду непредоставления сайтом проиндексированной поисковым роботом информации. Чаще всего такие сайты осуществляют автоматическое перенаправление пользователей на сторонние страницы, содержащие запрос подписки на платные услуги.

В ответном письме будет приложена ссылка на официальный блог, в котором такие случаи описаны более подробно. В своих ответных письмах Платон призывает владельцев отфильтрованных ресурсов работать на благо пользователей, и тогда, возможно, сайт поднимется в поиске «Яндекса».

Обнаружение на сайте мобильногоредиректа

Проверка сайта на мобильныйредирект проводится с учетом того, что автоматическое перенаправление пользователей производится по определенным параметрам, которые зависят от типа применяемого редиректа. Поэтому, если на сайте наличествует мобильныйредирект, проверка не должна ограничиваться просмотром сайта через портативное устройство.

Серверный редирект

Это наиболее простой в реализации и поэтому самый распространенный вид редиректа, при котором идентификация пользователя осуществляется по user-агенту используемого устройства. Если на сайте присутствует редирект мобильного трафика, htaccess-файл может содержать вредоносный код. Иногда этот код прописывается в шаблоне CMS-системы и крайне редко в файле httpd.

Так выглядит вредоносный фрагмент в шаблоне:

Реализация серверногоредиректа

«User-AgentSwitcherforChrome» – это специализированный плагин, позволяющий подменять заголовок сервера, эмулируя тем самым различные устройства. Используя этот способ, владелец сайта может посмотреть на внешний вид своего ресурса при переходе на него с различных устройств.

Настройка этого плагина не представляет собой какой-либо сложности. Плагин содержит список user-агентов, загруженный по умолчанию, но пользователю дана возможность расширения этого перечня путем загрузки дополнительного user-листа.

После загрузки дополнительного контента, плагин предложит пользователю широкий выбор user-агентов, которые позволят в дальнейшем заходить на сайт под разными устройствами.

Плагин «User-AgentSwitcherforChrome» используется следующим образом:

необходимо очистить в браузере cookies и кэш;
далее нужно открыть выпадающий список и выбрать портативное устройство для эмуляции;
после выбора устройства пользователь заходит в поисковую систему «Яндекс», открывает страницу сайта и осуществляет просмотр.

Также стоит помнить, что для каждого устройства тип редиректа может отличаться: одни устройства поддерживают ручное перенаправление, а другие позволяют реализовать автоматический редирект. Это зависит от сложности самого принципа редиректа. В данном случае пользователь увидит подобный запрос:

Пользователям сайта предлагается на бесплатной основе загрузить какую-либо программу, однако, на деле загрузится вредоносное расширение или вирус, которые будут выкачивать деньги со счета. Используя такой метод, сайты обманывают своих пользователей. Это простейший пример, и, как правило, такой редирект быстро обнаруживается.

Решение проблемы

Если редирект прописан в шаблоне CMS или файле «htaccess», убрать мобильный редирект непросто, так как здесь возникает сложность – нужно узнать целевой сайт, на который перенаправляются пользователи. Процедура воспроизведения редиректа может потребовать значительных временных затрат, однако, если все же удалось найти целевой URL, необходимо проделать следующие действия:

Нужно загрузить сайт на локальное информационное хранилище. Обычно это можно сделать штатными средствами хостера, которые позволяют создать архив и загрузить на персональный компьютер.
Далее необходимо отыскать файл, содержащий нужный фрагмент текста. Делать это, лучше всего, через «TotalCommander», позволяющий искать файлы с заданным текстовым фрагментом.

Если программа отыщет файл по заданному параметру, то путь к нему будет подсвечен в диалоговом окне.

Найденные программой файлы нужно вручную проверить на соответствие URL, на который происходит перенаправление. Если совпадение обнаружено, следует удалить выполняющий редирект код.

Стоит отметить, что при удалении кода, необходимо соблюдать осторожность, так как есть риск нарушить остальные фрагменты кода CMS.

Пользовательский редирект

Реализация пользовательского редиректа осуществляется средствами кода «JavaScript», поэтому визуально обнаружить его не всегда удается. Процедура поиска такого редиректа также более сложна ввиду возможности маскировки перенаправляющего кода. Установка редиректа производится после взлома кода сайта. Также этот редирект может загружаться вместе с плагинами или модулями.

Ниже представлен пример такого кода:

Поиск вредоносного кода осуществляется автоматически с помощью сканера «Al-Bolit» или антивирусной программы «Manul», выпущенного компанией «Яндекс». Эти программы устанавливаются прямо в корень сайта и анализируют всю файловую систему с целью отыскать вредоносный код. После завершения проверки пользователь получит детальный отчет о результатах и обнаруженных нарушениях.

В случае обнаружения вредоносного кода, пользователь должен в ручном режиме удалить указанные фрагменты кода и обратить внимание на все замечания.

К сожалению, не всегда можно отыскать вредоносный код с помощью столь простой процедуры. Иногда вышеупомянутые программы оказываются неспособными исправить данную проблему, и владельцам приходится обращаться к квалифицированным специалистам, областью которых является именно безопасность интернет-ресурсов.

Более того, некоторые владельцы сайтов сами устанавливают вредоносные дополнения на свои сайты, чтобы приумножить свой доход. Такие редиректы очень трудно обнаружить, так как они срабатывают только при совпадении определенных условий, что и является причиной пессимизации«Яндексом» сайтов, содержащих подобные компоненты.

Послесловие

Как правило, при устранении вышеописанных проблем, фильтры убираются автоматически. Однако если это не происходит в течение трех недель, нужно искать дальше.

Чтобы сайт не попал под фильтр, нужно делать следующее:

Регулярно обновлять CMS, используя официальный сайт.
Загружать дополнения к сайту только с официальных ресурсов.
Узнавать о новых рекламодателях, как можно, больше.
Проводить регулярную проверку сайта на наличие вредоносных элементов.
Внимательно изучать партнерские соглашения.

Владелец сайта должен отмечать все изменения, проводимые на ресурсе. Если случится так, что интернет-ресурс окажется под фильтром, использование такого реестра позволит значительно сузить круг поиска причин, по которым могла начаться пессимизация сайта. Иногда содержащаяся в реестре информация позволяет быстрее разрешить возникшую проблему.