В наше время многие владельцы интернет-ресурсов используют в своей работе CMS – информационные системы или компьютерные программы, обеспечивающие удобное и простое управление контентом. Довольно часто предприниматели сталкиваются с тем, что движки этих самых программ создают дубли страниц (страницы с одинаковым контентом, но с разными адресами). Поисковые роботы при обнаружении подобных недоработок снижают ранжирование сайтов. В отдельных случаях недосмотр владельца сайта может привести к тому, что поисковики добавят ресурс в черный список. Поэтому от дублей или ненужного контента необходимо быстрее избавляться, чтобы не тратить время на исправление последствий. Далее рассмотрим удаление дублей страниц из поисковой выдачи более подробно.
Разновидности дублей
Полные – на одном и том же сайте имеются две страницы с разными адресами, но идентичным содержимым. К таким страницам поисковые системы относятся крайне негативно.
Неполные – на одной из страниц имеется часть дублированной информации с другой страницы того же ресурса.
В некоторых случаях избежать частичного дублирования страниц практически невозможно. Например, когда на сайте или блоге присутствуют древовидные комментарии, каждый комментарий является своеобразным дублем. Для того чтобы вес той или иной страницы не уменьшался, а поисковые системы не понижали позицию ресурса, не накладывали на него санкции и не ухудшали индексацию, необходимо удалять все дубли из результата выдачи поисковика.
Методика обнаружения дублированных страниц
Существует несколько способов отследить дубли и обезопасить свой сайт. Периодичность их использования позволит сайту сохранять свои позиции в поисковой выдаче.
Использование специализированного инструмента из арсенала веб-мастерской Google. Первым шагом следует авторизоваться в самой мастерской. Далее необходимо перейти в раздел «Оптимизация» и найти функцию «Оптимизация HTML», позволяющую отследить количество дублей мета-описаний и Title-тегов. С помощью этого метода достаточно просто найти полные дубли, но не частичные повторения. По этой причине данный способ является нельзя назвать универсальным.
Продвинутые оптимизаторы также часто прибегают к помощи программы Xenu. Она позволяет произвести глубокий и качественный аудит ресурса и, в том числе, обнаружить дублирование страниц. Для этого достаточно ввести адрес ресурса в специальную строчку и произвести фильтрацию результатов по заголовку. Однако, как и предыдущий метод, этот способ не позволяет найти частичные повторения.
Работа с поисковой выдачей. Поиск дублированного контента можно также производить с помощью специальных запросов в поисковике Google. Для поиска страниц ресурса, находящихся в общем индексе данного поисковика необходимо вводить запрос site:mysite.ru. Просмотреть основную индексацию сайта позволит команда site:mysite.ru/&, отображающая те страницы, которые попадают в систему поиска. С помощью этих запросов можно найти неполные дубли страниц, а также страницы с малоинформативным контентом, от которых также следует избавиться для более эффективного ранжирования. После проведения первой процедуры следует повторить поиск с включением упущенных результатов, что позволит провести более глубокую проверку.
Процедура удаления дублей
Простое удаление повторяющегося контента вряд ли будет достаточно эффективным. Для устранения проблемы необходимо найти первопричину появления дублей.
Дубли replytocom возникают при использовании популярного движка WordPress и наличии на ресурсе возможности древовидного комментирования. Владельцу ресурса лучше всего отключить функцию древовидных комментариев и настроить эту возможность с помощью JavaScript.
Эффективно работает 301 редирект, который при посещении поисковым роботом дублированной страницы будет автоматически переходить на оригинальную страницу.
Многие оптимизаторы ставят запрет на индексацию определенных параметров своих сайтов. Для этого необходимо внести директивы в файл robots.txt. Однако подобные запреты эффективно работают только с поисковой системой Яндекс, а вот Goggle-роботы игнорируют их во время индексации.
Также в плагинах для максимальной оптимизации сайта можно воспользоваться тегом «noindex», позволяющим закрыть рубрики, метки, архивы и многие другие элементы, которые могут помешать нормальной индексации ресурса. Но опять же не всегда эти фильтры распознаются поисковыми роботами так как нужно.
Существуют и другие способы, позволяющие избавиться от дублей страниц и малоинформативного контента. Каждому веб-мастеру следует найти собственную методику, способную эффективно обезопасить сайт от санкций поисковых систем. Стоит помнить, что иногда имеет смысл использовать сразу несколько инструментов.