Проблема дублированного контента и как ее решить
Одна из проблем, которую мы видим практически на любом сайте - дублированный контент. Крупные сайты с сотнями страниц особенно склонны к этому. Но что именно квалифицируется как дублированный контент? Почему дублирование контента приводит к проблемам и как мы можем избежать их? Мы рассмотрим всё это и многое другое в этой статье.
Что такое дублированный контент?
Дублированный контент это именно то, что вы думаете: две или более частей контента, которые идентичны, единственное их различие состоит в URL.
Google видит каждый URL как отдельную страницу. Благодаря этому, рассмотрит следующие ссылки, как полностью различные страницы:
Оригинальная страница с красными рубашками: http://website.ru/shirts/red
Та же страница, но отсортирована по цене: http://website.ru/shirts/red?order=asc
Проблема здесь в том, что мы, в основном, смотрим на ту же страницу, с тем же содержанием. Разница лишь в том, что в последней ссылке добавлена сортировка в другом порядке. Google считает это дублированным контентом.
Почему дублированный контент это плохо?
Дублированный контент запутывает поисковые системы. Почему? Потому что им сложно определить, какая страница является наиболее актуальной для поискового запроса.
Поисковые системы никогда не будут отображать две одинаковые части контента в поисковой выдаче. Это делается для обеспечения высокого качества поиска; видеть одно и то же содержание два раза не очень интересно пользователю.
Другая проблема заключается в силе ранжирования дублированных страниц. Вместо одной страницы с большой авторитетностью, у вас несколько страниц с разбавленной, сниженной производительность. Это может стоить вам много поискового трафика.
Как создаётся дублированный контент
Дублированный контент может быть создан намеренно или случайно. Тем не менее, результат будет тот же.
Примером преднамеренного дублированного контента является печатная версия страницы. Это, фактически, та же самая страница, с одинаковым контентом, поэтому, когда эта версия для печати проидексируется, будет проблема с дублированием контента.
Тем не менее, существует множество ситуаций, в которых дублированный контент создаётся непреднамеренно. Тому может быть несколько причин, таких как:
ID сессии является изменяемой строкой из случайно генерируемых чисел и/или букв и используется для отслеживания посетителей. Они часто используются для корзины товаров, например:
http://website.ru/?sessionid=5649612
Проблема с идентификаторами сеансов (Session ID) очевидна: они могут создавать сотни, возможно даже тысячи дубликатов. Сохранение идентификаторов сеансов в cookies (если вы не знаете что это такое, то можете прочитать статью Введение в Cookies - прим. пер.) может решить эту проблему, но если вы предпочитаете этот вариант, не забудьте про закон о Cookies ЕС (Если ваш бизнес на территории Евросоюза - прим. пер.).
Когда люди думаю о вариантах сортировки, они подразумевают каталоги продукции интернет - магазина, где пользователи могут сортировать по цене, дате и т.д. Но функции сортировка часто встречаются и на других сайтах тоже. Следующие URL используют типичные функции сортировки блога:
http://website.ru/category?sort=asc
URL с опцией сортировки и оригинальный, в основном одна и та же страница. Эта один и тот же контент, только отсортированный по разному.
Партнёрские коды появляются на всём протяжении интернета. Они используются для идентификатора реферера, который, в свою очередь вознаграждается за привлечение новых посетителей. Партнёрский код может выглядеть следующим образом, например:
http://website.ru/product?ref=name
Ещё раз, этот код может создать копию оригинальной страницы.
Даже такая простая вещь, как доменное имя, иногда может быть проблематичным. Взгляните на следующие адреса:
Поисковые системы прошли долгий путь, но иногда они всё ещё могут понять это превратно. Оба варианта URL, вероятно, указывают на главную страницу, но т.к. оба варианта URL выглядят по разному, они, иногда рассматриваются как различные страницы.
Как найти дублированный контент
Мы поговорили о том, как дублированный контент создаётся, но как вы можете определить дублирующий контент на вашем сайте?
Самый простой способ сделать это через Инструменты для веб-мастеров. Войдите в свой аккаунт и перейдите к Оптимизация-->Оптимизация HTML. Здесь вы найдёте список повторяющихся заголовков (которые, вероятно, одинаковые по содержанию). (Или можно использовать Яндекс.Вебмастер)
Так же вы можете использовать поисковую команду site: в адресной строке, чтобы найти страницы с определённого домена (например, site:webdesign.tutsplus.com). Этот метод является очень полезным, если вы подозреваете, что конкретная страница имеет несколько дубликатов. Воспользуйтесь site: командой и вставьте пару фраз из подозреваемой страницы. Если вы получите сообщение от Google гласящее "Для того, чтобы показать Вам наиболее значимые результаты, мы опустили некоторые ..." вы, вероятно, имеете дублирующий контент.
Наконец, вы можете также использовать сканеры сайтов. Программы, такие как Xenu и Screaming Frog могут быть использованы для сбора необходимой информации. Анализируйте заголовки страниц в отчёте сканирования и проверяйте на дубликаты.
Решение проблем дублирования контента
Как говорится: "Каждое заболевание имеет лекарство". к счастью, существует несколько способов лечения проблем дублирующего контента:
Самым простым способом предотвращения индексации дублированного контента является 301 редирект. Таким образом, пользователь и поисковые системы будут перенаправлены от дубликата к оригиналу. В результате, весь сок ссылок отправится на оригинальную, исходную, страницу.
301 редирект осуществляется на серверах Apache, путём добавления правил к файлу .htaccess на вашем сервере. Имейте ввиду, что этот метод "удаляет" копию. Если вы не хотите избавляться от дублирующих страниц, вы должны использовать следующий метод.
Это ещё один способ сообщить поисковым системам о дублированном контенте; rel="canonical" тег. Эта часть кода должна быть реализована в секции веб-страницы.
Допустим, у нас есть Страница B, которая является дубликатом Страницы A. Если мы хотим информировать об этом поисковые системы, мы поместим следующий код в разметке Страницы B:
*link href="http://website.com/Page-A" rel="canonical" /> *вместо звёздочки необходимо добавить <
Этот код указывает, что текущая страница является фактически копией вышеупомянутой страницы. После реализации этого, большинство ссылочного сока будут перенаправлены на оригинальную страницу и, следовательно, будет повышена ранжирование этой страницы. В отличии от 301 редиректа, дубликаты страниц будут доступны.
Мы уже подробно обсуждали мета тег robots во время предыдущего обучения. При добавлении мета-тега robots с параметром "noindex", вы можете предотвратить индексацию дублированной страницы.
Это более продвинутое решение. Его трудно осуществить, если вы не до конца понимаете код, но это может быть полезно в ряде случаев.
Как упоминалось ранее, доменное имя может часто вызывать вопросы дублирующего контента (версии с www и без www). Вы можете решить эту проблему, путём добавления URL-rewrite правила в файл .htaccess (что-то подобное мы рассматривали раньше на Webdesigntuts+). Выберите нужный домен (с www или без www) и автоматически переписывайте URL-адреса у указанному домену.
Другая проблема, мы говорили об использовании ID сессии. Тот же URL, но с другим идентификатором сессии можно рассматривать как дублирующий контент. И снова .htaccess файл может быть использован для отключения этих параметров. Прочитайте Отключение передачи ID сессий через URL от Constantin Bejenaru, чтобы узнать, как это сделать.
Инструменты для веб-мастеров от Google
В предыдущем разделе мы говорили о автоматической перезаписи URL для доменных имён. Более простой способ сделать это через Инструменты для веб-мастеров от Google. Просто войдите в свою учётную запись, перейдите в Конфигурацию, нажмите на Настройки и укажите основной домен.
Если вы используете динамические параметры URL, вы можете сказать Google как с ними с ними обращаться. Таким образом, вы можете сказать, какие параметры должны быть проигнорированы. Это зачастую может решить много вопросов дублирования контента. Зайдите в Google Webmaster Tools, и перейдите к Конфигурация-->Параметры URL. Более подробную информацию можно найти на сайте поддержки Google, но для использования этой функции будьте уверены в том, что вы знаете как она работает, иначе вы можете случайно заблокировать страницы.
Этот вопрос связан с дублированием контента, но есть некоторые различия.
Давайте предположим, что компания, которая продаёт продукцию в Северной Америке имеет два веб-сайта; company.us и company.ca. Первый из них ориентирован на США, последний на Канаду. На обоих сайтах мы найдём похожий контент, потому что веб-мастера не хотят переписывать кучу страниц текста.
Вполне возможно, что Американская версия будет более эффективнее Канадского варианта (даже на Google.ca), потому что он имеет больший авторитет. Как мы можем исправить эту проблему таргетинга?
Есть очень простое решение: rel="alternative" hreflang-"x" аннотации (подробнее здесь: [1], [2] - прим. ред.).
Если мы используем наш предыдущий пример, нам нужно добавить следующий код в секцию .us домена:
*link rel="alternate" hreflang="en-CA" href="http://company.ca/page-example" /> *вместо звёздочки необходимо добавить <
Для .ca домена нам необходимо разместить такой код:
*link rel="alternate" hreflang="en-US" href="http://company.com/page-example" /> *вместо звёздочки необходимо добавить <
По сути, вы говорите Google, что есть альтернативная версия (или дубликат) на другом языке. Атрибут hreflang использует ISO 639-1 для определения языка. При желании вы можете вы можете добавить регион в формате ISO 3166-1.
Профилактика лучше лечения… Последовательность внутренних ссылок может предотвратить создание дублирующего контента. Если вы имеете http://www.website.ru в качестве основного домена, не направляйте ваши ссылки на не-www версию. Тот же совет применим к входящим ссылкам. Если вы размещаете ссылку на ваш сайт с другого домена, используйте последовательную структуру ссылок.
Не создавайте умышленное дублирование контента, путём копирования больших кусков текста из других веб-сайтов. Google, вероятно, узнает об этом и последствия могут быть не такие приятные:
> В тех случаях, когда Google чувствует, что дублированный контент может быть показан с намерением управлять нашим ранжированием и обманывать наших пользователей…ранжирование сайта может пострадать, или сайт может быть полностью удалён из индекса Google.
Дублированный контент это то, что вы видите на сайте почти каждый день. Этому может быть несколько причин, будь то случайно, или иным образом.
Если вы не хотите, предотвращать доступ на страницы с помощью 301 редиректа, то лучше использовать rel=canonical аннотацию. кроме того, можно использовать мета-тег robots, или автоматическую перезапись URL (URL rewrite). Google Webmaster Tools также предлагает некоторые пути предотвращения дублирования контента.
И в заключении, лучше иметь последовательность ваших ссылок. Внутренние и внешние ссылки должны выглядеть одинаково.
tangentwithtanner
prguitarman
gummygunk
pixelskylines
