Сейчас большой проблемой для многих оптимизаторов стало применение nofollow», ну и соответственнотега noindex. Они необходимы для закрытияиндексацииссылок, оптимизации отдельных частей сайта.
Если раньше в Google спокойно использовался атрибут rel = «nofollow», а Яндекс положительно относился к тегу noindex, то сейчас Яндекс и Гугл изменили подход к оценке данных элементов.Теги стали учитываться, вес перестал перераспределяться, теперь вопрос, как закрыть ссылки от индексации вновь встал в ТОП горячо обсуждаемых новостей.
Для чего нужен атрибут rel = « nofollow» и как его использовать
Элемент nofollow не является тегом, как его принято называть, это — атрибут. С помощью nofollow можно закрытьссылки на нежелательные источники, увеличивать общий статический вес для собственных ресурсов.
При этом первоначально тегом nofollow можно былозакрыть все ссылки на странице, как был введен атрибут rel = « nofollow» — стало возможным использовать его в каждом конкретном случае, что значительно облегчило жизнь веб-мастерам.
Рассмотрим на примере перераспределение веса между страницами
|
Предположим, раздел сайта имеет 5 ссылок – 4 внутренних и 1 внешняя. Общий вес страницы будет разделен на 5 частей, каждая из которых уйдет на ссылочный ресурс. Если мы применим атрибут « nofollow» к внешней ссылке, то она уже не будет учитываться поисковой системой, значит и получать дополнительный вес. Поэтому теперь каждая ссылка получает не пятую, а четвертую часть от общего веса страницы. Таким образом, можно было контролировать продвижение отдельных частей сайта и способствовать быстрому росту. |
Сейчас Google несколько изменил подход к учету атрибута « nofollow». Теперь по закрываемой ссылке статический вес странице не передается, но при этом доля веса на другие гиперссылки не перераспределяется. Получается, что вес страницы расходуется впустую.
Что можно закрыть с помощьюnofollow»:
- сомнительную информацию. Если есть сомнения в содержании данных, на которые ведут ссылки, то лучше всего их закрыть. Это же касается и комментариев, например, в блогах – когда пользователи часто оставляют огромное количество спама. Проверить каждый ресурс физически невозможно. Поэтому лучше сразу обезопасить себя и свой сайт;
- платные ссылки. При их наличии на ресурсе, закрытие сможет защитить вас от гонений со стороны поисковых алгоритмов. В такой ситуации могут возникнуть разногласия с рекламодателем – но это уже вопрос того, что у вас в приоритете;
- приоритезация сканирования. Если закрыть переход в личный кабинет или на форму регистрации, например, это упростит работу робота системы;
- большое количество внешних ссылок.
Большим изменением, связанным с использованиемnofollow» стало то, что теперь и Яндекс начал его учитывать. Но по сравнению с Google, алгоритм работы Яндекс пока что еще не ясен – замечено, что он видит не все мета-теги nofollow.
Тег noindex – сфера применения и особенности расположения
Тег noindex появился как следствие nofollowв те времена, когда Яндекс его еще не воспринимал. Поэтому, чтобы закрытьссылку конкретно в Яндексе был создан этот тег. Впоследствии этот тег принял еще и Рамблер. Google его не учитывает.
Его основная цель – запрет на индексацию части текста или отдельного элемента (анкор), а вот ссылка и вес, который она передает, будет системами учитываться. Таким образом, можно спрятать часть контента от поисковых систем, оставляя его доступным для пользователя. Кроме того тегом noindex следует прятать служебные данные и дублированный контент.
Причины использовать тег noindex:
- управление контентом для разных поисковиков ( Google и Яндекс);
- контроль частотности ключевых слов и фраз. Отдельные страницы содержат большое количество аналогичных слов и фраз, которые необходимы в конкретной ситуации. Но это негативно сказывается на поисковой выдаче. Закрывая тегом noindex часть текста, мы можем снизить общую плотность ключевых фраз и повысить качество сайта для роботов Яндекса;
- запрет на индексацию дословных цитат и выдержек, выписок из официальных источников (законы и пр.). Данный контент может быть полезен пользователю, но для сайта несет отрицательный эффект, поэтому использование тега в этом случае принесет большую пользу.
Часто начинающие оптимизаторы используют конструкцию rel = «noindex», хотя это большая ошибка, поскольку это тег, а не атрибут. Он может быть расположен в любой части html-кода и закрыть все, что находится внутри.
Установление тега на сайт может привести к возникновению ошибок в коде. Связано это с тем, что данный элемент воспринимается не всеми системами (не валидный). Поэтому, чтобы избежать недоразумений, стоит писать тег в определенном формате:
<!—noindex—> текст, который надо закрыть <!—/noindex—>
При написании тега стоит помнить, что использовать его можно только в парном расположении. Кроме того, слишком частое использование тега на одной странице может также привести к проблемам с Яндексом – он вычеркнет ресурс из списка ранжируемых.
Иногда возникают ситуации, когда запрет на индексацию необходим для конкретного бота. Тогда следует указать его идентификатор в мета-теге. Если этого не реализовать, то система воспримет показатель index.
Как закрывать внешние ссылки от индексации?
Тегnoindex и атрибут nofollowперестали работать, но проблема закрытияссылок осталась. Ниже представлены наиболее распространенные способы закрытия ссылок, при которых вес будет перераспределяться.
|
JavaScript |
Суть метода состоит в том, что сначала присутствует только текст, а сама ссылка добавляется или открывается с помощью скрипта. Таким образом, Яндекс и Гугл смогут проиндексировать контент, но не увидят ссылку. Этот метод пока еще работает, но учитывая быстрое развитие технологий, скорее всего в ближайшее время роботы научатся обходить и эту хитрость. Чтобы не попасть впросак, периодически проводите аудит на наличие разных ссылок. |
|
Robots. txt |
Здесь необходимо прописать элементы User-agent: * Disallow: / Это поможет закрыть ресурс от всех поисковиков. Чтобы закрыть данные от определенной системы (Яндекс) – можно прописать следующую конструкцию User-agent: Yandex, Disallow: / Если нам необходимо предоставить доступ только одному агенту (Яндекс), то стоит указывать User-agent: * Disallow: / User-agent: Yandex Allow: / Но такой вариант не может полностью гарантировать безопасность от индексации. Хотя попадание в ресурсы заблокированными поисковиками – это отступление от правила. |
|
Мета-тег Robots |
Если к коду каждой страницы сайта добавить тег meta name= « robots» content = « noindex, nofollow» – то получится защитить ресурс от индексации. Его необходимо располагать в части head HTML-кода. |
|
Файл . htaccess |
Использование . htaccess поможет закрыть ресурс и разрешит доступ только после введения пароля. Это полноценная и гарантированная защита от индексации, но здесь же может возникнуть проблема со сканированием сайта на предмет ошибок. |
|
User Agent |
Существует еще один метод закрытия доступа ботов к сайту с помощью блокировки User Agent, которые кажутся особо подозрительными. Метод этот грубый и должен использоваться крайне редко. |
Это основные методы, которые можно применять для защиты данных от поисковиков. Но выбор методики должен производиться на основании целей и объемов работы. Например, чтобы спрятать отдельную страницу, достаточно применять Robots. txt и Мета robots noindex. В первом варианте необходимо будет указать User-agent: ag, Disallow: страница. Но если такому закрытию необходимо подвергнуть большое количество страниц, то этот подход станет слишком сложным, поскольку вручную придется прописать все страницы. Рекомендуется прописать meta name = « robots » content = « noindex , nofollow » в Head HTML.
Очень часто необходимо прятать не все страницы, а лишь некоторую часть. Чтобы закрыть только раздел, можно взять принципы Robots. txt или Meta Robots.
Чтобы спрятать доступ к отдельной части, необходимо указать
Disallow: /Раздел/*
или
User-agent: *
Disallow: /*.js – для отдельных расширений
Чтобы наверняка быть уверенным в защите данных можно добавить meta name = « robots» content= « noindex» на каждой странице.
Методом, который на 100% даст закрытие внешних ссылок, считается сочетание внешнего скрипта . js с robots. txt. Суть метода состоит в том, чтобы переместить скрипт замены на внешний файл, далее запретить индексацию в robots. txt, а в самом контенте использовать функцию скрипта, которая будет создавать нужную ссылку. Такой подход дает гарантированный результат для Яндекс и Гугл, но при этом намного сложнее остальных и занимает больше времени.
Заключение
Закрытие контента – ситуация, которая относится к разряду текущих задач. Распределение весов, контроль распределения ключевых фраз и запросов и прочие задачи требуют наличия эффективных инструментов от повального воздействия поисковых механизмов.
Закрыть ссылки от индексации с применением nofollow и noindex стало теперь невозможным. Точнее,Яндекс, Гугл и прочие не станут их учитывать, но вес также не начнет перераспределяться и станет уходить впустую.
Развитие технологий и подходов приводит к тому, что действовавшие ранее методы закрытия ссылок быстро устаревают. Мы описали наиболее эффективные методики закрытия текста и ссылок на сайте. Какой из них выбрать и как применять – каждый решает сам в зависимости от особенностей ресурса и целей, которые необходимо достичь.
