Nofollow и Noindex. Как закрыть ссылки от индексации

Сейчас большой проблемой для многих оптимизаторов стало применение nofollow», ну и соответственнотега noindex. Они необходимы для закрытияиндексацииссылок, оптимизации отдельных частей сайта.

Если раньше в Google спокойно использовался атрибут rel = «nofollow», а Яндекс положительно относился к тегу noindex, то сейчас Яндекс и Гугл изменили подход к оценке данных элементов.Теги стали учитываться, вес перестал перераспределяться, теперь вопрос, как закрыть ссылки от индексации вновь встал в ТОП горячо обсуждаемых новостей.

Для чего нужен атрибут rel = « nofollow» и как его использовать

Элемент nofollow не является тегом, как его принято называть, это - атрибут. С помощью nofollow можно закрытьссылки на нежелательные источники, увеличивать общий статический вес для собственных ресурсов.

При этом первоначально тегом nofollow можно былозакрыть все ссылки на странице, как был введен атрибут rel = « nofollow» - стало возможным использовать его в каждом конкретном случае, что значительно облегчило жизнь веб-мастерам.

Рассмотрим на примере перераспределение веса между страницами

Предположим, раздел сайта имеет 5 ссылок – 4 внутренних и 1 внешняя. Общий вес страницы будет разделен на 5 частей, каждая из которых уйдет на ссылочный ресурс. Если мы применим атрибут « nofollow» к внешней ссылке, то она уже не будет учитываться поисковой системой, значит и получать дополнительный вес. Поэтому теперь каждая ссылка получает не пятую, а четвертую часть от общего веса страницы. Таким образом, можно было контролировать продвижение отдельных частей сайта и способствовать быстрому росту.

Сейчас Google несколько изменил подход к учету атрибута « nofollow». Теперь по закрываемой ссылке статический вес странице не передается, но при этом доля веса на другие гиперссылки не перераспределяется. Получается, что вес страницы расходуется впустую.

Что можно закрыть с помощьюnofollow»:

• сомнительную информацию. Если есть сомнения в содержании данных, на которые ведут ссылки, то лучше всего их закрыть. Это же касается и комментариев, например, в блогах – когда пользователи часто оставляют огромное количество спама. Проверить каждый ресурс физически невозможно. Поэтому лучше сразу обезопасить себя и свой сайт;

• платные ссылки. При их наличии на ресурсе, закрытие сможет защитить вас от гонений со стороны поисковых алгоритмов. В такой ситуации могут возникнуть разногласия с рекламодателем – но это уже вопрос того, что у вас в приоритете;

• приоритезация сканирования. Если закрыть переход в личный кабинет или на форму регистрации, например, это упростит работу робота системы;

• большое количество внешних ссылок.

Большим изменением, связанным с использованиемnofollow» стало то, что теперь и Яндекс начал его учитывать. Но по сравнению с Google, алгоритм работы Яндекс пока что еще не ясен – замечено, что он видит не все мета-теги nofollow.

Тег noindex – сфера применения и особенности расположения

Тег noindex появился как следствие nofollowв те времена, когда Яндекс его еще не воспринимал. Поэтому, чтобы закрытьссылку конкретно в Яндексе был создан этот тег. Впоследствии этот тег принял еще и Рамблер. Google его не учитывает.

Его основная цель – запрет на индексацию части текста или отдельного элемента (анкор), а вот ссылка и вес, который она передает, будет системами учитываться. Таким образом, можно спрятать часть контента от поисковых систем, оставляя его доступным для пользователя. Кроме того тегом noindex следует прятать служебные данные и дублированный контент.

Причины использовать тег noindex:

• управление контентом для разных поисковиков ( Google и Яндекс);

• контроль частотности ключевых слов и фраз. Отдельные страницы содержат большое количество аналогичных слов и фраз, которые необходимы в конкретной ситуации. Но это негативно сказывается на поисковой выдаче. Закрывая тегом noindex часть текста, мы можем снизить общую плотность ключевых фраз и повысить качество сайта для роботов Яндекса;

• запрет на индексацию дословных цитат и выдержек, выписок из официальных источников (законы и пр.). Данный контент может быть полезен пользователю, но для сайта несет отрицательный эффект, поэтому использование тега в этом случае принесет большую пользу.

Часто начинающие оптимизаторы используют конструкцию rel = «noindex», хотя это большая ошибка, поскольку это тег, а не атрибут. Он может быть расположен в любой части html-кода и закрыть все, что находится внутри.

Установление тега на сайт может привести к возникновению ошибок в коде. Связано это с тем, что данный элемент воспринимается не всеми системами (не валидный). Поэтому, чтобы избежать недоразумений, стоит писать тег в определенном формате:

<!--noindex--> текст, который надо закрыть <!--/noindex-->

При написании тега стоит помнить, что использовать его можно только в парном расположении. Кроме того, слишком частое использование тега на одной странице может также привести к проблемам с Яндексом – он вычеркнет ресурс из списка ранжируемых.

Иногда возникают ситуации, когда запрет на индексацию необходим для конкретного бота. Тогда следует указать его идентификатор в мета-теге. Если этого не реализовать, то система воспримет показатель index.

Как закрывать внешние ссылки от индексации?

Тегnoindex и атрибут nofollowперестали работать, но проблема закрытияссылок осталась. Ниже представлены наиболее распространенные способы закрытия ссылок, при которых вес будет перераспределяться.

JavaScript	Суть метода состоит в том, что сначала присутствует только текст, а сама ссылка добавляется или открывается с помощью скрипта. Таким образом, Яндекс и Гугл смогут проиндексировать контент, но не увидят ссылку. Этот метод пока еще работает, но учитывая быстрое развитие технологий, скорее всего в ближайшее время роботы научатся обходить и эту хитрость. Чтобы не попасть впросак, периодически проводите аудит на наличие разных ссылок.
Robots. txt	Здесь необходимо прописать элементы User-agent: * Disallow: / Это поможет закрыть ресурс от всех поисковиков. Чтобы закрыть данные от определенной системы (Яндекс) – можно прописать следующую конструкцию User-agent: Yandex, Disallow: / Если нам необходимо предоставить доступ только одному агенту (Яндекс), то стоит указывать User-agent: * Disallow: / User-agent: Yandex Allow: / Но такой вариант не может полностью гарантировать безопасность от индексации. Хотя попадание в ресурсы заблокированными поисковиками – это отступление от правила.
Мета-тег Robots	Если к коду каждой страницы сайта добавить тег meta name= « robots» content = « noindex, nofollow» – то получится защитить ресурс от индексации. Его необходимо располагать в части head HTML-кода.
Файл . htaccess	Использование . htaccess поможет закрыть ресурс и разрешит доступ только после введения пароля. Это полноценная и гарантированная защита от индексации, но здесь же может возникнуть проблема со сканированием сайта на предмет ошибок.
User Agent	Существует еще один метод закрытия доступа ботов к сайту с помощью блокировки User Agent, которые кажутся особо подозрительными. Метод этот грубый и должен использоваться крайне редко.

Это основные методы, которые можно применять для защиты данных от поисковиков. Но выбор методики должен производиться на основании целей и объемов работы. Например, чтобы спрятать отдельную страницу, достаточно применять Robots. txt и Мета robots noindex. В первом варианте необходимо будет указать User-agent: ag, Disallow: страница. Но если такому закрытию необходимо подвергнуть большое количество страниц, то этот подход станет слишком сложным, поскольку вручную придется прописать все страницы. Рекомендуется прописать meta name = « robots » content = « noindex , nofollow » в Head HTML.

Очень часто необходимо прятать не все страницы, а лишь некоторую часть. Чтобы закрыть только раздел, можно взять принципы Robots. txt или Meta Robots.

Чтобы спрятать доступ к отдельной части, необходимо указать

Disallow: /Раздел/*

или

User-agent: *

Disallow: /*.js – для отдельных расширений

Чтобы наверняка быть уверенным в защите данных можно добавить meta name = « robots» content= « noindex» на каждой странице.

Методом, который на 100% даст закрытие внешних ссылок, считается сочетание внешнего скрипта . js с robots. txt. Суть метода состоит в том, чтобы переместить скрипт замены на внешний файл, далее запретить индексацию в robots. txt, а в самом контенте использовать функцию скрипта, которая будет создавать нужную ссылку. Такой подход дает гарантированный результат для Яндекс и Гугл, но при этом намного сложнее остальных и занимает больше времени.

Заключение

Закрытие контента – ситуация, которая относится к разряду текущих задач. Распределение весов, контроль распределения ключевых фраз и запросов и прочие задачи требуют наличия эффективных инструментов от повального воздействия поисковых механизмов.

Закрыть ссылки от индексации с применением nofollow и noindex стало теперь невозможным. Точнее,Яндекс, Гугл и прочие не станут их учитывать, но вес также не начнет перераспределяться и станет уходить впустую.

Развитие технологий и подходов приводит к тому, что действовавшие ранее методы закрытия ссылок быстро устаревают. Мы описали наиболее эффективные методики закрытия текста и ссылок на сайте. Какой из них выбрать и как применять – каждый решает сам в зависимости от особенностей ресурса и целей, которые необходимо достичь.