Nofollow и Noindex. Как закрыть ссылки от индексации

Сейчас большой проблемой для многих оптимизаторов стало применение nofollow», ну и соответственнотега noindex. Они необходимы для закрытияиндексацииссылок, оптимизации отдельных частей сайта.

Если раньше в Google спокойно использовался атрибут rel = «nofollow», а Яндекс положительно относился к тегу noindex, то сейчас Яндекс и Гугл изменили подход к оценке данных элементов.Теги стали учитываться, вес перестал перераспределяться, теперь вопрос, как закрыть ссылки от индексации вновь встал в ТОП горячо обсуждаемых новостей.

Для чего нужен атрибут rel = « nofollow» и как его использовать

Элемент nofollow не является тегом, как его принято называть, это - атрибут. С помощью nofollow можно закрытьссылки на нежелательные источники, увеличивать общий статический вес для собственных ресурсов.

При этом первоначально тегом nofollow можно былозакрыть все ссылки на странице, как был введен атрибут rel = « nofollow» - стало возможным использовать его в каждом конкретном случае, что значительно облегчило жизнь веб-мастерам.

Рассмотрим на примере перераспределение веса между страницами

Сейчас Google несколько изменил подход к учету атрибута « nofollow». Теперь по закрываемой ссылке статический вес странице не передается, но при этом доля веса на другие гиперссылки не перераспределяется. Получается, что вес страницы расходуется впустую.

Что можно закрыть с помощьюnofollow»:

• сомнительную информацию. Если есть сомнения в содержании данных, на которые ведут ссылки, то лучше всего их закрыть. Это же касается и комментариев, например, в блогах – когда пользователи часто оставляют огромное количество спама. Проверить каждый ресурс физически невозможно. Поэтому лучше сразу обезопасить себя и свой сайт;

• платные ссылки. При их наличии на ресурсе, закрытие сможет защитить вас от гонений со стороны поисковых алгоритмов. В такой ситуации могут возникнуть разногласия с рекламодателем – но это уже вопрос того, что у вас в приоритете;

• приоритезация сканирования. Если закрыть переход в личный кабинет или на форму регистрации, например, это упростит работу робота системы;

• большое количество внешних ссылок.

Большим изменением, связанным с использованиемnofollow» стало то, что теперь и Яндекс начал его учитывать. Но по сравнению с Google, алгоритм работы Яндекс пока что еще не ясен – замечено, что он видит не все мета-теги nofollow.

Тег noindex – сфера применения и особенности расположения

Тег noindex появился как следствие nofollowв те времена, когда Яндекс его еще не воспринимал. Поэтому, чтобы закрытьссылку конкретно в Яндексе был создан этот тег. Впоследствии этот тег принял еще и Рамблер. Google его не учитывает.

Его основная цель – запрет на индексацию части текста или отдельного элемента (анкор), а вот ссылка и вес, который она передает, будет системами учитываться. Таким образом, можно спрятать часть контента от поисковых систем, оставляя его доступным для пользователя. Кроме того тегом noindex следует прятать служебные данные и дублированный контент.

Причины использовать тег noindex:

• управление контентом для разных поисковиков ( Google и Яндекс);

• контроль частотности ключевых слов и фраз. Отдельные страницы содержат большое количество аналогичных слов и фраз, которые необходимы в конкретной ситуации. Но это негативно сказывается на поисковой выдаче. Закрывая тегом noindex часть текста, мы можем снизить общую плотность ключевых фраз и повысить качество сайта для роботов Яндекса;

• запрет на индексацию дословных цитат и выдержек, выписок из официальных источников (законы и пр.). Данный контент может быть полезен пользователю, но для сайта несет отрицательный эффект, поэтому использование тега в этом случае принесет большую пользу.

Часто начинающие оптимизаторы используют конструкцию rel = «noindex», хотя это большая ошибка, поскольку это тег, а не атрибут. Он может быть расположен в любой части html-кода и закрыть все, что находится внутри.

Установление тега на сайт может привести к возникновению ошибок в коде. Связано это с тем, что данный элемент воспринимается не всеми системами (не валидный). Поэтому, чтобы избежать недоразумений, стоит писать тег в определенном формате:

<!--noindex--> текст, который надо закрыть <!--/noindex-->

При написании тега стоит помнить, что использовать его можно только в парном расположении. Кроме того, слишком частое использование тега на одной странице может также привести к проблемам с Яндексом – он вычеркнет ресурс из списка ранжируемых.

Иногда возникают ситуации, когда запрет на индексацию необходим для конкретного бота. Тогда следует указать его идентификатор в мета-теге. Если этого не реализовать, то система воспримет показатель index.

Как закрывать внешние ссылки от индексации?

Тегnoindex и атрибут nofollowперестали работать, но проблема закрытияссылок осталась. Ниже представлены наиболее распространенные способы закрытия ссылок, при которых вес будет перераспределяться.

Это основные методы, которые можно применять для защиты данных от поисковиков. Но выбор методики должен производиться на основании целей и объемов работы. Например, чтобы спрятать отдельную страницу, достаточно применять Robots. txt и Мета robots noindex. В первом варианте необходимо будет указать User-agent: ag, Disallow: страница. Но если такому закрытию необходимо подвергнуть большое количество страниц, то этот подход станет слишком сложным, поскольку вручную придется прописать все страницы. Рекомендуется прописать meta name = « robots » content = « noindex , nofollow » в Head HTML.

Очень часто необходимо прятать не все страницы, а лишь некоторую часть. Чтобы закрыть только раздел, можно взять принципы Robots. txt или Meta Robots.

Чтобы спрятать доступ к отдельной части, необходимо указать

Disallow: /Раздел/*

или

User-agent: *

Disallow: /*.js – для отдельных расширений

Чтобы наверняка быть уверенным в защите данных можно добавить meta name = « robots» content= « noindex» на каждой странице.

Методом, который на 100% даст закрытие внешних ссылок, считается сочетание внешнего скрипта . js с robots. txt. Суть метода состоит в том, чтобы переместить скрипт замены на внешний файл, далее запретить индексацию в robots. txt, а в самом контенте использовать функцию скрипта, которая будет создавать нужную ссылку. Такой подход дает гарантированный результат для Яндекс и Гугл, но при этом намного сложнее остальных и занимает больше времени.

Заключение

Закрытие контента – ситуация, которая относится к разряду текущих задач. Распределение весов, контроль распределения ключевых фраз и запросов и прочие задачи требуют наличия эффективных инструментов от повального воздействия поисковых механизмов.

Закрыть ссылки от индексации с применением nofollow и noindex стало теперь невозможным. Точнее,Яндекс, Гугл и прочие не станут их учитывать, но вес также не начнет перераспределяться и станет уходить впустую.

Развитие технологий и подходов приводит к тому, что действовавшие ранее методы закрытия ссылок быстро устаревают. Мы описали наиболее эффективные методики закрытия текста и ссылок на сайте. Какой из них выбрать и как применять – каждый решает сам в зависимости от особенностей ресурса и целей, которые необходимо достичь.