Как ускорить индексацию сайта

Индексация – это очень важный процесс для любого сайта. Если поисковые системы активно индексируют ваш сайт, значит его страницы скоро появятся в поисковой выдаче.

Но бывает и такое, что новые страницы неделями не проверяются роботами поисковых систем и трафик по ним соответственно не идет.

Если у вас второй случай или вас просто не устраивает частота индексации, попробуйте воспользоваться советами из этой статьи.

Что такое индексация

Индексация – это процесс поиска, обработки и добавления в выдачу новых страниц сайтов поисковыми роботами (краулерами).

Говоря более простым языком, индексация – это когда роботы поисковых систем ищут на вашем сайте новые страницы, чтобы их оценить и по возможности добавить в поисковую выдачу. Такие боты называются краулерами.

Что такое краулинговый бюджет

А теперь представьте, на сколько большой интернет и сколько новых страниц появляется в минуту? А ведь краулеры должны обрабатывать это максимально быстро, ведь чем больше они задержатся на одном сайте, тем дольше они не придут на другой, а тем временем, поисковая система будет оплачивать сервера, обслуживание, электричество… проще говоря, нести убытки.

Если перейти на более понятный, математический язык, то выходит нечто следующее:

Роботу за день нужно обойти 1000 сайтов, то есть 24 часа делим на 1000 сайтов получаем 1.44 минуты на один сайт. Будем считать это время оптимальным. Если из-за некачественного сайта робот задержался на нем не 1.44 минуты, а 3.6 минут, то он за сутки успеет пройти уже не 1000, а 999 сайтов. А теперь переведем всё это в деньги.

Час суммарного обслуживания сервера, электричества и тд стоит допустим 10 рублей. То есть в сутки это 240 рублей. Помним, что за эти сутки робот должен был пройти 1000 сайтов, то есть цена обхода одного сайта 0.24 рубля. 1.44 минуты = 0.24 рубля. Но если на плохом сайте робот задерживается, цена индексации этого сайта уже поднимается до 0.48 рублей. Это и есть краулинговый бюджет.

С основными понятиями мы разобрались, теперь давайте разберем, зачем нужна быстрая индексация и почему Яндекс сам хочет, чтобы ваши страницы попадали в индекс максимально быстро.

Зачем нужна быстрая индексация

Тут можно всё разделить на две стороны, на вебмастера и на поисковую систему. У каждой из сторон есть свои резоны максимально быстро проиндексировать сайт.

Для вебмастера быстрая индексация нужна для того, чтобы страницы как можно быстрее попадали в выдачу. Если вы создали контент, а его никто не видит, он может потерять либо актуальность, либо уникальность. В любом случае это чревато более низкими позициями этой страницы в выдаче.

Для поисковой системы актуальность также важна, ведь чем больше актуальных результатов в выдаче, тем чаще будут пользоваться самой поисковой системой. Всем знакома ситуация, когда вы не можете найти что-то в одной ПС вы уходите в другую.

Но даже несмотря на борьбу за долю в поиске, ПС не могут сильно жертвовать краулинговый бюджет, иначе это выльется в большие убытки. Яндекс не может каждый час индексировать сайт, на котором последняя новость появлялась год назад, в надежде, что на нём выйдет что-то новое и актуальное. Это будет пустой тратой бюджета.

Теперь давайте перейдем к конкретным советам, как ускорить индексацию страниц на вашем сайте.

Общие советы по быстрой индексации

У каждой поисковой системы есть свои особенности, но есть и то, что одинаково везде. Начнем с советов, которые подходят для всех поисковых систем, а уже потом уточним для каждой.

Основное, что нужно сделать для быстрой индексации это:

• Перелинковку
• Карту сайта
• Настроить txt
• Регулярность постинга
• Кросспостинг
• Ping сервисы
• RSS каталоги
• Настроить вложенность
• Сделать карту страниц сайта
• Логичная структура сайта

Да, список получился общим, но мы сейчас разберем каждый пункт подробнее.

Перелинковка

Сложно переоценить важность перелинковки в индексации сайта. При добавлении каждого нового материала на сайт вы должны и добавлять в него несколько ссылок на другие страницы.

В конце каждой статьи у вас должен быть блок «Читайте также» со схожими по тематике статьями, обязательно добавьте блок «Новое на сайте».

Сейчас существуют различные сервисы, которые анализируют контент вашего сайта и подбирают статьи для блока «читайте также» в зависимости от интересов пользователя, что значительно повышает их CTR.

Карта сайта

Карта сайта – это критически важный фактор ранжирования на любом сайте. Благодаря индексации карты сайта поисковые системы и понимают, когда у вас появляются новые страницы и разделы на сайте.

Карта сайта должна быть прописана в файле Robots.txt как Sitemap: https://site.ru/sitemap.xml если у вас одна карта сайте или https://site.ru/index-sitemap.xml если несколько.

Индексную карту сайта стоит делать только тогда, когда вы решили разбить карту сайта на несколько. Это актуально, если на вашем сайте очень много страниц или вы обновляете не все разделы. Допустим, для интернет-магазинов можно сделать карту сайта для товаров, вторую для статей и третью для новостей.

Если ваш сайт сделан на CMS, то вам не составит труда найти плагин автоматически генерируемой карты сайта. Если же у вас самопис, то тут поможет только программист.
Конечно, существуют и сторонние сервисы, где вы можете собрать карту сайта. Туда нужно просто добавить сайт, оплатить и в итоге вы получите свою карту, останется просто добавить её на хостинг. Минус таких сервисов – карта сайта не будет обновляться автоматически.

Регулярность постинга

Название этого пункта говорит само за себя. Поисковые системы понимают и запоминают как часто тот или иной сайт выкладывает у себя новый контент. Если вы постите регулярно дважды в день в одно и тоже время, робот и будет заходить на ваш сайт к этому времени. Если же вы год ничего не постили и выложили новую статью, не стоит ждать, что робот тут же примчится её индексировать.

Приручайте робота регулярным постингом. Будете выкладывать статьи каждый день, значит и робот начнет заходить к вам ежедневно.

Еще веселее дела обстоят с новостями. Зачастую многие сайты выкладывают по 20-30 новостей в день и на таких сайтах быстро роботы буквально живут и индексируют их постоянно.

Имейте в виду, стоит вам прекратить постоянный постинг и краулеры также перестанут заходить на ваш сайт.

Кросспостинг

Выложили новую статью? Расскажите о ней везде. Анонсы в социальных сетях, PUSH рассылка – это обязательные работы, которые вы должны проделать после выкладки каждой новой статьи. Быстро роботы постоянно индексируют социальные сети, так что ваша ссылка на новую статью довольно быстро попадет в индекс.

Тоже самое и с PUSH рассылкой, только тут в бой идут уже не быстро роботы, а браузеры пользователей. Все мы знаем, что браузер собирает информацию о посещаемых сайтах и если много пользователей перешли по одной ссылке, это однозначный сигнал от браузера её проиндексировать.

Twitter

Отдельно стоит упомянуть постинг в Twitter’e, так как он считается самой благоприятной социальной сетью для постинга ссылок с целью быстрой индексации. Если у вас есть сетка аккаунтов, то это будет невероятно большим плюсом. Одна ссылка, которую запостили хотя бы 3-5 учеток может не только сделать индексацию этой страницы моментальной, но и придать ей вес для дальнейшего ранжирования.

Ping сервисы

Сервисы пинга позволяют поисковым системам раньше узнавать о выходе нового контента, а вы в свою очередь можете сообщать этим сервисам о выходе контента на своём сайте. В Wordpress по умолчанию уже встроен функционал отправки нового контента в пинг сервисы, вы сами можете только указать в какие. Не рекомендуется рассылать каждую новую статью в сотни сервисов, так как это вызовет большую нагрузку на сервер.

Существуют и специальные агрегаторы пинг сервисов. Там вам достаточно просто вставить ссылку на вашу статью и агрегатор сам оповестит все известные ему сайты. Как правило, услуги этих агрегаторов стоят денег.

Пример ping сервисов:

1. http://blo.gs/ping.php
2. http://ping.blogs.yandex.ru/RPC2
3. http://blog.goo.ne.jp/XMLRPC
4. http://blogsearch.google.ae/ping/RPC2
5. http://blogsearch.google.be/ping/RPC2

RSS-каталоги и агрегаторы

RSS каталоги это еще один из отличных способов ускорить индексацию сайта. Для того, чтобы попасть в такой каталог вам просто нужно сформировать rss-фид и бесплатно добавить его в каталог. Тут вам больше ничего делать не придется, агрегатор сам будет индексировать ваш фид.

Как и в Твиттере быстро роботы буквально живут в таких агрегаторах, и всё что в них появляется нового индексируется практически мгновенно.

RSS агрегаторы на которые стоит обратить внимание:

• liverss.ru
• rssreader.ru
• feeds.feedburner.com – принадлежит Google

Правильно составленный Robots.txt

Да, это тоже очень важный момент. Бывает так, что вебмастер или SEO-специалист просто забывает настроить robots, либо не уделяет этого достаточного внимания. Тут важен всё тот же краулинговый бюджет, ведь если вы откроете для индексации абсолютно все разделы, поисковые системы будут индексировать их в пустую, ведь в выдаче не нужны технические страницы, админки и прочее.

Оставляйте открытым для индексации только разделы с качественными страницами, которые должны быть в выдаче.

Бывает и обратная ситуация, когда вебмастер случайно закрывает нужный раздел или допускает ошибку в robots. Тут уже на помощь приходят валидаторы от самих поисковых систем, которые находятся в кабинетах вебмастера. Обязательно пользуйтесь ими и тестируйте там все изменения в роботсе. Как показывает практика, число случайных ошибок, допускаемых вебмастерами очень большое и иногда из-за них сайт теряет весь трафик.

Вложенность и доступность контента

Золотое правило – весь новый контент должен появляться на главной странице сайта. Следуйте ему, обязательно. Во-первых, главная страница индексируется чаще остальных, во-вторых пользователь сможет быстрее увидеть новый контент и перейти к нему и в-третьих, главная страница передаст часть своего веса новой странице, что даст дополнительный буст в ранжировании.

Помимо этого, стоит следовать и второму золотому правилу: вложенность должна быть не глубже третьего уровня. Site.ru – первый уровень, site.ru/article – второй уровень, site.ru/article/statya – третий уровень. Если у вас есть не только рубрики, но еще и рубрики второго уровня, то часть из URL лучше убрать. То есть site.ru/article/vtoroyuroven/statya меняем на site.ru/vtoroyuroven/statya или site.ru/article/statya. Многие вебмастера практикуют одноуровневую вложенность, где все страницы выглядят так: site.ru/statya. В этом есть логика и даже существуют кейсы, где вебмастерам удается таким образом поднять позиции и трафик, но такая структура не очень удобна для пользователей.

Помимо глубины в URL не стоит забывать и про удобную и быструю навигацию по сайту. Профессионалы в UI/UX заявляют, что пользователь должен максимум за три 3 клика по сайту найти нужную ему информацию. Конечно, это немного утопия, но к этому стоит стремиться. Краулеры поисковых систем перемещаются по сайту по ссылкам, так что, чем логичнее структура сайта и быстрее краулер найдет новый контент – тем лучше.

HTML карта сайта

Помимо XML карты сайта, можно сделать еще одну в формате HTML, добавить в неё ссылки на весь контент на сайте и разместить, к примеру в футере. Такая карта не является фактором ранжирования и делать её совершенно не обязательно, но и лишним не будет.

Раньше такие карты были практически на каждом сайте, сейчас они уже редко встречаются, из-за не доказанного эффекта в индексации.

В любом случае, сделать такую карту не сложно и не займет много времени.

Логичная структура

Тут почти как с вложенностью. Чтобы роботам и пользователям было проще ориентироваться на вашем сайте, его структура должна быть логичной и интуитивно понятной. Из каждой страницы должна следовать следующая. Главная -> рубрика -> контент. Придерживайтесь древовидной структуры и тогда роботы не заблудятся на вашем сайте.

Также, старайтесь размещать новый контент только в релевантных ему рубриках. Поисковые роботы понимают, о чем эта страница, и если в рубрике «бананы» у вас будет статья про «электрические бритвы», это негативно скажется на ранжировании этой статьи.

Выше мы описали все основные способы ускорения индексации для обеих поисковых систем. Теперь давайте разберем те способы, которые работают только для Яндекса.

Быстрая индексация в Яндексе

У Яндекса большое количество собственных сервисов с помощью которых можно ускорить индексацию новых страниц сайта. Сейчас разберем как ускорить индексацию страниц с помощью:

• Яндекс Почты
• Яндекс Директа
• Яндекс Метрики
• Яндекс Дзен
• Турбо страницы

Яндекс.Почта

Когда вы отправляете кому-то письмо с ссылкой, Яндекс должен убедиться, что по этой ссылке не находится вредоносный сайт и индексирует её. Этот способ официально не подтвержден, но он логичен и подтверждается вебмастерами. Обязательно нужно высылать письмо на почту, находящуюся на домене Yandex.ru

Яндекс.Директ

Тут всё, как и с почтой. Если вы дадите контекст на новую страницу, Яндекс немедленно её проиндексирует, потом контекст можно убрать. Кто-то скажет, что это уже слишком, давать-то рекламу на новые страницы, но, если вы хотите моментальной индексации – это отличный способ.

Яндекс.Метрика

Метрика уже давно научилась отправлять новые страницы, где установлен счетчик на индексацию. В настройках эту функцию можно отключить, но какой в этом смысл? В общем, если на вашем сайте установлен код метрики, проверьте в настройках работает ли эта функция.

Яндекс.Дзен

Как и во всех других сервисах этой поисковой системы, в Дзене индексируются все ссылки практически мгновенно. Яндекс не может допустить ссылок на вредоносные сайты, поэтому тщательно их проверяет. Единственное, не забывайте следовать правилам платформы, иначе вас ждет бан и тогда от ваших ссылок толку точно уже не будет.

Турбо-страницы

Если на вашем сайте подключены турбо-страницы, то за индексацию вы можете не беспокоиться. Поисковая система постоянно индексирует RSS-фид с турбо-страницами и практически мгновенно узнает о всех новых записях на сайте.

Ускорение индексации в Google

У Google меньше способов ускорить индексацию чем в Яндексе. Самыми действенными способами можно считать:

• Gmail
• AMP
• Раньше был Google+

Gmail

Тут такая же ситуация, как и с Яндекс Почтой. Google индексирует все ссылки, которые вы отправляете в сообщениях на ящики gmail.com.

AMP

Технология AMP от Google очень похожа на турбо-страницы Яндекса, и Google практически сразу узнает о появлении новых AMP страниц и индексирует их, а вместе с ними и оригинальную страницу.

Как закрывать сайт от индексации

Помимо ускорения, нужно еще и настраивать правильную индексацию, а для этого некоторые страницы и даже целые разделы от индексации лучше закрывать. Разберем все способы закрыть страницу или раздел от индексирования поисковыми системами.

Wordpress

Если у вас сайт сделан на CMS Wordpress и вам нужно его полностью закрыть от индексации – просто поставьте галочку «Попросить поисковые системы не индексировать мой сайт» в настройках.

Главное не забудьте убрать эту галочку позже, иначе трафика вы так и не увидите. Как бы смешно это не казалось, но вебмастера часто о ней забывают в итоге.

Robots.txt

Файл robots позволяем вам закрыть страницу, раздел или вообще весь сайт, причем закрыть можно от всех поисковых систем или только от некоторых.

К примеру, правило

User-agent: Yandex
Disallow: /

Полностью закроет сайт от Яндекса. Если убрать User-agent, то сайт будет закрыт от всех ПС.

Чтобы закрыть раздел достаточно прописать Disallow: /razdel/

Пользуйтесь роботсом, чтобы закрыть все технические страницы, страницы с неуникальным и просто не качественным контентом.

Meta name=”robots”

Работает также, как и файл robots.txt, только это уже мета-тег.

< meta name="robots" content="noindex,follow" />

Добавив этот тег на страницу, вы полностью закроете её контент от индексации поисковыми системами.

Если вы ощущаете проблемы с попаданием ваших страниц в индекс, в первую очередь проверьте, не закрыта ли она для поисковых систем одним из этих трех способов.

Заключение

Как видите, существует очень много способов ускорить индексацию новых страниц на вашем сайте. Вам не обязательно использовать каждый из них, так как эффект только от некоторых может быть настолько хорош, что использование остальных методов уже ничего не даст.

Подумайте, что из перечисленного выше вам проще внедрить на вашем проекте и используйте это.