О том, как запретить индексацию тегами и атрибутами

Настроить правильную индексацию сайта помогает robots.txt, но иногда закрыть от индексации необходимо отдельные куски страницы, либо только ссылки, либо часть ссылок закрыть, а часть оставить – использовать robots.txt в этих случаях крайне неудобно. Причем, записывая сложное правило легко совершить ошибку, а ошибка в robots.txt негативно скажется на всём сайте. Решение проблемы – использовать мета теги и атрибуты.

Начнем, пожалуй, с мета-тегов с атребутом name=robots. С их помощью можно явно указать на необходимость индексирования страницы или же на запрет:

<meta name="robots" content="all" /> — разрешаем индексировать как текст, так и все ссылки на странице, аналогичная запись <meta name="robots" content="all" />;

<meta name="robots" content="all" /> — закрываем от индексации весь текст на странице;

<meta name="robots" content="all" /> — запрещаем переходы по всем ссылкам на странице, следовательно: вес по ним перетекать не будет. Если необходимо открыть только некоторые ссылки, то к ним можно дописать атребут rel=follow;

<meta name="robots" content="all" /> — полная противоположность content=all;

<meta name="robots" content="all" /> — довольно интересная опция, как известно Яндекс на своих серверах хранит копии ресурсов, которые может затем показывать, если ресурс по каким-либо причинам недоступен, или же у вас возникло желание взглянуть на сохраненную копию. Ну так вот, запретить хранить копию мы не можем, но выразить свое желание не показывать на неё ссылку можно использовав этот мета-тег. Для чего нужно? Самое простое: чтобы не краснеть, если вдруг в копию попала страница во время её отладки;

<meta name="robots" content="all" /> — запрещаем использовать описание из Яндекс каталога. Если вы счастливчик и ваш сайт уже попал в каталог, то возможно вам и пригодится, когда-нибудь;

<meta name="robots" content="all" /> — тоже самое, только каталог DMOZ.

Всю страницу прикрывать научились, да вот незадача – скрыть нужно только, скажем, абзац текста очень хороший и складный, да только «стыренный» с одного ну уж очень хорошего блога. Яндекс, на мой взгляд, оказывает в этом случае просто неоценимую услугу – тег noindex. Опознается он только роботами и никак не влияет на структуру страницы. Более того, его можно скрыть в комментарии и добиться полной валидности кода!

<!--noindex-->не очешь «честный» контент<!--/noindex-->

Но главная задумка все же состоит в закрытии от индексирования ссылок. Одно время ссылки имели просто колоссальное влияние на ранжирование страниц, и за пузомерки разыгрывалась нешуточная битва. А жадность ведь не позволяет нам «за просто так» ставить ссылку на кого-то там, даже если мы и воспользовались его контентом. Поисковики и тут пошли нам на встречу: ловите атрибут для ссылок rel=nofollow.

<a href="адрес_страницы" rel="nofollow">текст ссылки</a>

Хотя, на мой взгляд, это была вынужденная мера. Иначе бы мы столкнулись просто с невообразимым «клоакингом» и чудовищными ajax-ухищрениями.

А вот и палочка-выручалочка для ряда случаев: атрибут rel=canonical тега link. Очень полезная вещь, просто спасает, когда есть несколько страниц со схожим контентом и есть опасность, что поисковики их воспримут как дубли. Просто указываем явно каноническую страницу и дальше спим крепким и здоровым сном.

<link rel="canonical" href="https://www.falbar.one/services" />

Однако следует помнить:

Данный атрибут имеет рекомендательный характер, и если по каким-либо причинам ссылка на каноническую страницу не сработает – роботом учитываться не будет;
Также не будет работать, если ссылка будет вести на другой домен или поддомен, или вы случайно укажите несколько ссылок.

4 706

Комментарии не найдены