На небольших и средних WordPress-сайтах страницы авторов, архивы по датам, теги и пустые рубрики часто индексируются автоматически. В результате в поиске появляются страницы без полезного контента, а основной материал конкурирует с архивами и дублями. Проблема не в том, что архивы существуют, а в том, что они начинают собирать индексацию и размывать структуру сайта.
Ниже — рабочий сценарий: как понять, что именно мешает, чем закрывать индексацию, где поставить noindex, а где лучше вообще убрать страницу из выдачи и из карты сайта.
Когда проблема действительно есть
Сначала стоит проверить не «по ощущениям», а по факту. Частая ошибка — закрывать всё подряд, не понимая, какие страницы уже ранжируются и какие нужны для навигации.
Что смотреть в первую очередь
- в поиске есть страницы вида
/author/...,/date/...,/tag/..., которые не несут самостоятельной ценности; - в Google Search Console или Яндекс.Вебмастере видны дубли и страницы с низкой ценностью;
- в индексе есть архивы, которые повторяют список записей без уникального текста;
- в теме или плагине SEO уже задан
noindex, но страницы всё равно попадают в XML-карту сайта; - на сайте несколько авторов, но у каждого автора пустая или почти пустая страница архива.
Быстрая диагностика в браузере и через поиск
Откройте проблемную страницу и проверьте исходный код. Ищите мета-тег robots и канонический URL. Если на странице есть noindex, но она всё равно индексируется, обычно причина в том, что поисковик ещё не переобходил страницу или она доступна в sitemap и внутренних ссылках.
<meta name="robots" content="noindex,follow" />Для быстрой проверки можно использовать запросы вида site:example.com/author/ или site:example.com/tag/. Это не точный аудит, но он помогает увидеть масштаб проблемы.
Что отключать, а что оставлять
Не все архивы одинаково вредны. Если у автора есть нормальная страница с биографией, ссылками и подборкой материалов, её можно оставить в индексе. Если это пустой шаблон с одним списком записей, индексировать там нечего.
| Вариант | Когда подходит | Минус |
|---|---|---|
noindex,follow | Страница нужна пользователям, но не нужна в поиске | Страница остаётся доступной и может расходовать краулинговый бюджет |
| Удаление из sitemap | Страница не должна активно продвигаться | Не заменяет noindex сама по себе |
| Полное отключение архива | Архив пустой или бесполезный | Нужно проверить, не сломаются ли ссылки и навигация |
Пошаговое решение через SEO-плагин
Если у вас уже стоит SEO-плагин, проще всего управлять индексированием через него. Это безопаснее, чем править шаблоны темы вручную, потому что плагин обычно сам синхронизирует мета-теги и карту сайта.
1. Закройте архивы авторов и дат от индексации
В настройках SEO-плагина найдите раздел архивов и отключите индексацию для:
- архивов авторов, если на сайте один автор или страницы пустые;
- архивов по дате, если они не несут отдельной ценности;
- тегов, если они дублируют рубрики и не используются как полноценная навигация.
Если плагин позволяет выбрать режим, используйте noindex,follow, а не полный запрет на обход. Так поисковик сможет проходить по ссылкам внутри архива, но не будет считать сам архив посадочной страницей.
2. Уберите эти страницы из XML-карты сайта
Если страница закрыта от индексации, но остаётся в sitemap, это создаёт лишний шум. Поисковик видит противоречие: вы просите не индексировать URL, но одновременно явно отдаёте его в карту сайта.
Проверьте, что архивы авторов, дат и служебные таксономии не попадают в XML sitemap. В большинстве SEO-плагинов это настраивается отдельно.
3. Добавьте уникальный контент туда, где архив должен жить
Если архив автора нужен для SEO и навигации, не оставляйте его пустым. Добавьте:
- краткое описание автора;
- ссылки на профиль и соцсети;
- подборку лучших материалов;
- человеческий заголовок, а не только имя пользователя.
Иначе проще закрыть такой архив от индексации, чем пытаться «дотянуть» его до полезной страницы.
Решение кодом: добавить noindex для архивов авторов и дат
Если нужно точечно управлять индексацией без зависимости от интерфейса плагина, можно добавить фильтр в functions.php дочерней темы или в небольшой mu-plugin. Это удобно, когда логика должна быть одинаковой на нескольких сайтах.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() || is_date() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Этот вариант добавляет noindex, follow только на архивы авторов и дат. Он не трогает записи, страницы и рубрики.
Если нужно закрыть ещё и теги, можно расширить условие:
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() || is_date() || is_tag() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Когда код лучше плагина
- нужно одинаковое правило для нескольких сайтов;
- вы не хотите зависеть от настроек темы;
- нужно закрывать архивы по условию, например только для определённых ролей или таксономий;
- SEO-плагин уже перегружен и вы не хотите дублировать логику в админке.
Если архивы нужно не только закрыть, но и убрать из шаблона
Иногда страницы авторов и дат не нужны вообще. Тогда одного noindex мало: ссылки на архивы продолжают жить в шаблоне, в хлебных крошках или в блоке метаданных записи.
В таком случае проверьте тему:
- вывод ссылки на автора в
single.phpили шаблоне записи; - ссылки на архивы дат в метаданных;
- виджеты и блоки, которые автоматически выводят теги и рубрики;
- хлебные крошки, если они ведут на служебные архивы.
Полностью удалять ссылки стоит только если вы уверены, что они не нужны пользователю. Иначе лучше оставить ссылку, но закрыть сам архив от индексации.
Проверка результата после внедрения
После изменения не ограничивайтесь просмотром исходного кода. Нужно проверить, как страница отдается поисковику и попадает ли она в карту сайта.
- Откройте архив в браузере и убедитесь, что в
<head>естьnoindex. - Проверьте, что URL исчез из XML sitemap или больше не добавляется туда.
- В Search Console отправьте страницу на повторную проверку, если она уже была в индексе.
- Сравните внутренние ссылки: архив может оставаться доступным для пользователей, но не должен быть приоритетной посадочной страницей.
Если после изменения страница всё ещё в индексе, это не всегда ошибка. Поисковик может держать старую версию до следующего обхода. Важно, чтобы новая разметка была корректной и стабильной.
Частые ошибки и как их исправить
Ставят noindex, но оставляют страницу в sitemap
Это самый частый конфликт. Поисковик получает два сигнала: «не индексируй» и «вот важный URL». Исправление простое — уберите URL из карты сайта или отключите генерацию для этого типа архива.
Закрывают robots.txt вместо мета-тега
Disallow в robots.txt не решает задачу индексации сам по себе. Если URL уже известен поисковику, он может остаться в выдаче без сниппета. Для служебных архивов нужен именно noindex или полное удаление страницы.
Отключают архив автора на сайте с несколькими авторами
Если у каждого автора есть нормальная страница с описанием и подборкой материалов, полное отключение может ухудшить навигацию. В этом случае лучше оставить архив, но сделать его содержательным и закрыть только пустые или слабые варианты.
Правят шаблон темы, а потом обновление всё ломает
Если вы вносите изменения прямо в родительскую тему, они легко потеряются при обновлении. Для точечных правил используйте дочернюю тему или mu-plugin.
Практические советы по безопасности и производительности
Любые изменения в индексации лучше делать после бэкапа и на тестовой копии, если сайт уже получает трафик. Это особенно важно, если вы одновременно меняете шаблоны архивов и SEO-настройки.
- не закрывайте массово всё подряд без списка URL, которые реально должны остаться в индексе;
- не дублируйте правила в нескольких плагинах сразу — потом сложно понять, кто именно добавил
noindex; - если используете кэш, очистите его после изменений, иначе в исходнике может остаться старая версия;
- проверьте, не генерирует ли тема отдельные архивы для таксономий, которые вы уже закрыли в SEO-плагине.
Если на сайте много дублей и служебных страниц, имеет смысл посмотреть в сторону инструментов очистки и управления индексированием, например Clearfy Pro: https://wpshop.ru/plugins/clearfy. Но даже с плагином полезно понимать, какие именно URL вы закрываете и почему.
Главный критерий простой: если страница не помогает пользователю найти контент и не несёт самостоятельной ценности, её не стоит тащить в индекс. Если помогает — лучше улучшить её, а не прятать.