robots.txt и тег noindex — два независимых механизма, которые решают разные задачи, и разрешение в одном не отменяет запрет в другом.
В чём разница между этими механизмами
robots.txt указывает роботу, можно ли вообще заходить и сканировать страницу — это про доступ к содержимому. Тег noindex на самой странице говорит роботу «можешь посмотреть содержимое, но не включай эту страницу в результаты поиска» — это про решение об индексации уже просмотренной страницы.
Почему возникает путаница
Если страница разрешена в robots.txt, но содержит noindex в коде, робот всё равно может её посетить (доступ разрешён), но осознанно не будет включать в индекс из-за явного запрета на самой странице — оба условия проверяются независимо друг от друга.
Как это исправить, если noindex стоит по ошибке
Найдите и удалите тег noindex непосредственно в HTML-коде страницы или в настройках SEO-плагина для конкретной записи — изменение только robots.txt здесь не поможет, поскольку блокировка находится на другом уровне.
