Вопрос? Ноиндекс xfsearch, помогите )

донботом закрываю xfsearch в ноиндекс, как сделать чтобы некоторые не были в ноиндекс ? типа исключение )
например годы некоторые, или жанры
может плюнуть на донбот и закрывать в head как то эти допполя ?
подскажите как сделать )

 

Можно закрыть индексацию в файле robots, Disallow: /xfsearch/, а ниже открыть только для необходимых страниц,
Allow: /xfsearch/2018/

 

не помню как у яшки, а у гугла если переходы есть на такие страницы ну или вдруг откуда то ссылка то ему срать на роботс, ток в хеадере помогает
наверное в яшке так же
поэтому не вариант им что то разруливать

 

Команда в роботс не рассматривается ПС, как обязательная. Это просто, как рекомендация.
А вот, если команда прописана на самой странице - тогда точно не будет индексировать. Ну, на 99%. Пути ПС неисповедимы.