Robot.txt 2020 год

Ребят кто знает, какой сейчас вы нынешнее время нужен робот.тхт
Прошу только по теме, без лишнего негатива , кто реально может помочь, за ранее большое спасибо!

 

движок?

 

dle

 

Можно и без него, но у тебя будет индексироватся вся херня, как к этому отнесутся ПС даже они не знают. Роботс нужен для закрытия от индексации печать, регистрацию, папки, категории....

 

принцип работы данного файла никак не зависит от движка. вопрос у ТС заключается не в том как правильно его настроить, а есть ли в нем какой то смысл?

Вообще он как и раньше нужен, вроде бы ничего не менялось последние говды в плане него.

 

Cпасибо)

 

На разных движках разные разделы сайта закрывать надо, поэтому я и спросил какой движок.

 

у меня перекресные гиперсылки xfsearch индексирует по жести , как закрыть?

 

del

 

напиши пример такой ссылки

 

http://сайт.ру/xfsearch/vrolyah/Джейсон+Стэйтем/

 

Ну тогда то что выше написали подходит
Disallow: /xfsearch/

 

а стоит ли это делать ? я просто в замешательстве, ну индексирует он актёров , может это наоборот полезно

 

Если на эти страницы нет никакого трафика то лучше закрыть. Это дублированный контент, если я правильно понимаю (не юзаю ДЛЕ).

 

Я думаю если у станиц нет мета тегов и она не оптимизирована то лучше закрыть индексацию, но в тоже время у hdrezke все станицы с актерами в индексе, но на них прописаны тайтлы дискрипшн и микроразметка.

 

faQ, ну тайтл у них например Джейсон Стэйтон » Онлайн смотреть кино
description идёт тот же что и у главной страницы, keywords тоже самое тоже самое что у главной

 

это типа, в каждом фильме есть пункт с актёрами, и они кликабельные, нажимаем например на Меган Фокс и перекидывает на страницу где список всех новостей на сайте где так же в этом пункте указана Меган Фокс

 

неуникальные метатеги это вроде плохо

 

ну как в hdrezke. Если со станицами нет проблем в плане сео то пусть индексируются, ну я не вижу смысл убирать их из поиска.

 

Что бы резка не сделал по СЕО, там всегда будет трафик, хорошее сео, больше трафа, плохое меньше. Там домен офигенно трастовый, уже оптимизация уходит на 2 план, там уже бренд резка идет. Про их сайт знает почти каждый юзер, это много че значит.
У самого подобный был, до резки далеко канечно, но если домен идет как бренд, а не тупо фильмы онлайн, смотри фильмы и сериалы, сериалы в НД.... то это офигенный +. Со временем по бренду нехилый траф идет, который подымает и другие посадочные страницы.
И ваше, глупо сравнивать наши ГС с трастовыми сайтами. Ищите примерно такие сайты по возрасту, смотрите сколько трафа, и что там сделано.