Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Помогите отредактировать robots.txt

Тема в разделе "Яндекс", создана пользователем Fant13k, 16 фев 2016.

16.02.16 в 17:40
16.02.16 в 20:41
7
1.933
0
  1. TopicStarter Overlay
    Fant13k

    Fant13k Посетитель

    Сообщения:
    73
    Симпатии:
    10
    Лучших ответов:
    0
    Здравствуйте. Знаю что скорее всего на форуме где-то есть подобная тема, но честно сказать я пересмотрел разделы Яндекс и Google но не нашел ответа на свой вопрос. Подскажите как правильно составить robots для Яндекса и Гугла.
    User-agent: *
    Disallow: /year/
    Disallow: /country/
    Disallow: /produce/
    Disallow: /actors/
    Disallow: /engine/go.php
    Disallow: /engine/download.php
    Disallow: /user/
    Disallow: /newposts/
    Disallow: */page/
    Disallow: /statistics.html
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search
     
  2. crank

    crank Зелёный

    Сообщения:
    18
    Симпатии:
    4
    Лучших ответов:
    0
    У каждого по своему
    User-agent: Yandex
    Disallow: /user/
    Disallow: /backup/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /upgrade/
    Disallow: /uploads/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=register
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?subaction=newposts
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Host: са-йт.ru

    User-agent: *
    Disallow: /backup/
    Disallow: /user/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /upgrade/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=register
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?subaction=newposts
    Disallow: /?do=lastcomments
    Disallow: /statistics.html

    Sitemap: http://са-йт.ru/sitemap.xml
     
  3. Den

    Den Команда форума VIP Кинотрафик v2

    Сообщения:
    2.097
    Симпатии:
    980
    Лучших ответов:
    0
    Означает, что эти правила действуют для всех роботов.
    Для яндекса можешь добавить внизу главное зеркало и ссылку на карту сайта:
    Код:
    Host: mysite.ru
    Sitemap: http://mysite.ru/sitemap.xml
     
  4. doz

    doz Команда форума VIP Кинотрафик v2

    Сообщения:
    1.335
    Симпатии:
    540
    Лучших ответов:
    0
    User-agent: *
    Disallow: /engine/
    Sitemap: http://site.ru/sitemap.xml
    Host: site.ru

    остальное закрывается метатегом.
     
  5. TopicStarter Overlay
    Fant13k

    Fant13k Посетитель

    Сообщения:
    73
    Симпатии:
    10
    Лучших ответов:
    0
    Спасибо всем. @doz, можно по подробнее о метатеге?
     
  6. TopicStarter Overlay
    Fant13k

    Fant13k Посетитель

    Сообщения:
    73
    Симпатии:
    10
    Лучших ответов:
    0
    Модуль от Gameer NoIndex подойдет для этого?
     
  7. Uralbox

    Uralbox Команда форума VIP Кинотрафик v2

    Сообщения:
    1.566
    Симпатии:
    174
    Лучших ответов:
    0
    Конечно, 100%
     
  8. TopicStarter Overlay
    Fant13k

    Fant13k Посетитель

    Сообщения:
    73
    Симпатии:
    10
    Лучших ответов:
    0
    Еще один вопрос, не хочу создавать отдельно тему.
    Подскажите какова частотность ВЧ, СЧ, НЧ для киносайта.