Реально ли полностью закрыть сайт от индексации?

Добрый день! Хочу закрыть киносайт полностью от индексации поисковыми системами, возможно ли?

 

Заблокировать юзерагент bot Bot на сервере или клоудфаере.

 

Закрыть сайт от индексации в robots.txt, как скрыть сайт от поисковых систем Яндекс и Google через файл роботс и meta-тегом

 

Мне сказали этот способ не очень, т.к. некоторые страницы сайта все равно попадут в поиск(

 

Блокировка индексирования при помощи директивы noindex | Центр Google Поиска  |  Документация  |  Google for Developers

как закрыть сайт от индексации - Поиск в Google

 

Всем спасибо! Добавлю запрет в robots и в main.tpl тег noindex.

 

Подниму тему вот каким вопросом.

Смотрите, имеется сайт с киношками. Весь контент виден лишь авторизованным юзерам. На главной для неавторизованных юзеров отображается только форма авторизации и регистрации, ну и небольшое описание самого сайта. Больше ничего.
После авторизации юзер находит нужный контент и просматривает его. А Браузеры каким то образом передают инфу на сторонние ресурсы (на те же поисковики) о том, что имеется такая то страница с таким то содержимым? И правовики смогут узнать об этом?

 

Скриншот пришлите что отображается в поисковике

 

Да конечно. По ощущениям, тот же Яндекс-браузер собирает данные о посещаемых страницах, даже если на сайте не установлена Яндекс метрика.

 

Для Яндекса сработает, в гугл влетят страницы: будет title и ниже - описание страницы недоступно.

Надёжнее - метатег noindex,nofollow в коде страницы.

А ещё надёжнее - блокировка ботов по user agent на уровне сервера или cloudlare

 

Я в данном случае использую функцию проверки бота и если положительно то блокирую полностью (Отдаю код 403 и прекращаю выполнение скрипта)

Спойлер: Код

PHP:

function isGoogleBot() {
    $userAgent = $_SERVER['HTTP_USER_AGENT'];
    // Список известных ботов Google
    $googleBotUserAgents = [
        "Googlebot",
        "Googlebot-Image",
        "Googlebot-Video",
        "Googlebot-News",
        "Googlebot-Mobile",
        "Mediapartners-Google",
        "AdsBot-Google",
        "AdsBot-Google-Mobile",
        "Google-InspectionTool"
    ];

    // Проверяем, содержит ли User-Agent имя какого-либо бота Google
    foreach ($googleBotUserAgents as $botUserAgent) {
        if (stripos($userAgent, $botUserAgent) !== false) {
            return true; // User-Agent содержит имя бота Google
        }
    }

    return false; // User-Agent не содержит имена бота Google
}

function isYandexBotCheck() {
    $userAgent = isset($_SERVER['HTTP_USER_AGENT']) ? $_SERVER['HTTP_USER_AGENT'] : '';

    // Список известных User-Agent ботов Яндекса
    $yandexBotNames = array(
        'YandexBot',
        'YandexImages',
        'YandexFavicons',
        'YandexDirect',
        'YandexVideo',
        'YandexMedia',
        'YandexBlogs',
        'YandexCatalog',
        'YandexNews',
        'YandexMetrika',
        'YandexAccessibilityBot',
        'YandexMarket',
        'YandexSitelinks',
        'YandexAdNet',
        'YandexForDomain',
        'YandexSpravBot',
        'YandexVertis',
        'YandexDirectDyn',
        'YandexCalendar',
        'YandexVerticals',
        'YandexMobileBot',
        'YandexFlights',
        'YandexTravel',
        'YandexDirectTurbo',
        'YandexScreenshotBot',
        'YandexDirectXML',
        'YandexCalendarBot',
        'YandexDirectDyn-32',
        'YandexDirectDyn-21',
        'YandexCalendarMobileBot',
        'YandexMarketChecker',
        'YandexMetrikaCounter',
        'YandexDirect/PA',
        'YandexDirect/Video',
    );

    foreach ($yandexBotNames as $botName) {
        if (stripos($userAgent, $botName) !== false) {
            return true; // Нашли совпадение с ботом Яндекса
        }
    }

    return false; // Бот Яндекса не обнаружен
}

//Пример использование

if(isYandexBotCheck()){
   http_response_code(403);
   die("Доступ запрещен");
   exit();
}


 

А Гугл берет title из тега <title>Кино</title>, или он может взять например из <H1>Кино</H1>