Здарова пацаны и барышни. Сейчас забаяню, но мб кому то придется интересным. Работаю уже давно, а открыл для себя способ только недавно. Предыстория: Завел новенький сайт (~500 стр), сделал все как положено для индексации: залил в вебмастер сайтмап, по нескольким страницам провел "Посмотреть как гугл бот + Сканировать этот URL и прямые ссылки ". Прошла неделя. По проверке site:url выдавалось множество страниц, но если щелкать по пагинации, то в конце концов оказалось всего 130+ страниц в индексе. Больше всего я боялся расхищения контента, так как на контент было потрачено несколько килодесятков рубасов. Плюс хотелось начат уже работать с соц сетями для продавливания по ПФ, да и для лучшей будущей индекации яндексом. При этом не понятно, какие страницы в индексе, какие нет. В ручную отбирать - чекнуться. Поехали: 1) Что требуется: 1.1. Сайт, загнанный в гугл вебмастерс 1.2. Регистрация в http://www.rush-analytics.ru/. Четкий сервис для вебмастера (разный функционал, в том числе сбор СЯ), который не занимается созданием сайтов в промышленных размерах + не хочет возиться с ПО и не жадничает. 2)Индексируем 2.1. В сервисе РашАналитикс оказывается есть проверка индексации, причем проверка по sitemap (что очень удобно). Стоимость 4 копейки за страницу. В общем мне обошлось менее 20р. С помощью этой функции выяснил, что в индексе у меня менее 80% страниц (я думал что гораздо меньше, видимо site:url + пагинация работают тоже криво). Выгрузил табличку. В таблице то что в индексе - 1, что нет - 0. Отсортировал по данной колонке, получил список непроиндексированных страниц. 2.2 Далее все просто. Грузим непроиндексированные страницы в гугл вебмастерс вручную. Кто не в курсе: "Посмотреть как гугл бот - добавить в индекс -сканировать только этот URL". Для удобства в таблице удаляем у всех строк через CTRL+F домен в строках, так как в гуглвебмастерс надо отправлять без домена. Единственная проблема - это постоянная капча. Но для 100 страниц я справился минут за 20-30. 3) Итог Как только я загнал в вебмастерс все страницы, отправил на повторную проверку индексации в РашАналитикс. Результат - чуть менее 100% индексации. Видимо или пропустил некоторые страницы или просто не зашли, точно хз. Заключение Способ актуален для тех, кто не заморачивается тем, что загоняет каждую новую страницу в индекс гугла через вебмастерс. Так же актульно для новых сайтов. Лайфках для старых сайтов и многостраничников: Например для 10т. страниц выйдет 400р. Первоначально можно попробывать загнать и весь сайтмап. Далее считаю это не целесообразно. Что делать: делаете процедуру не для всех страниц, а только для новых (например раз в месяц). В Раш можно загружать не столько через карту сайта, но и обычным списком. Там уже сами решаете каким способом выгрузить (найти) страницы за последний месяц и работаете только с ними,а не со всем sitemap.
Можно и бесплатно всё это реализовать если один раз купить программу Comparser, единственное только Капча тратится но это не критично.
