Механизм уведомления бота Гугл в Google Webmaster.
Чтобы бот откликнулся на новую публикацию, размешенную на странице и чтобы запустилась индексация сайта в Гугл, следует:
1. Войти в аккаунт, зарегистрированный на Google Webmaster.
2. Выбрать вкладку «Посмотреть как Googlebot».
3. В окошке указать ссылку на публикацию, подлежащей индексации.
4. Нажать кнопку «сканировать».
5. Активировать опцию «Получить и отобразить».
Запускается сканирование страницы роботом, итог которого отображается в столбце «Статус».
При отсутствии ошибок в процессе сканирования и на веб-ресурсе, против ссылки, на подлежащей индексации публикации или страницы, появляется кнопка «Добавить в индекс».
После нажатия на нее выскакивает окошко «Способ отправки». Здесь указывается, какому URL нужна индексация сайта в Гугл. Также в окошке присутствует информация о том, что после нажатия на кнопку «Отправить», начнется повторное сканирование текущей версии страницы сайта. Страница будет проиндексирована, если она не нарушает рекомендации по обеспечению качества, и не содержит мета-теги noindex.
Ниже текста расположено окошко «reCaptcha», где следует поставить отметку, свидетельствующую о том, что в аккаунт зашел живой человек, а не робот.
Под «reCaptcha» размещены две кнопки:
- Сканировать только этот URL;
- Сканировать этот URL и прямые ссылки.
Следует отметить нужное и нажать на кнопку «Отправить». Данный механизм не дает полной гарантии, что индексирование сайта в Google будет успешным. С другой стороны, если бот посчитает, что публикуемая информация полезна, а все требования и рекомендации, предъявляемые к качеству онлайн-ресурса и его страниц будут соблюдены, то она точно попадет в индекс.
Открытие файла robots.txt и индексация сайта в нем
Файл robots.txt создается для информирования поисковых систем о содержимом онлайн-ресурса. Чтобы поисковые роботы могли посещать сайт с целю, он должен быть открыт для индексации в robots.txt. Закрытый для мониторинга онлайн-ресурс отмечается так: против User-agent стоит звездочка (*), а строка Disallow пуста.
Чтобы открыть файл для индексации, следует убрать * и закрыть строкой Disallow служебные страницы, которые не подлежат индексации
Индексирование сайта в Google можно ускорить с помощью социальных сетей.
Свяжитесь с нами! Мы ответим на все Ваши вопросы.
Социальные сети и индексация в Google
В отличие от Яндекса, Гугл приветствует добавление ссылок на сайт, переходящих на раскрученные аккаунты в социальных сетях. На передовых позициях находится Twitter. Основное условие успешной индексации сайта в Гугл через Twitter, чтобы ссылки не просто размещались в аккаунтах пользователей, а распространялись между профилями разных пользователей. Для успешного продвижения сайта через данную социальную сеть, его страничка должна иметь большое количество подписчиков.
Основной фишкой, необходимой для получения большего количества ретвитов и как следствие, более быстрого ответа на вопрос, как индексировать сайт в Google, является поиск популярного хэштега дня, который подходил бы к тематике онлайн-ресурса. Это позволит увеличить число посетителей и получить больше ретвитов со ссылкой на сайт, что заставит поискового робота обратить внимание на данный веб-ресурс.
Ускорить индексирование сайта через Твиттер можно, используя биржи, работающие в направлении Российской Федерации, например twite.ru, twitterstock.ru. Похожие ресурсы работают и в других странах.
Еще одна фишка ускорения индексации с Twitter — это прогон ссылок через специальные фермы. Это группы аккаунтов, принадлежащие одному пользователю, регистрируемые по подставным личным данным, как будто это странички разных пользователей. Эти профили могут не быть раскрученными. Как индексировать сайт в Google с прогоном ссылок? Достаточно опубликовать ссылку на сайт одновременно на всех Твиттер-страничках и поисковой робот обязательно обратит внимание на ссылку и зайдет на сайт.
Причины, по которым затруднена индексация ресурса
Следует выделить несколько причин, из-за которых сайт трудно индексируется:
- Контент имеет низкую уникальность. Первое правило успешного продвижения веб-ресурса – высокие показатели уникальности текстов и статей, размещаемых на странице сайта. Контент должен публиковаться на онлайн-ресурсе впервые. Гугл предъявляет претензии к интернет-площадкам, изобилующим банальным копипастом, продающим ссылки. Такой сайт индексировать в Гугле почти невозможно.
В последние 2 года и Google, и Yandex «стригут под ноль» такие сайты, отправляя их под фильтры и не выводя их страницы в списки поисковых выдач. Онлайн-ресурсы, не замеченные в продаже ссылок, после обновления контента до уникального могут попасть в индексацию и нормально ранжироваться. Но сайты, замеченные в продаже ссылок никогда. - Злоупотребление оптимизацией. Переспам ключевыми словами и фразами в контенте, а также применение мета-тегов: <strong>, <em>, <i>, <b> ведут к репрессиям со стороны поисковых систем. Тексты должны быть написаны для людей, тогда легко индексировать сайт в Гугле. Иностранный поисковик приветствует читабельность текстов, легкость в восприятии, естественность и непринужденность в размещении ключевых слов.
- Низкое качество текстового материала, это тот случай, когда текст пишется для поисковых роботов, а не для людей. Сайты с таким контентом, после смены поисковыми системами алгоритма поиска, исчезают с рейтинговых списков, так как и роботы, и пользователи не приемлют такого вида контент.
- Не индексируются зеркала сайта. Обычно зеркалом сайта называют онлайн-ресурс, повторяющий полностью основной. Он может отличаться наличием в браузерном имени www.-добавки. Поисковые системы «склеивают» сайт-зеркало с главным сайтом и только после этого может быть осуществлено индексирование сайта в Гугл и Яндекс. Иначе такие онлайн-ресурсы отправляются под фильтры.
- Запрет на индексацию в файле robots.txt. Эта ошибка может возникнуть по халатности веб-мастера, когда он установит * в User-agent, чем запретит индексирование сайта в файле robots.txt. Тут поможет только дополнительная проверка служебных разделов.
- Запрещение индексации в мета-тегах. Для снятия с индексации цитируемой информации, которая может понижать уникальность текста, применяют мета-тег noindex. Запрет перехода по ссылкам на странице прописывается командой nofollow. Есть мета-тег none, действие, которого аналогично первым двум. Поэтому если индексирование сайта в Гугл затруднено, следует в первую очередь проверить HTML-код страниц.
- Продажа сайтом ссылок. Этот пункт больше подходит к Яндекс, так как Google может индексировать все, где стоят ссылки. Но не всегда при этом страницы могут попасть под ранжирование. Страница вызывает подозрение, если она переполнена внешними ссылками и поисковые системы могут ее забанить.
- Ссылочная диверсия. Если по сговору владельцев сайтов на иетернет-площадку, которая доселе ничем не выделялась начнут ссылаться сразу множество других сайтов, это может повлечь санкции со стороны поисковых систем как к площадке, на которую ссылаются, так и к ресурсам, которые ссылаются. Индексировать сайт Google, в этом случае, не представляется возможным.
- Блокировка роботы Гугл-хостингом. Проблема в самом хостинге, следует пользоваться услугами сервисов, имеющих солидное деловое реноме.
- Купленный домен имеет бан от поисковых систем. Следует изучить историю домена до покупки.
- Попадание сайта под фильтр Гугла по ошибке. Исправить ситуацию может письмо в техническую поддержку поисковой системы. После проверки всех данных и подтверждения ошибки сайт будет проиндексирован.
- Могут быть и другие причины отсутствия индексации. Следует провести анализ ситуации по каждому случаю и выявить причины случившегося, чтобы проиндексировать сайт Google и yandex.
К перечисленным выше инструментам ускорения индексации сайта Гуглом, можно добавить еще один – указывать в файле Sitemap все станицы, которые подлежат индексации. Очень часто веб-мастера игнорируют данный механизм. Хотя запуск файла Sitemap способствует успешной индексации веб-ресурса. Можно ускорить процесс, если после добавления онлайн-площадки в панель Google Webmaster, будет указан путь к файлу Sitemap.
Файл Sitemap информирует поисковых роботов о страницах сайта, которые должны индексироваться. Генерировать файл можно с помощью плагина Google XML Sitemaps. Получив информацию о новых публикациях на онлайн-ресурсе от файла Sitemap, можно проиндексировать сайт Google с применением робота.
Сгенерировав файл, о нем следует информировать поисковую систему. Выполнить это можно передавая контент напрямую, при этом проверяется связь с поисковыми системами. Второй способ – добавляется местоположение файла Sitemap в файл robots.txt.
Еще один инструмент ускоряющий индексацию сайта – индексация внешними ссылками.
Индексация сайта внешними ссылками
Это один из самых эффективных способов. Близкие по тематике сайты и блоги ссылаются на важные страницы определенного онлайн-ресурса. На блоги и веб-площадки, популярные и хорошо посещаемые пользователями, робот может заходить каждые 2 часа.
Достаточно приобрести по 2-3 вечных ссылок на каждую страницу и этого хватит, чтобы успешно индексировать сайт Google-роботом. Наиболее популярными сервисы, где приобретаются вечные ссылки, являются ссылочные биржи Miralinks, Sape.ru, GoGetLinks, Blogun.