Проверка индексации сайта онлайн

Как проверить индексацию

Проверка видимости документов html осуществляется по-разному для Google и Яндекс. Но в целом не представляет собой ничего сложного. Сделать это сможет даже новичок.

Проверка в Яндекс

Система предлагает три основных оператора, позволяющих проверить, сколько html-документов находится в индексе.

Оператор «site:» – показывает абсолютно все страницы ресурса, которые уже попали в базу данных.

Вводится в строку поиска следующим образом: site:znet.ru

Оператор «host:» – позволяет увидеть проиндексированные страницы с доменов и поддоменов в рамках хостинга.

Вводится в строку поиска следующим образом: host:znet.ru

Оператор «url:» – показывает конкретную запрашиваемую страницу.

Вводится в строку поиска следующим образом: url:znet.ru/obo-mne

Проверка индексации этими командами всегда дает точные результаты и является самым простым способом анализа видимости ресурса.

Проверка в Google

ПС Гугл позволяет проверить видимость сайта только по одной команде вида site:znet.ru.

Но у Google есть одна особенность: он по-разному обрабатывает команду с введенными www и без. Яндекс же такого различия не делает и дает абсолютно одинаковые результаты, что с прописанными www, что без них.

Проверка операторами — это самый «дедовский» способ, но я для этих целей пользуюсь плагином для браузера RDS Bar.

Проверка с помощью Webmaster

В сервисах Google Webmaster и Yandex Webmaster также можно посмотреть, сколько страниц находится в базе данных ПС. Для этого нужно быть зарегистрированным в этих системах и внести в них свой сайт. Попасть в них можно по ссылкам:

http://webmaster.yandex.ru/ — для Яндекс.

https://www.google.com/webmasters/ — для Google.

В Яндекс Вебмастере при нажатии на ссылку «Мои сайты» в левом боковом меню появятся все необходимые пункты для проверки не только количества страниц, но и многих других полезных и важных данных, в том числе и истории индексации.

Массовая проверка страниц на индексацию

Если вы ведете файл семантики по моей схеме, то проверить все страницы на индексацию для вас — дело трех минут.

  1. Заходим в файл распределения
  2. Выделяем все урлы в столбце URL
  3. Вкладка «Данные» — «Удалить дубликаты», таким образом останется список всех продвигаемых страниц
  4. Массово проверяем страницы на индексацию через Comparser. Можно и с помощью браузерного плагина Winka – он умеет работать со списком ссылок в отрыве от Сапы (вызвать меню плагина – проверка списка ссылок).

Сервисы вроде Serphunt

Сейчас я проверяю индексацию в основном здесь: https://serphunt.ru/indexing/, потому что у них можно сразу 50 урлов проверить и причем не только в яндексе, но и в гугле. Мало где можно проверить одновременно в обеих ПС на халяву сразу 50 урлов.

Суть такая — просто вбиваете адреса страниц, и сервис вам выдаёт результаты:

Проверяет не очень быстро — там надо будет подождать минуты 3, но к бесплатному инструменту и претензий немного. Просто в фоновом окне ставьте и занимайтесь своими делами, через несколько минут результаты будут готовы.

Используем панель Вебмастера

Каждая поисковая система имеет свою панель инструментов, специально предназначенную для вебмастеров. С помощью этой панели можно увидеть общее количество проиндексированных страниц. Рассмотрим на примере самых популярных ПС (Яндекс и Google), как выполнять такую проверку.

Чтобы использовать панель инструментов Яндекс в данном контексте, нужно завести аккаунт (если его еще нет), зайти в панель и добавить в нее свой сайт. Там будет показано общее количество страниц, которые уже проиндексированы.

Для использования панели инструментов Google также нужно обзавестись аккаунтом, чтобы иметь возможность зайти в панель. В нее нужно добавить свой сайт и зайти на вкладку «Состояние / Статус индексирования». Здесь также будет показано количество проиндексированных страниц.

Нередко можно заметить, что панель Вебмастера Google может показать значительно большее количество проиндексированных страниц, чем панель инструментов Яндекс. Представим, что на сайте 70 уникальных страниц, которые проиндексировались. И, скажем, Яндекс насчитал приблизительно такое количество ссылок, а Гугл, например, 210. Получается, что Яндекс показал правильное число, а Гугл в 3 раза больше. Так в чем же дело? А дело в дублях страниц, генерируемых движком WordPress. Такие дубли поисковикам не по душе. Использование robots.txt позволяет игнорировать индексацию дублей страниц поисковыми системами. И если на Яндекс это действует, то с Гуглом в этом плане могут возникать проблемы, так как он может действовать по своему усмотрению.

Есть также специальный сервис Pr-cy.ru, позволяющий получить вебмастерам различные данные по сайтам – в том числе, число страниц, проиндексированных в Гугле и Яндексе. Чтобы узнать эту информацию, нужно посмотреть на две нижние колонки соответствующих поисковых систем.

Что помогает ускорить индексацию сайта

Чтобы страницы быстрее индексировались, нужно придерживаться главных правил:

Регулярное размещение уникальных и оптимизированных статей. Поисковый робот возьмет себе за привычку регулярно посещать тот сайт, на котором с определенной периодичностью размещается качественный, полезный и интересный контент.
Анонсирование о размещении нового контента или полезных обновлениях на сайте через социальные сети. После того, как появилась статья, можно самостоятельно сообщить об этом в социальную сеть с помощью кнопки retweet. Поисковый бот отметит это и зайдет на сайт через социальную сеть значительно быстрее.
Поисковому роботу гораздо проще найти конкретную страницу с помощью ссылки, имеющейся на вашем сайте

То есть, не стоит забывать о важности внутренней перелинковки.
Добавив xml-карту в панель вебмастера, мы даем возможность поисковому боту пройти по ней. Также ее нужно добавить в robots.txt

Полезна и карта сайта (карта для человека), по которой бот отыщет все страницы сайта.

В материале мы рассмотрели основные способы, позволяющие проверить, попали ли страницы сайта в индекс различных поисковых систем. Некоторые из них более эффективные, а какие-то – менее, но каждый из них имеет право на существование и использование.

Читайте далее:

Методы ускорения индексации сайта в яндексе

Seo – проверка индексации текста и веса ссылок тест

Быстрая индексация сайта в Гугле

Проверить картинки на уникальность

Популярные бесплатные CMS системы

Как скрыть персональные данные в поисковых системах?

Как проиндексировать сайт в Google

Индексация сайта в Google требует терпения, так как поисковые системы достаточно медлительны. Этот процесс занимает несколько недель, поэтому не затягивайте с добавлением ресурса в поисковик. Даже если на страницах вашего сайта еще не появились записи, его уже можно добавлять в систему выдачи «Гугла».

Для начала нужно создать свой аккаунт в Google (если у вас есть почта Gmail, то можно считать, что аккаунт уже зарегистрирован) и через него получить доступ ко всем инструментам этой системы.

Этапы регистрации сайта в Google:

Если все описанные выше шаги выполнены правильно, то ресурс уже будет добавлен в поисковик. Происходит индексация сайта в Google бесплатно, но этот процесс занимает от 7 дней до 3 недель.

Как происходит индексация сайта в Google

Скорость индексации разных онлайн-площадок в Google различается. Существует ряд факторов, от которых зависит, как быстро роботы поисковой системы посетят веб-площадку и сколько времени понадобится для внесения в информационную базу обнаруженных изменений. К примеру, новостные ресурсы индексируются быстроботами с интервалом в несколько часов. Есть несколько вариантов добавления онлайн-ресурса в «Гугл». Один из таких способов связан с размещением ссылок на проиндексированных страницах.

После посещения интернет-площадки роботы поисковой системы анализируют всю необходимую информацию и вносят ее в базу данных. Затем происходит ранжирование и определение авторитетности сайта (сортировка по установленным критериям – PageRank). Эти показатели рассчитываются исходя из количества и качества ссылок, которые ведут на него с других веб-страниц. Чем больше ссылочной массы, тем выше PageRank.

Рассмотрим основные факторы, влияющие на индексацию сайта в Google:

  • посещаемость;
  • релевантность контента (соответствие информации, представленной на сайте, запросам, которые интернет-пользователи вносят в поисковик) обеспечивается с помощью определенного количества ключевых слов в контенте и метатегах;
  • внутренняя оптимизация страниц сайта.

Показатели авторитетности интернет-страниц могут находиться в пределах от 0 до 10. У лучших ресурсов PageRank составляет 4–5 пунктов. По шкале авторитетности сам «Гугл» имеет показатель в 10 пунктов. В настоящее время отключен тулбарный показатель PR.

Нужно учитывать, что страницы блогов, сайтов и других ресурсов, имеющие более высокие индексы авторитетности, в выдаче «Гугла» располагаются выше своих конкурентов. При этом каждая из них имеет свой собственный показатель PageRank, поэтому у всех страниц место в выдаче может быть разным.

Индексация осуществляется с помощью Googlebot, который и осуществляет сканирование.

Что такое «Гуглбот»? В чем отличие сканирования от индексирования веб-страниц? Как эти процессы могут ускорить попадание страниц сайта в выдачу «Гугла»? Ответы на эти вопросы приведены ниже:

  1. Googlebot – специальная программа поисковой системы «Гугл», осуществляющая сбор информации в сети Интернет и сканирование веб-страниц с последующим их размещением в поисковой выдаче.
  2. Сканирование старых и новых страниц сайтов, которое осуществляется программой Googlebot, необходимо для поиска новой и измененной информации, передаваемой поисковой системе «Гугл». На этот процесс значительное влияние оказывают ссылки.
  3. После обработки информации, собранной гугл-ботами во время сканирования интернет-страниц, происходит их индексация. При условии, что размещенный контент соответствует качественным требованиям, он добавляется в индекс. В процессе индексации информации, размещенной на страницах, обязательно проводится рассмотрение ключевых слов, анализ alt-тегов и «тайтлов».

Остается только уточнить, как же программа Googlebot обнаруживает новый контент или обновление данных. Этот процесс включает анализ собранной информации об интернет-страницах, проиндексированных «Гуглом», и данных карты сайта, которая размещена его администратором. Далее рассмотрим, что нужно сделать, чтобы пройти индексацию.

На что влияет индексация?

Благодаря «прописке» в поисковых системах Яндекса и Гугла, сайты попадают в поле видимости пользователей и потенциальных клиентов. Сама по себе целевая страница в сети, онлайн-магазин или Landing Page не представляет ценности. Полезность её определяют посетители. Соответственно находясь в индексе и регулярно обновляя контент, ресурс растет в выдаче. Это увеличивает приток трафика и помогает развивать проект.

Роботы ПС оценивают не только качество контента, но и поведенческие факторы, посещаемость, вовлеченность. С помощью этих метрик определяется полезность сайта. Чем лучше поведенческие факторы аудитории, тем выше страницы в ранге. 

Первые 20 строк поисковой выдаче собирают 95% всего трафика по запросу. Поэтому быть в индексе на хорошем счету у ПС – это гарантия успешного продвижения и высоких конверсий.

Различия индексации сайта в Google и «Яндексе»

Основное различие поисковых систем «Гугл» и «Яндекс» заключается в региональной принадлежности. Если Yandex работает только в русскоязычной части Интернета, то Google является международным поисковиком. Свои системы поиска есть практически в каждой стране. В некоторых случаях региональные сервисы могут составлять серьезную конкуренцию «Гуглу» («Яндекс» в РФ, Seznam – в Чехии, Baidu – в КНР и т. д.). Подтверждением этого факта могут служить переговоры по вопросам выкупа сервиса Yandex компанией «Гугл», которые имели место в 2003 году. Пока такое поглощение не состоялось.

У каждой поисковой системы есть свои программы ботов, осуществляющие проверку сайтов на предмет релевантности и качества представленного на них контента. При этом стандарты работы таких роботов постоянно совершенствуются. Нужно отметить, что разработчики не открывают полностью суть алгоритмов индексации, поэтому специалисты постоянно анализируют поисковые программы и на основании имеющихся практических данных формируют определенные выводы.

Рекомендуемые статьи по данной теме:

  • Внутренняя оптимизация сайта: пошаговый разбор
  • Проверка robots.txt: типичные ошибки и их устранение
  • Редирект с http на https: повышаем безопасность сайта

Требования, которые предъявляют «Гугл» и «Яндекс» к индексации сайтов, имеют много общего. Поэтому можно сформулировать некоторые универсальные рекомендации:

Нужно уделять больше внимание качеству контента (уникальность, полезность и грамотность)

Программные и орфографические ошибки четко отслеживаются ботами и снижают индекс авторитетности сайта.
Интернет-площадки должны иметь понятную структуру
Важно, чтобы они были удобными для пользователей и содержали важную и ценную информацию.
Следует качественно проработать страницы контактов и обратной связи, разместить портфолио и отзывы, а также описать имеющиеся достижения.
На сайте нужно разместить работающие исходящие ссылки.
Контент на интернет-площадках должен постоянно обновляться, а их функционал следует дорабатывать с учетом различных нововведений и инноваций. Все это учитывается поисковиками при ранжировании сайтов.

Поисковая система «Яндекса» имеет два робота – основной и быстрый (Orange). Первый осуществляет индексацию Сети в целом, а второй обеспечивает возможность быстрого поиска наиболее свежей и актуальной информации по запросу пользователя. Каждый робот имеет перечень данных, которые необходимо проиндексировать.

По мнению экспертов, «Яндекс» работает медленнее, чем «Гугл». Но при этом поисковая система Рунета индексирует полезные материалы и исключает из выдачи «лишние» результаты.

Преимущество «Гугла» заключается в его универсальности. «Яндекс» же развивается исключительно в русскоязычном Интернете (попытки выйти на другие рынки имели место, но пока не увенчались успехом).

Система Yandex ориентирована на поиск по запросам из ограниченного перечня регионов. Но именно региональный характер во многом определяет его успешность. В настоящее время «Гугл» и «Яндекс» занимают в русскоязычном Интернете примерно одинаковые ниши.

В интернет-пространстве других стран поисковая система Yandex не получила распространение, так как наиболее значимыми факторами поиска там выступают язык и местонахождение пользователя. На основании этих критериев и строится поисковая выдача «Гугла». В системе «Яндекс» индексация по языковым признакам не происходит. Несмотря на то, что этот поисковик определяет место нахождения пользователя, он не учитывает этот фактор при обработке запроса. Классифицировать сайты Рунета по регионам в зависимости от языка запроса не получается. «Яндекс» может настраивать поисковую выдачу исключительно по территориальному признаку, в чем и заключается уникальность этой системы.

Не так давно Yandex запустил новый инструмент – поиск «Андромеда». После этого поисковик предлагает определенные места в городах, дает возможность собирать коллекции пользователя, информирует о событиях из мира спорта, отмечает статус интернет-ресурсов особыми значками в зависимости от их благонадежности и популярности. Каким образом новый инструмент может влиять на индексацию, еще не совсем ясно.

Важным нововведением 2018 года является замена показателя ТИЦ (индекс цитирования) на ИКС (индекс качества сайта). Новый показатель необходимо учитывать при продвижении ресурса.

Проверка технической составляющей

Проверка технической составляющей должна осуществляться в любом случае: будь-то выпадение сайта или отдельных страниц.

Так уж повелось, что Яндекс очень четко реагирует на качество работы сервера, где расположен сайт. Не раз я на опыте убеждался, что в случае серьезных технических проблем сайт может потерять, причем сильно, свои позиции. Точно не могу назвать границы, когда Яндекс начинает «штрафовать» сайт за плохую работу сервера, но в качестве гипотезы можно взять следующее утверждение: «Если в течение нескольких дней сервер „лежал“, то это могло стать причиной массового ухудшения позиций сайта в Яндекса». Конечно, сайт полностью не выпадет из индекса поисковой системы — для этого нужна не одна неделя, но «просесть» может.

Рассмотрим подробнее технические ошибки, которые могут негативно отразиться сразу на многих страницах одного сайта:

Долгое время ответа сервера. Если в результате технических неполадок на сервере невозможно получить тело документа за некоторый период времени, то это может привести к проседанию позиций в выдаче. Сам Яндекс подтверждает тот факт, что если его робот не смог скачать определенную страницу, эта страница может временно вообще пропасть из результатов поиска.

Например, в логах мы заметили:

213.180.206.248 — — [02/Feb/2008:02:18:44 0400] «GET / HTTP/1.1» 200 24625 «-» «Yandex/1.01.001 (compatible; Win16; I)» — это значит, что сервер отработал запрос правильно. В случае если сервер «лежал», то в логах не появится такая запись. Нужно действовать по-другому.

Существуют различные сервисы, которые позволяют оценить uptime («время бесперебойной работы» сервера). Работают они по следующему принципу. Периодически (обычно несколько раз в час) сайт опрашивается по протоколу http, т.е. как бы имитируется запрос обычного пользователя. Рассчитывается время ответа сервера и фиксируется статус ответа. По собранной таким образом статистике можно делать выводы о качестве работы сервера.

Как уже было сказано, существует много сервисов, которые отслеживают uptime. Обычно можно попробовать воспользоваться услугами в демо-режиме, с ограниченным функционалом. Но этого, как правило, недостаточно. Мне довелось поработать с сервисом host-tracker.com — в течение месяца, когда можно было пользоваться услугами без ограничений, вырисовывалась довольно-таки четкая картинка — на сервере были периодические сбои и host-tracker их фиксировал. По прошествии месяца проверка стала производиться гораздо реже — один раз в полчаса. В результате сейчас сервис считает uptime=100%, хотя на самом деле сайт периодически «лежит».

Некорректная работа сервера (неправильные HTTP-статус — коды, неверные HTTP-заголовки, неверная кодировка). В результате такой вот некорректной работы сервера робот Яндекса просто не получает тело документа. Что уж там конкретно произошло — пусть разбираются администраторы сервера, нам лишь нужно установить сам факт наличия ошибок со стороны сервера. Проще всего это сделать, если заранее зарегистрировать сайт в Яндекс.Вебмастере — а потом проанализировать информацию в разделе «Ошибки». Если по каким-то причинамЯндекс.Вебмастер не был установлен, то можно проанализировать логи apache: в ответ на запрос робота должен отдаваться 200 ответ сервера, могут также отдаваться ответы 301, 302, 304, но главное не 404. Если получите последний вариант, тогда нужно разбираться с проблемой тщательнее — скорее всего из-за этого сайт потерял свои позиции, а возможно, даже и часть страниц в индексе.

Например, совершенно недопустимым является следующий ответ:

213.180.206.248 — — [02/Feb/2008:03:14:44 0400] «GET / HTTP/1.1» 404 0 «-» «Yandex/1.01.001 (compatible; Win16; I)». Это говорит о том, что сервер по каким-то причинам отдал вместо главной страницы 404 ответ.

Остальные технические ошибки не являются массовыми, а носят локальный характер, например, наличие мета-тега refresh, из-за которого Яндекс не будет индексировать страницу. Перечень таких ошибок вы найдете на этой странице Я.Вебмастера.

Индексация страниц сайта в Яндекс Вебмастер

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

  • новые – страницы, которые недавно появились на сайте либо робот их только что обошел;
  • изменившиеся – страницы, который поисковик Яндекса раньше видел, но они изменились;
  • история обхода – количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

 

В этом пункте отображены страницы, которые Яндекс нашел.

N/a – URL не известен роботу, т.е. робот её раньше не встречал. 

Какие выводы из скрина можно сделать:

  1. Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет. 
  2. Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо – Яндекс удалил, а что надо – Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется – добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

  • для отслеживания изменений количества страниц в Яндексе;
  • для слежения за добавленными и исключенными страницами;
  • для выяснения причин исключения сайта из поисковой выдачи;
  • для получения информации о дате посещения сайта поисковиком;
  • для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Скрипт от seolib.ru

Во время поиска решения для проверки индексации страниц можно найти сразу несколько онлайновых сервисов, но ни один из них нормальные результаты не выдал. Ни один кроме онлайн скрипта от seolib.ru. Здесь вообще все элементарно просто — на странице в форме вводите ссылки, выбираете проверку индексации страниц в Google и (или) Яндекс, после чего запускаете скрипт.

Через пару секунд начнут появляться результаты в виде удобной таблицы. Проверка показала, то здесь если не 100% совпадение, то очень близкие к этому. Также большим плюсом и экономией времени есть то, что индексация проверяется сразу в двух поисковиках, в отличии от  YCCY. Из минусов можно отметить, что бесплатная проверка слегка ограничена в количестве попыток — вы можете ее сделать лишь 5 раз в сутки с одного IP, причем не более 10-ти страниц за раз. Если для вас это важный момент и имеются большие объемы работы. то можно снять ограничение за небольшую плату  — 0.001у.е. за 1 страницу. В целом, конечно, скрипт от seolib.ru — очень хорошая разработка.

Проверка индексации страниц сайта через поиск

Термином «индексация сайта» обозначают добавление ресурса или его материалов в базу данных поисковой системы. То есть, если страницы сайта проиндексированы, то при введении поискового запроса они окажутся в общей выдаче. Это именно то, чего добиваются вебмастера – чтобы материалы Интернет-ресурсов как можно быстрее оказались проиндексированы.

Чтобы быть уверенными в том, добавлен ли сайт в поисковую базу, выполняется проверка индексации сайта в Яндексе, Гугле и других поисковых системах. Эту проверку можно выполнять как ручным способом, так и автоматически.

Рассмотрим, как проверить проиндексирован ли сайт, используя при этом поисковый запрос. Здесь возможно несколько вариантов:

  1. Введение url конкретной страницы в поисковый запрос. Этот способ подойдет для тех страниц, которые проиндексированы не быстроботом Яндекса. В противном случае, страница может и не отобразиться, поэтому данный метод проверки малоэффективный.
  2. Введение части текста в поисковый запрос. Метод действует только тогда, когда текст уникальный. Для этого необходимо выделить часть текста (10-20 слов) и ввести их в поиск. Однако, материал будет достаточно поздно отображаться в выдаче. Этот способ также не очень эффективный и хлопотный.
  3. Использование расширенного поиска. Чтобы узнать, проиндексирован ли сайт в Яндексе, нужно ввести необходимый запрос в этом поисковике и выполнить поиск, после чего под строкой появится ссылка «Расширенный поиск». Что касается Гугла, то с ним немного дольше придется повозиться. После введения запроса с правой стороны появится знак шестеренки – «Настройки». Нужно нажать этот значок и в меню выбрать пункт «Расширенный поиск». Помимо Яндекса и Гугла другие ПС также располагают расширенным поиском. Итак, дальше нужно ввести фразу и домен, на котором нужно произвести поиск. В выдаче обычно самой первой должна появиться нужная статья. Это работает при условии, что материал уникальный. Можно пойти более быстрым путем и сразу вбить в расширенный поиск url страницы. Данный способ эффективный, но требует временных затрат. Следует учесть, что не всегда нужный адрес находится на первой позиции в поисковой выдаче. Иногда необходимо просмотреть всю первую страницу в выдаче, то есть, топ-10.
Оцените статью
Рейтинг автора
5
Материал подготовил
Илья Коршунов
Наш эксперт
Написано статей
134
Добавить комментарий