При продвижении сайта в поисковые системы иногда возникает следующая проблема - некоторые страницы ресурса никак не могут быть проиндексированы поисковиками. Почему так происходит? Сложно однозначно ответить на этот вопрос, пока нет возможности посмотреть на сам проект и попытаться исправить очевидные проблемы, если таковые имеются. И даже если причина, почему поисковики игнорируют какую-либо страницу, найдена, всегда существует вероятность, что она может быть не единственной. Естественно получается так - если часть страниц, оптимизированных под определённые ключевые слова, не индексируется поисковиками, то эффективное продвижение сайта просто невозможно.

Если возникают проблемы с индексацией, изначально есть смысл проверить в каждом поисковике отдельно, выбранном для продвижения - вполне возможно, что проблема есть только с одной поисковой системой. В этом случае причина может быть даже в банальной ошибке. Многие системы предоставляют возможность проверить проиндексирована ли определённая страница при помощи специальных операторов, однако есть более простой и быстрый способ - просто ввести в строку поиска адрес страницы и посмотреть результаты. В том случае, если поисковик не выдаст ссылку на эту страницу Вашего сайта, логично предположить, что она не проиндексирована.

Когда Вы уже осознали, что определённая страница действительно не проиндексирована в поисковике, необходимо проверить и все остальные страницы сайта, введя в строку поиска "site:имя_сайта.ru". При этом Вы точно поймёте, какие страницы Вашего ресурса уже проиндексированы, а какие нет - ведь проблема может быть куда масштабнее, чем одна "забытая" поисковиками страница. К основным причинам проблем с индексацией специалисты Newmann Bauer относят:

1. Слишком длинный динамический адрес страниц. Поисковики иногда "отказываются" от индексации страниц, адрес которых слишком длинный и содержит множество дополнительных параметров;
2. Если на страницах сайта содержатся тексты, которые являют собой обыкновенный спам. Также такое может произойти из-за контента, перенасыщенного ключевыми словами. Решение - наполнение страницы другим содержанием и просьба о переиндексации страницы. В противном случае спам может испортить рейтинг сайту в целом;
3. В том случае, если файл robots.txt, содержащий инструкции для поисковых роботов составлен неправильно, некоторые страницы могут быть просто исключены и необходимости их индексации для поисковых роботов не существует. Это также может быть причиной, по которой не индексируется какая-либо определённая страница ресурса;
4. На Вашем проекте содержатся скрытые ссылки. Если навигация по проекту происходит при помощи способов, которые не относятся к HTML, поисковики могут просто не видеть страницы, которые необходимо проиндексировать.

Бывает и так, что индексация всех страниц проходит правильно, а одна-единственная страница остаётся недоступной к обнаружению через поисковые системы. В этом случае вполне возможно, что такая страница доступна только тем пользователям, которые заполняют определённую форму или же кликают на всплывающее окно - поисковые роботы делать этого пока ещё не научились. На странице также может присутствовать редирект с использованием JavaScript или мета обновлением, которое препятствует индексации. Также в случае использования фрейма на странице, грубых ошибок в коде или слишком длинных размеров индексация вполне возможно будет неправильной.

Всем привет друзья!
Многие сеошники на различных форумах часто спрашивают, почему Яндекс не индексирует сайт. В данной статье я постараюсь подробно ответить на этот вопрос и напишу возможные причины, почему все-таки Яндексу так сильно не понравился ваш ресурс, что он не хочет его индексировать:smile:.

Итак, давайте перейдем сразу к делу.

1. Сайт очень молодой.
Если вы недавно и начали писать статьи, то можете не переживать, все с вашим проектом нормально. Яндекс очень долго индексирует молодые ресурсы, иногда приходиться ждать несколько месяцем, да-да, и такое бывает.

Если ваш сайт очень молодой, то вполне возможно, что Яндекс его еще не нашел в интернете. Но вы можете помочь ему это сделать. Сейчас есть очень много способов, которые позволяют ускорить индексацию блога. О них вы можете прочитать . Если проделаете все то, что там написано, то через неделю ваш сайт точно проиндексируется в Яндексе, а возможно и быстрее.

2. Санкции от поисковых систем.
Если сайт уже не молодой, и он был в индексе, но потом внезапно вылетел, то, скорее всего, Яндексу что-то не понравилось, и он наложил на него санкции. Этих санкций есть очень много, но самая популярная, это фильтр АГС. Некоторые спрашивают: «Почему Яндекс не индексирует сайт кроме главной страницы ?». Если в индексе только главная страница, то, скорее всего, сайт находиться под АГС. О том, как проверить блог на АГС и как вывести его оттуда, я писал .

Кроме АГС сайт также мог попасть в Бан — это когда с индекса вылетают все страницы.

3. Случайный запрет индексации.
Многие новички по ошибке могут запретить индексировать сайт. Для примера в файле robots.txt за запрет индексации отвечает такая сточка:

User-agent: *
Disallow: /

Если вы хотите, чтобы ваш ресурс нормально индексировался в поисковых системах, то этой строчки не должно быть в robots.txt.

Кроме этого есть и другие способы, с помощью которых можно случайно . Если у вас ресурс сделан на движке wordpress, то перейдите в «Панель управление» - «Настройки» - «Чтение» и проверьте, чтобы возле надписи «Рекомендовать поисковым машинам не индексировать сайт» не было чекбокса.

4. Ошибка сервера.
Иногда может быть такое, что поисковый робот заходит на сайт, а ему выдается 505 ошибка. Конечно он сразу же покинет этот сайт, и думаю, еще не скоро на него вернется:smile:.

Если вы заходите на свой блог и часто видите 505 ошибку, то это очень плохо, советую сменить хостинг. Есть также и много других ошибок (500, 302) и т. д. Но думаю, вам не стоит забывать этим голову. Просто, проверьте, ответ сервера, он должен быть 200 ок . Проверить можно на этой странице :

5. Плохая история домена.
Если вы зарегистрировали новый домен и не проверили его историю, то это очень плохо. Может быть такое, что на этом домене был когда-то давно гавносайт и поисковые системы его забанили. Даже если вы теперь создали другой белый и пушистый ресурс, поисковики знаю историю, и поэтому могут его не индексировать. Я недавно писал статью о том, . Можете воспользоваться этой инструкцией.

6. Неуникальный контент.
Если на молодой сайт начать опубликовывать неуникальные статьи, то это очень плохо, поисковые системы могут перестать его индексировать или индексировать хуже.

Некоторые вебмастера считаю, что ничего страшного не произойдет, если статьи на других сайтах, главное чтобы посетителям нравилось. Но я думаю, что это так считаю только те люди, которым лень писать. Ведь, так намного проще, нашел, скопировал, вставил:smile:. За день можно опубликовать 100 статей, а через несколько лет уже будет целая википедия.

В общем, не слушайте никого, кто говорит, что можно копировать чужие статьи. Если вы хотите до большой посещаемости и зарабатывать потом на сайте деньги, то нужно писать статьи самостоятельно или заказывать у , но обязательно .

Если есть проблемы с индексацией — в первую очередь надо проверить robots.txt и sitemap.xml.

Любая поисковая система имеет объемную базу данных, куда вносит все сайты и новые страницы. Эта база называется «индекс». Пока робот не обойдет html-документ, не проанализирует его и не внесет в индекс, он не появится в поисковой выдаче. Попасть на него можно будет только по ссылке.

Что значит «индексация»

Лучше, чем спец Яндекса по индексации, вам об этом не расскажет никто:

Индексация — это процесс, в ходе которого страницы сайта обходит поисковый робот и включает (либо же не включает) эти страницы в индекс поисковой системы. Поисковый бот сканирует весь контент, проводит семантический анализ текстового содержимого, качество ссылок, аудио- и видеофайлов. На основе всего этого поисковик делает выводы и вносит сайт в ранжирование.

Пока сайт вне индекса, о нем никто не узнает, кроме тех, кому вы можете раздать прямые ссылки. То есть ресурс доступен для просмотра, но в поисковой системе его нет.

Для чего вообще нужен индекс

Сайт должен попасть в видимость, чтобы продвигаться, расти и развиваться. Веб-ресурс, который не появляется ни в одной ПС, бесполезен и не несет пользы ни пользователям, ни его владельцу.

Вообще, вот полное видео со школы вебмастеров Яндекса, если посмотрите его полностью — станете практически спецом в вопросе индексации:

От чего зависит скорость индексации

Основные пункты, от которых зависит, насколько быстро ваш сайт может попасть в область внимания поисковых роботов:

• Возраст домена (чем старше доменное имя, тем более к нему благосклонны боты).
• Хостинг (ПС совершенно не любят и часто игнорируют бесплатные хостинги).
• CMS, чистота и валидность кода.
• Скорость обновления страниц.

Что такое краулинговый бюджет

У каждого сайта есть краулинговый бюджет — то есть количество страниц, больше которого в индекс попасть не может. Если КБ сайта — 1000 страниц, то даже если у вас их десять тысяч, в индексе будет лишь тысяча. Размер этого бюджета зависит от того, насколько ваш сайт авторитетный и полезный. И если у вас проблема такого характера, что страницы не попадают в индекс, то как вариант, вам нужно, как бы это банально ни звучало, улучшать сайт!

Индексация сайта

Создавая новый сайт, нужно правильно заполнить файл robots.txt, который указывает поисковикам, можно ли индексировать ресурс, какие страницы просканировать, а какие не трогать.

Файл создается в формате txt и помещается в корневой папке сайта. Правильный роботс — это отдельная тема. От этого файла в первую очередь зависит, что и как будут анализировать боты на вашем сайте.

Обычно, на оценку нового сайта и внесение его в базу данных поисковикам требуется от пары недель до пары месяцев.

Пауки тщательно сканируют каждый разрешенный html-документ, определяя соответствующую тематику для нового молодого ресурса. Осуществляется это действие не за один день. При каждом новом обходе ПС будут вносить все большее и большее число html-документов в свою базу. Причем время от времени контент будет подвергаться переоценке, вследствие которой могут меняться места страниц в поисковой выдаче.

Также управлять индексацией помогают мета-тег robots и отчасти canonical. При проверке структуры и решении проблем с индексацией надо всегда смотреть на их наличие.

Google сначала индексирует страницы верхнего уровня. Когда следует проиндексировать новый сайт с определенной структурой, первой в индекс попадает главная страница. После этого, не зная структуры сайта, поисковик будет индексировать то, что находится ближе к слешу. Позже индексируются каталоги с двумя слешами. Это значит, что, даже если ссылки в контенте расположены высоко, они не обязательно будут проиндексированы первыми. Важно оптимально составить структуру, чтобы важные разделы не находились за большим количеством слешей, иначе Google решит, что это страница низкого уровня.

Индексация страницы

Когда Яндекс и Гугл уже познакомились с сайтом и «приняли» его в свою поисковую базу, боты будут возвращаться на ресурс, чтобы сканировать новые, добавляющиеся материалы. Чем чаще и регулярнее будет обновляться контент, тем более пристально будут следить за этим пауки.

Говорят, что для индексации помогает плагин ПДС пингер для поиска Яндекса — https://site.yandex.ru/cms-plugins/ . Для этого нужно сначала установить поиск Яндекса на свой сайт. Но я особой пользы от него не ощутил.

Когда ресурс хорошо проиндексировался, выводить в поиск отдельные, новые страницы уже гораздо проще. Но тем не менее далеко не всегда анализ происходит равномерно и с одинаковой скоростью для всех, одновременно обновленных html-документов. Всегда выигрывают наиболее посещаемые и раскрученные категории ресурса.

Какие есть у поисковиков источники информации об url

Когда-то давно я привлекал быстроробота на конкурента, не продлившего домен, чтобы его понизили в выдаче – это не дало никакого результата.

Как проверить индексацию

Проверка видимости документов html осуществляется по-разному для Google и Яндекс. Но в целом не представляет собой ничего сложного. Сделать это сможет даже новичок.

Проверка в Яндекс

Система предлагает три основных оператора, позволяющих проверить, сколько html-документов находится в индексе.

Оператор «site:» – показывает абсолютно все страницы ресурса, которые уже попали в базу данных.

Вводится в строку поиска следующим образом: site:сайт

Оператор «host:» – позволяет увидеть проиндексированные страницы с доменов и поддоменов в рамках хостинга.

Вводится в строку поиска следующим образом: host:сайт

Оператор «url:» – показывает конкретную запрашиваемую страницу.

Вводится в строку поиска следующим образом: url:сайт/obo-mne

Проверка индексации этими командами всегда дает точные результаты и является самым простым способом анализа видимости ресурса.

Проверка в Google

ПС Гугл позволяет проверить видимость сайта только по одной команде вида site:сайт.

Но у Google есть одна особенность: он по-разному обрабатывает команду с введенными www и без. Яндекс же такого различия не делает и дает абсолютно одинаковые результаты, что с прописанными www, что без них.

Проверка операторами — это самый «дедовский» способ, но я для этих целей пользуюсь плагином для браузера RDS Bar.

Проверка с помощью Webmaster

В сервисах Google Webmaster и Yandex Webmaster также можно посмотреть, сколько страниц находится в базе данных ПС. Для этого нужно быть зарегистрированным в этих системах и внести в них свой сайт. Попасть в них можно по ссылкам:

Суть такая — просто вбиваете адреса страниц, и сервис вам выдаёт результаты:

Проверяет не очень быстро — там надо будет подождать минуты 3, но к бесплатному инструменту и претензий немного. Просто в фоновом окне ставьте и занимайтесь своими делами, через несколько минут результаты будут готовы.

Можно ли ускорить индексацию?

Повлиять на скорость загрузки html-документов поисковыми роботами можно. Для этого следует придерживаться следующих рекомендаций:

• Повышать количество соцсигналов, побуждая пользователей делиться линками в своих профилях. А можно брать твиты с живых аккаунтов в Prospero (klout 50+). Если составите свой вайт-лист твиттеров, считайте, что получили мощное оружие для ускорения индексации;
• Почаще добавлять новые материалы;
• Можно по самым дешевым запросам в своей тематике директ начать крутить;
• Вносить адрес новой страницы в аддурилки сразу же после ее публикации.

Высокие поведенческие факторы на сайте также положительно влияют на скорость обновления страниц в поиске. Поэтому не стоит забывать о качестве и полезности контента для людей. Сайт, который очень нравится пользователям, обязательно понравится и поисковым роботам.

В Google вообще все очень легко — добавить страницу в индекс в течение нескольких минут можно сканированием в панели для веб-мастеров (пункт сканирование/посмотреть как Googlebot/добавить в индекс). Таким же образом можно быстро переиндексировать необходимые страницы.

Я слышал еще истории о чуваках, которые отсылали урлы почтой Яндекса, чтобы они быстрее попали в индекс. На мой взгляд, это бред.

Если проблема прям есть, и все предыдущие советы не помогли, остается переходить к тяжелой артиллерии.

• Настраиваем заголовки Last-modified (чтобы робот проверял на обновление только документы, которые действительно изменились с последнего его захода);
• Удаляем мусор из индекса поисковых систем (этот мусор можно найти с помощью Comparser);
• Скрываем от робота все ненужные/мусорные документы;
• Делаем дополнительные файлы Sitemap.xml. Обычно роботы читают до 50 000 страниц из этого файла, если у вас страниц больше — надо делать больше сайтмапов;
• Настраиваем работу сервера.

Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.

Индексация в Яндекс

Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает 🙂

Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.

Проверить индексацию сайта в Яндексе можно несколькими способами:

• с помощью Яндекс Вебмастера;
• с использованием операторов поисковой системы;
• с помощью расширений и плагинов;
• с помощью онлайн-сервисов.

Индексация страниц сайта в Яндекс Вебмастер

Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

• новые — страницы, которые недавно появились на сайте либо робот их только что обошел;
• изменившиеся — страницы, который поисковик Яндекса раньше видел, но они изменились;
• история обхода — количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

В этом пункте отображены страницы, которые Яндекс нашел.

N/a — URL не известен роботу, т.е. робот её раньше не встречал.

Какие выводы из скрина можно сделать:

1. Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
2. Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо — Яндекс удалил, а что надо — Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется — добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

• для отслеживания изменений количества страниц в Яндексе;
• для слежения за добавленными и исключенными страницами;
• для выяснения причин исключения сайта из поисковой выдачи;
• для получения информации о дате посещения сайта поисковиком;
• для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Проверка количества страниц в индексе Яндекса с помощью операторов

Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.

Будем использовать два оператора:

• «site» — поиск по всем поддоменам и страницам указанного сайта;
• «host» — поиск по страницам, размещенным на данном хосте.

Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.

Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.

Проверка индексации с помощью плагинов и расширений

Проверить индексацию сайта с помощью сервисов

Таких сервисов очень много. Я покажу вам два.

Serphunt

Serphunt — онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.

Одновременно можно проверить до 100 страниц сайта по двум поисковикам — Яндекс и Google.

Чтобы проверить индексацию страницы внесите её в список:

Нажимаем «Начать проверку» и через несколько секунд получаем результат:

15.2 Что делать, если сайт не индексируется.

Сайт не индексируется. Что делать?
Я много писал, что хороший сайт не столкнется с проблемами индексации, и тем не менее именно мой Крым-Блог , которым я иллюстрирую все примеры в этом учебнике, очень долго не хотел индексироваться Гуглом. Так что вопрос из заголовка я плотно изучил на практике.

Крым-Блог создан на CMS Joomla, под управлением которой работают миллионы ресурсов. Никаких наворотов, уникальные тексты, хорошие ссылки – все условия для идеальной индексации. И несмотря на это Гугл первые два месяца добавлял к себе по одной страничке в три дня.

При этом парадоксально: позиции и трафик с гугла уже имелись, а в индексе сидело всего 3-5 страниц. Логика разбивается на мелкие кусочки, но факт – так оно и было.

Итак, что нужно предпринять, если сайт не индексируется? Первым делом не паниковать. Изучая форумы с подобными вопросами, я увидел что проблема более чем решаема. Чем хороши форумы – читаешь крик о помощи годичной давности «сайт не индексируется уже 3 месяца!». Заходишь в поиск и проверяешь индексацию указанного ресурса. И видишь – все уже в порядке, значит вебмастер решил проблемы. И так было практически во всех случаях, что несомненно внушает оптимизм.

1. Публикация ссылки на очень посещаемом сайте . Работает безотказно, опубликованная страница влетает в индекс через пару часов после публикации. Недостаток – очень дорого, а гарантированно индексируется только та самая ссылка, которую мы разместили.

Индексацию остальных страниц это может подтолкнуть, а может и нет.

Недостатки те же – если аккаунты хорошие, то публикация в них стоит денег. Но все же это обойдется ощутимо дешевле первого способа.

3. Прогон по соц. закладкам . Сам не пробовал, но говорят, что для ускорения индексации это тоже работает хорошо.

Преимущества – дешево. Недостатки – соц. закладки заспамлены просто безумно, не очень мне нравится публиковать свой ресрус в таком окружении. Хотя вреда от этого быть не должно.

4. Посмотреть как ГуглБот . Отличный способ для гугла. Идем в панель вебмастеров, раздел Сканирование ->Посмотреть как Google bot. И там можно отправить запрос на принудительную индексацию выбранной страницы. Не пройдет и суток, как страница практически гарантированно появится в индексе.

Тут правда есть ограничение – за раз отправить боле 10 страниц не получится. Правда это число «возобновляемое». Т.е. использовали вы весь лимит на отправку в индекс, а через недельку эта возможность снова становится доступной.

При нажатии на кнопку «отправить в индекс» есть выбор между «отправить данную страницу» и «отправить данную страницу и все с ней связанные». Во втором случае мы просим гугл проиндексировать не только заданный УРЛ, но и пройти по ссылкам с него на другие разделы сайта.

По моему опыту, индексация отправленной страницы происходит всегда, а вот по ссылкам на ней Гугл может и не пойти.

5. Xml карта сайта . Карты сайта изначально появились в далеком прошлом. Их цель была упростить навигацию на сайте. Карта обычно содержала структурированную информацию о разделах ресурса и позволяла быстро на них перейти.

Для поисковиков карта сайта тоже благо, т.к. ссылки на все страницы собраны в одном месте.

По моим соображениям, эта возможность является мега-полезной для сайтов с десятками тысяч страниц. Если же у вас их всего пара сотен, то xml картой сайта можно не заморачиваться.

Но судя по отзывам, добавление карты сайта позволяет ускорить индексацию. Мой личный опыт этого не подтверждает, но хуже от добавления xml карты точно не станет.

Ну и заключительный совет повторю еще раз – не спешите, рано или поздно поисковые системы обязательно проиндексируют ваш ресурс.

Моя книга издана в бумажном варианте. Если этот учебник оказался для вас полезным - то вы можете отблагодарить меня не только морально, но и вполне осязаемо.
Для этого нужно перейти на