Ошибки верстки приводят к бану страниц в Google

То, что ошибки верстки могут привести к бану страниц в Google, я убедился на собственном опыте. Об этом говорят в инете, но без конкретных доказательств. У меня доказательства бана в Google появились совершенно случайно, когда несколько дней назад я обнаружил, что одна из ключевых страниц  блога Заказать блог под ключ потеряла позиции в выдаче, а потом вообще выпала из поиска.

Что случилось? Где искать проблему?

Бан в Google произошел на 8й день после полного обновления дизайна и структуры блога, и на 3й день после полного обновления самой страницы. После таких глобальных изменений, я не представлял себе, где искать причину бана страницы. Неужели весь мой труд ушел «коту под хвост»?

Как я искал причину бана страницы в Google.

Техника поиска проблемы проста, двигаться  «От общего к частному». Данный метод позволяет логическими цепочками выявить проблемное место. Мне это часто помогало.

  1. Первое, что пришло в голову — глобальные изменения дизайна, структуры, перелинковки, это и есть причина бана.
    Как проверить?
    Я пошел смотреть статистику в панелях вебмастера Google и Yandexa, и проверять позиции по другим страницам. Как оказалось, в Яндексе все было ОК, страница в поиске.  В Google есть проседание по некоторым запросам и практически полное отсутствие запросов, связанных со страницей  Заказать блог под ключ. Один из запросов оказался в поиске, но смотрел уже не на эту страницу, а на Главную. Проблем в панелях вебмастера, как в Гугле так и в Яндексе, не обнаружено. Никаких претензий или сообщений нет.
    Все это означало, что проблема не глобальная по блогу, а местная и связана именно с этой страницей. Это меня обрадовало.
  2. Вторая мысль, перед глобальным изменением страницы Заказать блог под ключ, я вывесил заглушку на эту страницу и изменил ее URL, на более релевантный будущим запросам. Конечно с 301 редиректом. Заглушка провисела 5 дней, с парой строк текста. Может быть после этого Гугл обиделся и решил забанить страницу, но как-то не логично.
    Как проверить эту гипотезу?
    Я внимательно изучил график позиций в поисковой выдаче, сразу по нескольким запросам, по периодам. Обнаружил, что при отсутствии контента в странице, позиции просели, по запросам касающимся именно этой страницы, примерно на 10 позиций.  После появления обновленного контента, позиции практически вернулись на прежние места, продержались 3 дня и пошло обрушение.
    Вывод, проблема где то в самой странице. Теперь попробуем сузить поиск.
  3. Третья мысль, на странице много текста. Я действительно полностью переписал данную страницу и текста стало намного больше чем было ранее, около 26000 символов только текста, не включая окружение. Причем в странице задействованы скрипты и css, скрывающие часть контента в разворачивающихся блоках. Возможно Гугл такой текст не охотно индексирует, а скрытые блоки добавили недоверия к странице и приводят к бану.
    Как проверить?
    Я пошел искать по инету сайты с большим количеством текста на страницах.  Далеко идти не пришлось. У одного из моих клиентов, которому я делал блог, было несколько страниц с еще большим количеством символов. Я узнал, по каким запросам он продвигает свои страницы и посмотрел выдачу. Все ОК. Данные страницы нормально висели в топе выдачи по данным ключевикам. Но вот только таких вкладок как у меня, у него не было. На старой странице у меня тоже были вкладки и все было ОК. Да и на многих ресурсах сейчас можно встретить вкладки.
    Вывод, страницы с большими текстами и раздвижными блоками для Гугла не проблема. Интуиция мне подсказывала, что проблема в другом.
  4. Чисто интуитивно, я кликнул на странице в браузере правой кнопкой мыши, выбрал «Исходный код страницы» и стал его просматривать. При беглом осмотре, ничего не найдя, собирался уже закрыть страницу кода, когда мне на глаза попался текст title в header страницы. Он явно не совпадал с тем текстом, который был в заголовке браузера. Как такое может быть? И тут, я обнаружил первую ошибку, в странице было два title! Потом, я прогнал еще страницу через валидатор Markup Validation Service и обнаружил еще ошибки.
    Вывод. Это первая проблема, с которой необходимо начать возвращать страницу к жизни после бана. Исправляем и смотрим результат.
    Из заголовка поста вы поняли, что это и есть причина бана страницы в Google, о которой я расскажу далее.

Как я исправлял ошибки и где был источник

  1. Первым делом нужно было найти источник появления двух title. Тут все просто. Первый title прописан в коде шаблона, а вот второй ставиться плагином wpSeo. Но почему раньше этой проблемы не возникало? Просто потому, что много месяцев назад настроив данный плагин я уже забыл, какие опции, на что влияют. В данном плагине есть одна интересная опция, она проверяет на дублирование мета-тегов и убирает лишние. Подсказка у данной опции на английском и с непонятным описанием. После обновления блога я конечно же перенастраивал все плагины и отключил данную опцию в плагине.
  2. Чтобы не получить данную ошибку в будущем и гарантированно иметь только один title, я удалил прописанный в шаблоне динамический title. Советую и вам обратить внимание на данную проблему. Если вы используете плагины для генерации title и мета-тегов, не исключено что и у вас могут появиться данные проблемы.
  3. И самым последним, я подчистил все возможные ошибки в верстке, которые нашел валидатор. Их оказалось не много и связаны были в основном с разметкой. Некоторые теги были не закрыты, у некоторых одиночных тегов не стоял в конце слеш и т.д. Остались ошибки, связанные с кодом плеера Youtube, странно, что их код не валиден, но это не критические ошибки и не должны влиять на поисковую выдачу.

Результат изменений и возвращение к жизни после бана

После исправления всех ошибок, я стал ждать очередного прихода робота от Google. Но к моему сожалению,  робот, посещая мой блог, все время обходил обновленную страницу стороной. Я попробовал стандартные средства. Обновил страницу в редакторе, с пингом в Гугл, обновил sitemap.xml в панели вебмастера Гугла. Ничего. Гугл посещает каждый день кучу страниц моего блога, но эту обходит.

Через пару дней я применил проверенный способ, изменил адрес в 2х внешних ссылках (беках) на мой сайт, которые до этого смотрели на главную и направил их на мою обновленную страницу. Ссылки довольно жирные. Результат получил в тот же день. Робот Гугла зашел на страницу, аж 2 раза. Видно ему понравилось обновление страницы.

Я думал, что для возврата позиций, после бана,  потребуется как минимум несколько дней. Но как я удивился, когда обнаружил в поиске свою страницу уже через 4 часа после прихода робота. Вот это оперативность!

Я проверил все запросы, которые касались данной страницы и как оказалось, позиции в Google выросли существенно. Одни запросы получили первые места, другие вторые. В основном 1-2 места. Раньше у этих запросов были 1-6 места. Вот спасибо!

Выводы:

  1. Ошибки в коде страницы существенно влияют на поисковую выдачу страницы в Google, вплоть до временного бана страницы. Есть подозрение, что из-за этого могут просесть в выдаче и другие страницы блога.
  2. Ошибки в коде страницы не влияют на поисковую выдачу страницы в Yandex. Страницы блога не поменяли своих позиций. Причем в снипете используется второй по счету title. На данный момент в снипете находится не обновленная информация со старой страницы с ошибками. Возможно в Яндекс обновление поисковой выдачи происходит не так быстро как в Гугле и нужно подождать. Позже отпишу здесь о результатах.
  3. Необходимо стараться использовать валидные шаблоны и почаще проверять страницы на валидность. Я заметил, что сам редактор WordPress иногда любит создавать ошибки, особенно если неправильно использовать вставку текста из Word.
  4. Нужно отслеживать корректность изменений, которые вносят плагины. Ошибки возможны не только из-за не правильной работы самого плагина, но и из-за неправильной их настройки.
  5. К счастью, после исправления ошибок, страницы быстро возвращаются на свои места в поисковой выдаче, с бонусом. Что очень радует.

Для тех кому интересно, чем я отслеживаю поисковых роботов, даю ссылки на 2 плагина:

  1. Crawl Rate Tracker — плагин выводит в админке минимальную статистику по заходам роботов. Минусы: некоторые поисковики приходится добавлять в код плагина вручную. У меня работал с глюками, в частности, не работал график.
  2. Bot Tracker — это не просто плагин, это целый комбайн по отслеживанию роботов с интеграцией в WordPress. Я использую его. Но с ним также есть проблемы. Не на всех хостингах он просто подключается. На моем, в частности, пришлось помучаться, пока я смог его подключить. Но в остальном его работа мне нравится. Он показывает не только статистику посещения роботами, но и статистику по индексации, ключевым словам, попыткам взлома. Правда с запросами на кириллице он не дружит. Зато у него самая большая база поисковых ботов и можно добавить свои, через панель.

Надеюсь, читать было интересно и мой опыт вывода страницы из бана в Google поможет и вам.

P.S. Если у кого-то были аналогичные проблемы, с поисковой выдачей, связанные с ошибками в коде страницы, добро пожаловать в комментарии.


Нашел ошибку в тексте? Выдели ее мышкой и нажми Система Orphus
СЛЕДИТЕ ЗА НОВОСТЯМИ Подписаться на мой Twitter
Автор:Олег МедынскийРубрика: Оптимизация блога
Разрешается перепечатка статьи с обязательным указанием открытой ссылки на источник.

КОММЕНТАРИИ К СТАТЬЕ

  1. 2.1

    Да, ну бред. Ваш валидатор находит кучу ошибок на страницах моего сайту. Там тег не закрыл, то не этак. А захожу в верстку, там все теги в порядке и все на месте.

    • 2.2

      :) Валидатор не мой. Валидатор по большей части верный.

      • 2.3

        Ну как он может быть верный, если он пишет, тега нет. А заходишь на редактирование, тег на месте?

        • 2.4

          Исправьте верхние ошибки и уйдет эта. Если присутствует ошибка в верстке то парсер валидатора не может определить где заканчиваются теги.

  2. 2.5

    Ого, прям таки Бан, такого не встречал.

  3. 2.6

    Всё верно написано в статье. Схлопотал тоже самое. Дооптимизировался. Пробовал несколько плагинов типа All in One Seo и они все «наследили» в коде, т.е. теперь несколько description . буду пробовать валидатор.

  4. 2.7

    Попробовал. Плагин Social Share Buttons добавлял массу ошибок типа

    html xmlns:fb="http://ogp.me/ns/fb#

    . Деинсталлировал стало на 23 ошибки меньше!

  5. 2.8

    Ладно а что делать с ошибкой

    Line 50, Column 54: Using the meta element to specify the document-wide default language is obsolete. Consider specifying the language on the root element instead. 
    

    ? Я так понимаю этот код сам WordPress генерирует.

    • 2.9

      Сам wordpress данный мета-тег не вставляет. Он прописан либо в коде шаблона либо его вставляет какой то плагин.

  6. 2.10

    Опять 25 … одни говорят Валидатор тупой…другие что хозяин блога))) В общем видимо золотая середина должна быть…

  7. 2.11

    вам наверно стоит добавить в валидатор сайт http://www.google.ru и посмотреть сколько там ошибок.

    • 2.12

      Ошибки есть у всех, но это не говорит что нужно наплевательски к ним относиться. Авторитетным ресурсам многое прощается, не факт что простят аналогичные ошибки вашему ресурсу

      • 2.13

        ну если google сам имеет ошибки причём больше чем на большинстве сайтов в интернете то как бы не совсем понятно почему и как он за них может наказывать. правильнее наверное было бы сначала исправить у себя эти ошибки если они влияют на что то.

        • 2.14

          Я вам описал текущую ситуацию и реальную реакцию Google. К сожалению или к счастью я не являюсь представителем Google. Почему так происходит лучше задать вопрос самому Google.

          • 2.15

            понятно

  8.  


Ваши вопросы, замечания, пожелания и предложения, по работе сайта, пишите на E-mail.