Ошибки верстки приводят к бану страниц в Google

То, что ошибки верстки могут привести к бану страниц в Google, я убедился на собственном опыте. Об этом говорят в инете, но без конкретных доказательств. У меня доказательства бана в Google появились совершенно случайно, когда несколько дней назад я обнаружил, что одна из ключевых страниц  блога Заказать блог под ключ потеряла позиции в выдаче, а потом вообще выпала из поиска.

Что случилось? Где искать проблему?

Бан в Google произошел на 8й день после полного обновления дизайна и структуры блога, и на 3й день после полного обновления самой страницы. После таких глобальных изменений, я не представлял себе, где искать причину бана страницы. Неужели весь мой труд ушел «коту под хвост»?

Как я искал причину бана страницы в Google.

Техника поиска проблемы проста, двигаться  «От общего к частному». Данный метод позволяет логическими цепочками выявить проблемное место. Мне это часто помогало.

  1. Первое, что пришло в голову — глобальные изменения дизайна, структуры, перелинковки, это и есть причина бана.
    Как проверить?
    Я пошел смотреть статистику в панелях вебмастера Google и Yandexa, и проверять позиции по другим страницам. Как оказалось, в Яндексе все было ОК, страница в поиске.  В Google есть проседание по некоторым запросам и практически полное отсутствие запросов, связанных со страницей  Заказать блог под ключ. Один из запросов оказался в поиске, но смотрел уже не на эту страницу, а на Главную. Проблем в панелях вебмастера, как в Гугле так и в Яндексе, не обнаружено. Никаких претензий или сообщений нет.
    Все это означало, что проблема не глобальная по блогу, а местная и связана именно с этой страницей. Это меня обрадовало.
  2. Вторая мысль, перед глобальным изменением страницы Заказать блог под ключ, я вывесил заглушку на эту страницу и изменил ее URL, на более релевантный будущим запросам. Конечно с 301 редиректом. Заглушка провисела 5 дней, с парой строк текста. Может быть после этого Гугл обиделся и решил забанить страницу, но как-то не логично.
    Как проверить эту гипотезу?
    Я внимательно изучил график позиций в поисковой выдаче, сразу по нескольким запросам, по периодам. Обнаружил, что при отсутствии контента в странице, позиции просели, по запросам касающимся именно этой страницы, примерно на 10 позиций.  После появления обновленного контента, позиции практически вернулись на прежние места, продержались 3 дня и пошло обрушение.
    Вывод, проблема где то в самой странице. Теперь попробуем сузить поиск.
  3. Третья мысль, на странице много текста. Я действительно полностью переписал данную страницу и текста стало намного больше чем было ранее, около 26000 символов только текста, не включая окружение. Причем в странице задействованы скрипты и css, скрывающие часть контента в разворачивающихся блоках. Возможно Гугл такой текст не охотно индексирует, а скрытые блоки добавили недоверия к странице и приводят к бану.
    Как проверить?
    Я пошел искать по инету сайты с большим количеством текста на страницах.  Далеко идти не пришлось. У одного из моих клиентов, которому я делал блог, было несколько страниц с еще большим количеством символов. Я узнал, по каким запросам он продвигает свои страницы и посмотрел выдачу. Все ОК. Данные страницы нормально висели в топе выдачи по данным ключевикам. Но вот только таких вкладок как у меня, у него не было. На старой странице у меня тоже были вкладки и все было ОК. Да и на многих ресурсах сейчас можно встретить вкладки.
    Вывод, страницы с большими текстами и раздвижными блоками для Гугла не проблема. Интуиция мне подсказывала, что проблема в другом.
  4. Чисто интуитивно, я кликнул на странице в браузере правой кнопкой мыши, выбрал «Исходный код страницы» и стал его просматривать. При беглом осмотре, ничего не найдя, собирался уже закрыть страницу кода, когда мне на глаза попался текст title в header страницы. Он явно не совпадал с тем текстом, который был в заголовке браузера. Как такое может быть? И тут, я обнаружил первую ошибку, в странице было два title! Потом, я прогнал еще страницу через валидатор Markup Validation Service и обнаружил еще ошибки.
    Вывод. Это первая проблема, с которой необходимо начать возвращать страницу к жизни после бана. Исправляем и смотрим результат.
    Из заголовка поста вы поняли, что это и есть причина бана страницы в Google, о которой я расскажу далее.

Как я исправлял ошибки и где был источник

  1. Первым делом нужно было найти источник появления двух title. Тут все просто. Первый title прописан в коде шаблона, а вот второй ставиться плагином wpSeo. Но почему раньше этой проблемы не возникало? Просто потому, что много месяцев назад настроив данный плагин я уже забыл, какие опции, на что влияют. В данном плагине есть одна интересная опция, она проверяет на дублирование мета-тегов и убирает лишние. Подсказка у данной опции на английском и с непонятным описанием. После обновления блога я конечно же перенастраивал все плагины и отключил данную опцию в плагине.
  2. Чтобы не получить данную ошибку в будущем и гарантированно иметь только один title, я удалил прописанный в шаблоне динамический title. Советую и вам обратить внимание на данную проблему. Если вы используете плагины для генерации title и мета-тегов, не исключено что и у вас могут появиться данные проблемы.
  3. И самым последним, я подчистил все возможные ошибки в верстке, которые нашел валидатор. Их оказалось не много и связаны были в основном с разметкой. Некоторые теги были не закрыты, у некоторых одиночных тегов не стоял в конце слеш и т.д. Остались ошибки, связанные с кодом плеера Youtube, странно, что их код не валиден, но это не критические ошибки и не должны влиять на поисковую выдачу.

Результат изменений и возвращение к жизни после бана

После исправления всех ошибок, я стал ждать очередного прихода робота от Google. Но к моему сожалению,  робот, посещая мой блог, все время обходил обновленную страницу стороной. Я попробовал стандартные средства. Обновил страницу в редакторе, с пингом в Гугл, обновил sitemap.xml в панели вебмастера Гугла. Ничего. Гугл посещает каждый день кучу страниц моего блога, но эту обходит.

Через пару дней я применил проверенный способ, изменил адрес в 2х внешних ссылках (беках) на мой сайт, которые до этого смотрели на главную и направил их на мою обновленную страницу. Ссылки довольно жирные. Результат получил в тот же день. Робот Гугла зашел на страницу, аж 2 раза. Видно ему понравилось обновление страницы.

Я думал, что для возврата позиций, после бана,  потребуется как минимум несколько дней. Но как я удивился, когда обнаружил в поиске свою страницу уже через 4 часа после прихода робота. Вот это оперативность!

Я проверил все запросы, которые касались данной страницы и как оказалось, позиции в Google выросли существенно. Одни запросы получили первые места, другие вторые. В основном 1-2 места. Раньше у этих запросов были 1-6 места. Вот спасибо!

Выводы:

  1. Ошибки в коде страницы существенно влияют на поисковую выдачу страницы в Google, вплоть до временного бана страницы. Есть подозрение, что из-за этого могут просесть в выдаче и другие страницы блога.
  2. Ошибки в коде страницы не влияют на поисковую выдачу страницы в Yandex. Страницы блога не поменяли своих позиций. Причем в снипете используется второй по счету title. На данный момент в снипете находится не обновленная информация со старой страницы с ошибками. Возможно в Яндекс обновление поисковой выдачи происходит не так быстро как в Гугле и нужно подождать. Позже отпишу здесь о результатах.
  3. Необходимо стараться использовать валидные шаблоны и почаще проверять страницы на валидность. Я заметил, что сам редактор WordPress иногда любит создавать ошибки, особенно если неправильно использовать вставку текста из Word.
  4. Нужно отслеживать корректность изменений, которые вносят плагины. Ошибки возможны не только из-за не правильной работы самого плагина, но и из-за неправильной их настройки.
  5. К счастью, после исправления ошибок, страницы быстро возвращаются на свои места в поисковой выдаче, с бонусом. Что очень радует.

Для тех кому интересно, чем я отслеживаю поисковых роботов, даю ссылки на 2 плагина:

  1. Crawl Rate Tracker — плагин выводит в админке минимальную статистику по заходам роботов. Минусы: некоторые поисковики приходится добавлять в код плагина вручную. У меня работал с глюками, в частности, не работал график.
  2. Bot Tracker — это не просто плагин, это целый комбайн по отслеживанию роботов с интеграцией в WordPress. Я использую его. Но с ним также есть проблемы. Не на всех хостингах он просто подключается. На моем, в частности, пришлось помучаться, пока я смог его подключить. Но в остальном его работа мне нравится. Он показывает не только статистику посещения роботами, но и статистику по индексации, ключевым словам, попыткам взлома. Правда с запросами на кириллице он не дружит. Зато у него самая большая база поисковых ботов и можно добавить свои, через панель.

Надеюсь, читать было интересно и мой опыт вывода страницы из бана в Google поможет и вам.

P.S. Если у кого-то были аналогичные проблемы, с поисковой выдачей, связанные с ошибками в коде страницы, добро пожаловать в комментарии.


Нашел ошибку в тексте? Выдели ее мышкой и нажми Система Orphus
СЛЕДИТЕ ЗА НОВОСТЯМИ Подписаться на мой Twitter
Автор:Олег МедынскийРубрика: Оптимизация блога
Разрешается перепечатка статьи с обязательным указанием открытой ссылки на источник.

КОММЕНТАРИИ К СТАТЬЕ

  1. 1.1

    Да, спасибо, у меня также два тега tittle. Их из какого файла шаблона удалять? Я новичек, поэтому спрашиваю.

    • 1.2

      Title всегда прописывается в коде файла header.php но иногда может подставляться функцией из function.php

      • 1.3

        Да, исправил. Заодно прописал тег keywords — в страницах он автоматически не генерируется, нужно вставлять значение из поля переменных.

        В записях этот тег генерируется.

        Спасибо!

        • 1.4

          На здоровье. Главное после всех этих манипуляций проверьте правильность получившегося результата.

  2. 1.5

    Никогда не мог подумать что из-за неправильной верстки может быть «бан» от Гугла. Придется более внимательно верстать страницы

  3. 1.6

    тоже иногда прогоняю через validator.w3.org но он часто с виду нормальный код считает за ошибку. хотя грубые ошибки с ним удобно вылавливать, если они сразу визуально видны :)

    • 1.7

      Нормальный это какой и с точки зрения кого? Валидатор жестко следует стандартам и «шаг влево шаг вправо растрел» :)

      • 1.8

        да я понимаю что с слаб в этом деле :)
        просто вроде все по простому делаю, а ему не нравиться :)
        а заключаться каждое «мета» в «див» по моему это большой гиморой :)

        • 1.9

          Andrey Kelsа заключаться каждое “мета” в “див” по моему это большой гиморой :)

          Это вы о чем?

  4. 1.10

    Чем дальше тем сложнее, с каждым годом усложняется критерии допуска сайтов. Нужна и уникальность и правильность кода.

    • 1.11

      Тенденция правильная. Качественный сайт должен быть качественным по всем параметрам

  5. 1.12

    По поводу кода. В некоторых шаблонах присутствует

    а в некоторых нет.
    Данный скрипт выводит кучу линков в source коде сайта типа:

     /

    для чего это кто нить знает? и можно ли это удалить безо всяких последствий, как для работы сайта таи и индексации

    • 1.13

      К сожалению сам код в комментарии не увидел. Поэтому сложно что либо сказать по вашему вопросу.

  6. 1.14

    Код такой php wp_get_archives(‘type=monthly&format=link’);

    выводит ссылки такого типа

  7. 1.15

    Очень информативный сайт!
    Спасибо..
    нашел его столкнулся с проблемой некорректного отображения моего сайта на движке вордпресс в Опере..
    ищу варианты решений :)

    • 1.16

      Спасибо и вам за отзыв!
      Wordpress здесь не причём, проблема в руках верстальщика который верстал ваш шаблон.
      Исправьте вёрстку или поищите другой шаблон.

  8. 1.17

    жжестко!!! хорошо что решили эту проблему

  9. 1.18

    У меня когда-то на поиск косяка в верстке ушло пару месяцев и никто не видел элементарного :(

  10. 1.20

    А я попал как-то в бан за хорошую работу сотрудников, уж слишком много реклама наработала:))))))

  11. 1.21

    montazhnickУ меня когда-то на поиск косяка в верстке ушло пару месяцев и никто не видел элементарного :(

    Так а в чем было дело?))

  12. 1.22

    Сегодня получил бан от гугла подскажите что делать? Я не пойму за что он меня так..

    • 1.23

      Бан это печально. Причин бана масса, кроме той которая в этой статье. Исследуйте что вы делали за последние 1-4 недели. Если ничего не делали, нужно проверять сайт по всем параметрам. Бан не всегда является баном, иногда это может быть временный глюк Гугла.

      • 1.24

        Кажется я нашел проблему. У меня тоже два тега title было. Автор большой респект за статью. Если вы не против я напишу статью на блоге и ссылку на оставлю оставлю!
        И еще вопрос. Когда сайт восстановится?

        • 1.25

          это не бывает баном

          • 1.26

            Чмтайте внимательно статью. Бан накладывается на страницу не на сайт. Так что все бывает.

        • 1.27

          gogoshkaИ еще вопрос. Когда сайт восстановится?

          Все зависит от веса страницы, количества внешних ссылок на нее и частоты переиндексации страницы. У меня вернулась быстро, но в некоторых случаях может доходить до месяца

    • 1.28

      если тот, который в подписи — то там нет бана.
      а вообде причин может быть море

  13. 1.29

    Попробовал также прогнать одну страницу через валидатор Markup Validation Service и по началу за голову схватился, обнаружено более 75 ошибок. Потом полез разбираться в исходник кода страницы… И своим глазам не поверил, в исходнике все было нормально и без ошибок!
    Вывод — валидатор, сам не корректно работает.

    • 1.30

      Валидатор по большей части корректен, просто немного устаревший. После первых ошибок кода он ругается на некоторые не явные ошибки. Эти не явные ошибки, как правило, пропадают сами когда исправляются первые.

  14.  


Ваши вопросы, замечания, пожелания и предложения, по работе сайта, пишите на E-mail.