Знаете ли вы, что можно заставить Google быстро проиндексировать ваш сайт? Узнайте, как сделать так, чтобы Google индексировал ваш сайт быстрее, чем ресурс ваших конкурентов.
Если и есть в мире SEO что-то, чего хочет каждый SEO-специалист? Да, это возможность того, чтобы поисковые роботы быстро нашли сайт и проиндексировали его. Индексация очень важна. Она выполняет многие начальные шаги успешной SEO-стратегии, в том числе обеспечивает появление ваших страниц в результатах поиска Google или Яндекс. Но это лишь часть истории.
Индексация — это лишь один из этапов целой серии шагов, необходимых для реализации эффективной SEO-стратегии.
Эти шаги включают в себя следующие, и их можно свести примерно к трем этапам всего процесса:
- Cбор информации
- Индексирование
- Ранжирование
Несмотря на то что все эти этапы можно свести к одному, они необязательно являются единственными, которые использует поисковые системы. На самом деле процесс гораздо сложнее. Если вы запутались, давайте сначала рассмотрим несколько определений этих терминов. Они важны потому, что если вы не знаете, что означают эти термины, вы можете столкнуться с риском их взаимозаменяемости, а это неправильный подход, особенно когда вы сообщаете о своей работе клиентам и заинтересованным сторонам.
Что такое «сбор информации», «индексирование» и «ранжирование»?
Проще говоря, это этапы процесса обнаружения поисковыми системами веб-сайтов во Всемирной паутине и вывода их на более высокие позиции в результатах поиска. Каждая страница, обнаруженная Google или Яндекс, проходит через один и тот же процесс, включающий в себя сбор информации, индексирование и ранжирование.
Сначала Google просматривает вашу страницу, чтобы определить, стоит ли включать ее в свой индекс. Этап после сканирования называется индексированием. Если ваша страница прошла первую оценку, то на этом этапе Google включает вашу веб-страницу в свой собственный индекс категорий баз данных всех доступных страниц, которые он просмотрел на данный момент. Ранжирование — это последний этап процесса.
Именно на этом этапе поисковые системы выводят результаты вашего запроса. Несмотря на то, что на прочтение вышеизложенного может уйти несколько секунд, Google выполняет этот процесс — в большинстве случаев — менее чем за миллисекунду.
Наконец, веб-браузер выполняет процесс рендеринга, чтобы отобразить ваш сайт должным образом, что позволяет ему быть проиндексированным и найденным в сети интернет. По сути, рендеринг — это процесс, который не менее важен, чем сбор информации, индексирование и ранжирование.
Давайте рассмотрим пример
Допустим, у вас есть страница, код которой отображает теги noindex, но при первой загрузке показывает теги index.
К сожалению, есть много SEO-специалистов, которые не знают разницы между сбором информации, индексированием, ранжированием и рендерингом. Они также используют эти термины как взаимозаменяемые, но это неправильный подход, который только запутает клиентов и заинтересованных лиц в том, чем вы занимаетесь.
Как SEO-специалисты, мы должны использовать эти термины для дальнейшего разъяснения того, что мы делаем, а не для создания дополнительной путаницы. В любом случае, продолжим.
Если вы выполняете поиск в Google, то единственное, о чем вы просите Google, — это предоставить вам результаты, содержащие все релевантные страницы из его индекса. Зачастую миллионы страниц могут соответствовать искомому запросу, поэтому Google имеет алгоритмы ранжирования, которые определяют, какие результаты должны быть лучшими, а какие наиболее релевантными.
Так что, выражаясь метафорически: сбор информации- это подготовка к задаче, индексирование — выполнение задачи, и, наконец, ранжирование — победа в этой задаче.
Несмотря на простоту этих понятий, алгоритмы Google — это совсем другое.
Страница должна быть не только ценной, но и уникальной
Если у вас возникли проблемы с индексацией вашей страницы, вы должны убедиться в том, что она ценна и уникальна. Но не стоит заблуждаться: То, что Вы считаете ценным, может не совпадать с тем, что считает ценным Google. Кроме того, Google вряд ли будет индексировать страницы низкого качества, поскольку они не представляют ценности для пользователей.
Если вы провели техническую SEO-проверку на уровне страницы и все подтвердилось (то есть страница индексируется и не имеет никаких проблем с качеством), то вам следует спросить себя: Является ли эта страница действительно — и мы имеем в виду действительно — ценной?
Анализ страницы «свежим взглядом» может оказаться очень полезным, поскольку он поможет выявить проблемы с контентом, которые иначе не были бы обнаружены. Кроме того, вы можете обнаружить то, чего раньше не замечали. Одним из способов выявления таких страниц является анализ страниц с низким качеством и небольшим органическим трафиком в Google Analytics.
Затем можно принять решение о том, какие страницы оставить, а какие удалить.
Однако важно отметить, что удалять нужно не только те страницы, которые не имеют трафика. Они все еще могут быть ценными страницами. Если они освещают нужную тему и помогают вашему сайту стать более весомым в сети, то не стоит их удалять. В долгосрочной перспективе ресурса — это только навредит
Регулярно обновляйте и оптимизируйте старый контент
Результаты поиска Google постоянно меняются, как и сайты в этих результатах. Большинство сайтов, входящих в первую десятку результатов поиска Google, постоянно обновляют свой контент (по крайней мере, должны это делать) и вносят изменения на свои страницы.
Важно отслеживать эти изменения и выявлять те результаты поиска, которые меняются, чтобы знать, что изменить в следующий раз.
Регулярный ежемесячный (или ежеквартальный, в зависимости от размера вашего сайта) обзор вашего сайта имеет решающее значение для поддержания актуальности и обеспечения того, чтобы ваш контент продолжал опережать конкурентов. Если ваши конкуренты добавляют новый контент, узнайте, что они добавили и как вы можете превзойти их. Если они по какой-либо причине внесли изменения в свои ключевые слова, выясните, что это были за изменения, и опередите их.
Ни один проект по SEO не является реалистичным предложением типа «создал и забыл». Вы должны быть готовы к регулярной публикации контента и регулярному обновлению старых материалов.
Удаление низкокачественных страниц и создание регулярного графика удаления контента
Со временем, просматривая аналитику, вы можете обнаружить, что ваши страницы работают не так, как ожидалось, и не имеют тех показателей, на которые вы рассчитывали. В некоторых случаях страницы являются «наполнителем» и не улучшают блог с точки зрения вклада в общую тематику.
Кроме того, такие некачественные страницы обычно не полностью оптимизированы. Они не соответствуют лучшим практикам SEO и, как правило, не имеют идеальной оптимизации. Как правило, необходимо убедиться в том, что эти страницы правильно оптимизированы и охватывают все темы, которые ожидаются от данной конкретной страницы.
В идеале необходимо постоянно оптимизировать шесть элементов каждой страницы:
- Заголовок страницы.
- Метаописание.
- Внутренние ссылки.
- Заголовки страниц (теги H1, H2, H3 и т.д.).
- Изображения (alt изображения, название изображения, физический размер изображения и т.д.).
- Разметка Schema.org.
Однако если страница не полностью оптимизирована, это не всегда означает, что она низкого качества. Вносит ли она вклад в общую тематику сайта? Тогда не стоит удалять эту страницу. Ошибочно удалять сразу все страницы, которые не соответствуют определенному минимальному количеству трафика в Google Analytics или Google Search Console.
Вместо этого необходимо найти страницы, которые не показывают хороших результатов по каким-либо показателям на обеих платформах, а затем определить приоритетность удаления страниц, исходя из их релевантности и того, вносят ли они вклад в развитие тематики сайта и общий рейтинг.
Если нет, то их следует удалить полностью. Это поможет избавиться от лишних постов и создать более эффективный общий план по поддержанию сайта на максимально возможном уровне с точки зрения содержания и наполняемости. Кроме того, можно убедиться в том, что ваши страницы посвящены темам, которые интересуют вашу аудиторию.
Убедитесь, что файл Robots.txt не блокирует доступ к каким-либо страницам
Вы обнаружили, что поисковые системы вообще не просматривает и не индексирует какие-либо страницы вашего сайта? Если да, то, возможно, вы случайно заблокировали доступ к ним. Проверить это можно в двух местах: в приборной панели WordPress в разделе Настройки > Чтение> Видимость для поисковых систем — Попросить поисковые системы не индексировать сайт и в самом файле robots.txt.
Вы также можете проверить файл robots.txt, скопировав следующий адрес и указав данные сайта: https://ваш сайт/robots.txt и введя его в адресную строку браузера. При условии, что ваш сайт правильно настроен, переход по этому адресу должен отобразить файл robots.txt без проблем.
В файле robots.txt, если вы случайно полностью отключили индексирование, вы должны увидеть следующую строку:
User-agent: *
disallow: /
Передняя косая черта в строке disallow указывает поисковым системам на то, что они должны прекратить индексировать ваш сайт, начиная с корневой папки public_html. Звездочка рядом с user-agent указывает всем возможным системам и user-agent на то, что им запрещено индексировать ваш сайт.
Проверьте, нет ли у вас нежелательных тегов noindex
Без должного контроля можно допустить такое, что теги noindex могут оказаться на вашем сайте.
Возьмем, к примеру, следующую ситуацию.
У вас много контента, который вы хотите сохранить в индексе. Но вы устанавливаете неизвестный вам плагин, при установке которого кто-то случайно подправляет его до такой степени, что он не позволяет индексировать большое количество страниц. Что же произошло, что привело к отказу от индексации этого объема страниц? Плагин автоматически добавил целую кучу нежелательных тегов noindex. Такое может произойти в плагином Yoast SEO. Вы можете поставить галочку в настройке, которую вы не понимаете, тем самым закроете сайт от индексации.
К счастью, эту ситуацию можно исправить, выполнив относительно простую процедуру поиска и замены в базе данных SQL, если вы используете WordPress. Это поможет избежать серьезных проблем с нежелательными тегами noindex в дальнейшем.
Ключевым моментом в исправлении подобных ошибок, особенно на сайтах с большим объемом контента, является наличие возможности исправления подобных ошибок достаточно быстро — по крайней мере, в достаточно сжатые сроки, чтобы это не оказало негативного влияния на какие-либо SEO-показатели.
Убедитесь, что страницы, которые не индексируются, включены в карту сайта
Если вы не включили страницу в карту сайта, и на нее нет других ссылок, то у вас не будет никакой возможности сообщить Google о ее существовании. Если вы отвечаете за крупный сайт, это может выйти вам боком, особенно если не осуществлять надлежащий контроль.
Например, у вас есть большой медицинский сайт на 100 000 страниц. Возможно, 25 000 страниц никогда не попадут в индекс Google, поскольку по каким-то причинам не будут включены в XML sitemap. Это большое число. Вместо этого необходимо убедиться, что остальные 25 000 страниц включены в карту сайта, поскольку они могут принести значительную пользу сайту в целом.
Даже если они не работают, если эти страницы тесно связаны с вашей темой и хорошо написаны (и качественны), они добавят вашему сайту репутации. Кроме того, может случиться так, что внутренняя перелинковка уйдет от вас, особенно если вы не позаботитесь об индексации программно, используя другие средства. Добавление неиндексированных страниц в карту сайта поможет убедиться в том, что все ваши страницы обнаружены должным образом и что у вас нет серьезных проблем с индексацией (вычеркнув еще один пункт контрольного списка для технического SEO).
