Как удалить Веб-страницы без ущерба для рейтинга в Поиске

Автор: Дмитрий Иванов [Команда P9X]

~8 минут чтения

Одно из основных изменений, которое обычно не учитывают клиенты при обновлении сайта

Одним из основных изменений, которые наши клиенты обычно не учитывают при обновлении своего сайта, является влияние удаления старых страниц. Когда дело доходит до удаления старых страниц на вашем сайте, важно понимать правильный процесс, чтобы не навредить своему SEO.

Конечно, иногда, когда сайты устаревают, необходимо удалять или перенаправлять старые страницы. Веб-странице, которой 10 лет, часто требуется либо замена новой, либо полное удаление. Давайте рассмотрим, как можно удалять страницы, минимизируя ущерб для ваших с трудом заработанных позиций в рейтинге.

Первый вопрос: перенаправить или удалить?

Прежде чем удалять какие-либо страницы, вам необходимо провести аудит контента, чтобы составить список старых страниц, которые вас не устраивают и которые вы хотели бы перенаправить или удалить. При составлении этого списка страниц обязательно укажите причину рядом с каждой страницей, почему вы хотите её перенаправить или удалить.

Возможно, содержание страницы зависит от определённой даты или события, эта дата прошла, и страница больше не актуальна. Также возможно, что продукты или услуги вашей компании изменились, что сделало определённые страницы устаревшими.

Как найти страницы для удаления

Найти страницы для удаления с вашего сайта (и из поиска Google) довольно просто. Признаки того, что ваш контент следует перенаправить или удалить:

  • Низкое количество показов/кликов.
  • Крайне устаревший контент.
  • Каннибализация ключевых слов.
  • Низкое качество или отсутствие пользы для пользователя.

Это рекомендации для принятия решений об удалении страниц. Важно также понимать принцип вечнозелёного контента, или контента, который не теряет своей актуальности быстро. Хотя вечнозелёный контент может устареть, обычно лучше обновить или освежить его актуальными статистическими данными или информацией, чем удалять.

Как только у вас будет список, у вас будет два-три варианта дальнейших действий для каждой страницы.

Вы можете обновить их.

Страницы и их уникальные URL-адреса рассматриваются Google как отдельные сущности. Если конкретная страница с услугами существует «онлайн» в течение длительного времени, но нуждается в обновлении, чтобы оставаться актуальной, может быть полезно сохранить эту страницу и просто обновить её содержимое, обновить тег заголовка и оптимизировать ключевые слова.

Ваше решение обновить страницу должно быть принято только в том случае, если страница останется актуальной и полезной, если ей сделать макияж. Страницы, которые существовали на сайте в течение некоторого времени, обычно накапливают поисковый и ссылочный капитал, поэтому проверьте обратные ссылки на эту страницу, возможно, её стоит сохранить и обновить.

Вы можете перенаправить их.

С точки зрения SEO, перенаправление мёртвых, неактуальных или удалённых страниц с помощью 301 перенаправления передаст большую часть капитала этой страницы новой странице на вашем сайте. Если страница получает органический трафик, имеет обратные ссылки, и вы можете перенаправить её на соответствующую страницу, то используйте 301 перенаправление.

Вы можете удалить их из индекса Google.

Если вам нужно удалить страницы на вашем сайте, подумайте, должны ли эти страницы по-прежнему быть доступны посетителям, которые заходят на сайт.

Существуют способы удалить веб-страницы из поиска Google и индекса Google, но при этом сохранить их на вашем сайте в случае, если они будут полезны определённым посетителям сайта. Если это так, вы всегда можете добавить тег «noindex» на страницу и удалить её из вашей карты сайта.

В качестве альтернативы вы можете добавить канонический тег на страницу, которую хотите удалить из индекса Google, если она может считаться дубликатом контента. Этот канонический тег посылает сигнал Google о том, что они должны индексировать другую страницу. Подробнее о каждом из этих методов можно узнать в нашем SEO-руководстве для разработчиков.

Теперь будут случаи, когда посетителям вашего сайта не следует получать доступ к этим страницам. В случае с закрытым контентом добавьте на них теги noindex. Это заблокирует Google от индексации страниц и ограничит поиск пользователями.

Как уже упоминалось, сначала вам нужно подумать, имеет ли страница ссылочный капитал или получает ли она трафик. Если у неё есть некоторый капитал и она получает некоторый трафик, обратитесь к разделу выше о 301 перенаправлениях.

Если страница, которую вы рассматриваете, не имеет ссылочного капитала, вы не хотите, чтобы посетители получали к ней доступ, а информация на странице устарела и не соответствует (более обновлённым) страницам на вашем сайте, вы можете использовать 410 или 404.

Но какой из них мы должны использовать? Не понимаете, что означают коды 410 или 404 для вашего сайта? Давайте рассмотрим, что означают эти страницы:

Страницы с кодом 410

Страница, которая возвращает ответ 410, сообщает поисковым системам, что страница исчезла навсегда. Кроме того, она посылает сигнал Google, что страница не вернётся, и Google не должен пытаться сканировать её снова.

Google удалит страницы с веб-сайта, которые возвращают редирект 410 из своего индекса.

Примечание: страницы, которые вы больше не хотите видеть в индексе, должны быть изолированы перед возвратом 410, то есть вы должны убедиться, что на них нет ссылок откуда-либо ещё на сайте. Чаще всего мы рекомендуем использовать 410 в ситуации, когда вы хотите избавиться от нескольких страниц, которые создают проблему раздувания индекса.

Например, у нас был клиент, которого взломали, позже выяснилось, что хакер создал тысячи страниц, которые были предназначены только для перехода на другие страницы. Как только мы узнали о взломе, мы хотели, чтобы все эти спам-страницы были навсегда удалены из индекса, поэтому мы сделали это с помощью ошибок 410.

Страницы с кодом 404

Возможно, вы знакомы с ошибкой 404, которая встречает вас, когда вы переходите по битой ссылке. Страница, которую вы хотели просмотреть, больше не существует, поэтому вы не должны были иметь возможность попасть на эту несуществующую страницу.

Когда выдаётся ошибка 404, это означает, что страница не найдена, но для Google нормально вернуться в другое время и попытаться просканировать страницу снова.

Удаление изображений из поиска Google

Изображения, которые были удалены с вашего сайта, не удаляются из результатов поиска Google мгновенно. Если изображение было проиндексировано до того, как было удалено с вашего сайта, Google может продолжать отображать его в результатах поиска, пока не обновит свой индекс, чтобы отразить изменения.

Удалённое изображение в конечном итоге будет удалено из результатов поиска, но точное время этого процесса может варьироваться. Если вы обеспокоены тем, что изображение будет отображаться в результатах поиска в течение этого периода, вы можете ускорить процесс удаления, сделав запрос в Google, следуя инструкциям, изложенным здесь.

Рекомендация Google

Джон Мюллер, старший аналитик поисковых систем в Google, сказал:

«С нашей точки зрения, в среднесрочной/долгосрочной перспективе 404 для нас то же самое, что и 410. Так что в обоих этих случаях мы удаляем эти URL-адреса из нашего индекса. Мы обычно немного сокращаем сканирование этих URL-адресов, чтобы мы не тратили слишком много времени на сканирование вещей, которые, как мы знаем, не существуют.

Тонкая разница здесь в том, что 410 иногда выпадает немного быстрее, чем 404. Но обычно мы говорим о порядке пары дней или около того.

Так что, если вы просто удаляете контент естественным образом, то это совершенно нормально использовать любой из них. Если вы уже давно удалили этот контент, то его уже нет в индексе, так что для нас не имеет значения, используете ли вы 404 или 410».

Кажется, что между 410 и 404 нет огромной разницы, однако мы предлагаем вам по возможности избегать использования 404. Вместо этого попросите вашего разработчика использовать опцию кода страницы 410, чтобы отправить Google более постоянный сигнал.

Как поступить при удалении веб-страницы

Правило thumb: 404 — это плохо. Вы не хотите, чтобы ваш сайт возвращал страницы с ошибкой 404. Однако нереально никогда не ожидать возникновения 404, поэтому важно иметь план действий, чтобы сразу же исправить их. Лучший курс действий для 404 — это перенаправить пользователей на следующую лучшую страницу, которая удовлетворит их поисковые намерения.

Например, если продукт больше не доступен, вы можете перенаправить страницу на целевую страницу с более новой версией продукта. Если нет сопоставимой страницы для перенаправления пользователей, перенаправьте их на соответствующую страницу категории.

Последним средством должно быть перенаправление на главную страницу. Поскольку 404 неизбежны, вы должны оптимизировать свою страницу 404, чтобы превратить этот плохой пользовательский опыт в хороший. Несколько вещей, которые вы можете сделать, чтобы украсить свою страницу 404:

  • Добавление панели поиска.
  • Ссылки на 5–7 лучших страниц.
  • Кнопка перехода на главную страницу.
  • Будьте креативны и даже добавьте немного юмора, как на творческой странице DTC с ошибкой 404.

Заключение

Когда страницы на вашем сайте устаревают или их необходимо удалить по разным причинам, начните с анализа причины, по которой страница должна быть удалена.

Можно ли просто обновить контент? Если нет, проанализируйте профиль обратных ссылок страницы, чтобы увидеть, получает ли она какой-либо органический трафик. В некоторых случаях ответом может быть простое 301 перенаправление на наиболее релевантную страницу.

Настройка 301 перенаправления передаст любой ссылочный капитал, который есть у страницы, поэтому ваш домен всё равно сможет получить кредит за эти ссылки. В случаях, когда мы всё ещё хотим, чтобы посетители получали доступ к страницам через внутренние ссылки на вашем сайте, «noindex» или канонический тег будут полезны.

Всякий раз, когда страница больше не существует, мы хотим убедиться, что пользователи не попадают на неё, так как это создаёт плохой пользовательский опыт. Когда речь идёт о нескольких страницах, возвращающих 404, лучше всего просто настроить одно 301 перенаправление на следующую применимую страницу.

Но когда у вас есть список из сотен страниц, которые больше не существуют, и вам некуда их перенаправить, кроме главной страницы, лучший способ удалить их из индекса и уменьшить раздувание индекса — это заставить их возвращать 410.

Одним из наиболее распространённых случаев, когда вам потребуется перенаправить свои страницы, является редизайн вашего сайта. Перенаправления — это лишь одна из частей головоломки, когда речь идёт о том, чтобы выйти из редизайна сайта без потери своих позиций в рейтинге. Этот маршрут делает его постоянным, Google не вернётся, чтобы проверить, вернулась ли страница, и мы не будем тратить их время в будущем.