Вы здесь

Почему сайт не продвигается в ТОП?

Что такое мусорные url-ы, чем они опасны и как снять с них покровы мрака

Конечная цель оптимизатора и вебмастера – привлечь трафик на сайт и увеличить конверсию. За выполнение поставленных задач отвечают не только такие критерии, как наличие сайта в ТОПе по ключевым запросам, качество контента и юзабилити, но и множество важных технических моментов.

В этой статье мы рассмотрим следующий – полное и правильное индексирование сайта – один из важнейших критериев для эффективной раскрутки сайта.

Первое, на что стоит обращать внимание – количество проиндексированных поисковиками страниц. Часто вебмастера даже не знают, что какие-то из страниц сайта заблокированы поисковиком. Если вы выявили и решили эту проблему, у поисковика возникает следующий вопрос: сколько страниц сайта скачивать? Для каждого сайта поисковый робот выделяет определенную квоту скачиваний, которая зависит от посещаемости, тематической и коммерческой релевантности ресурса. Однако ситуация, когда сайт содержит тысячи неизвестных вебмастеру страниц, встречается чаще, чем можно предположить.

Развитие сайтаДело в том, что сайт, созданный автоматически, может генерировать бесконечное число url-ов. Наибольшее количество технического мусора, представляющего сотни и тысячи этих url, накапливается при использовании на сайте:

  • Модуля сортировки товаров (по дате, цене и пр.), если сайт написан таким образом, что при каждом запросе создается новый url;
  • Разделение на регионы, если на каждом региональном поддомене дублируются одни и те же страницы;
  • Чрезмерного увлечения облаками тегов;
  • Афиш и календарей. Некоторые афиши и календари можно отмотать вплоть до XVIII века назад или до XXIII вперед, а они послушно сгенерируют страницу с результатом поиска по запрашиваемым датам.

Таким образом, если взять случайный url в рунете, это почти наверняка будет технический мусор – настолько велико количество таких «мусорных» страниц.

На эту проблему наслаивается другая: поисковые роботы не располагают инструментом, который позволил бы им определить, какие из страниц содержат полезный контент, а какие являются мусором. Таким образом, при неправильном автоматическом генерировании url-ов, шансы вашего сайта быть проиндексированным в короткие сроки и в полном объеме резко снижаются. Продвижение и развитие сайта в таком случае будет крайне затруднительна. К тому же тонны мусорных url-ов увеличивают нагрузку на сервера.

Предупрежден – значит, вооружен. В нашем случае выявить проблему – наиболее сложный и важный этап. А решается она довольно просто: в Robots.txt прописываются url-исключения, которым не нужно попадать в выдачу. С этой задачей может помочь справиться сам поисковик: вебмастер отправляет ему запрос и получает отчет об анализе сайта роботом – это облегчает определение непотребных url-лов. Помимо прочего, можно воспользоваться инструментом Яндекс.Вебмастер.

инструмент Яндекс вебмастер для продвижения сайта

Таким образом, если на вашем сайте размещен каталог с сортировкой, либо сайт включает в себя поддомены с дублирующимися страницами, либо вы используете облака тегов и календарь, необходимо следить за качеством и скоростью индексации вашего сайта. Однако это лишь самые подверженные неконтролируемой генерации url случаи. Любой сайт нуждается в мониторинге количества проиндексированных страниц по меньшей мере по двум поисковым системам – Яндекс и Google.