Файл robots.txt на сайте, или как с помощью одного правила можно увеличить трафик в 4 раза
При работе с различными сайтами, мы сталкиваемся с самыми разными ситуациями, придумываем нестандартные подходы к повышению трафика. Однако в некоторых случаях, даже самое базовое действие, которое делается в пару кликов уже способно дать существенный приток трафика. Расскажем о такой ситуации на примере сайта компании “Международный институт дополнительного образования”.
Описание проекта
Цели и задачи проекта:
- Провести комплексный технический аудит сайта для выявления критических ошибок, препятствующих индексации.
- Проверить корректность настройки служебных файлов (robots.txt и sitemap.xml), так как именно они управляют поведением поисковых роботов.
- Выявить и устранить блокировки, мешающие поисковым системам сканировать страницы института.
- Обеспечить полную индексацию всех релевантных страниц сайта для последующего роста видимости в выдаче.
О проекте
Трафик с поисковых систем в начале работ
Ход работы
Первоначально в своей работе специалист по поисковому продвижению обращает внимание на техническое состояние сайта, которое состоит не только в правильной работе перенаправления ссылок и остального функционала, но ещё и в проверке важных для сайта файлов, таких как robots.txt и sitemap.xml. Файл robots.txt “помогает” поисковым системам показывать, какие страницы нужно индексировать, а какие учитывать не стоит. Sitemap — это файл со ссылками на страницы сайта, который сообщает поисковым системам о его актуальной структуре, а карта сайта показывает, какие страницы и в какой последовательности нужно обойти. Поэтому настройка этих файлов является неотъемлемой составляющей технической оптимизации.
Так как в нашей статье речь идёт о файле robots.txt, акцентируем наше внимание на нём.Чаще всего, запрещены для индексации страницы с get-параметрами, страницы авторизации и внутренние страницы сайта, которые не должны находиться в поиске. Однако в файле можно заблокировать и весь сайт. С такой ситуацией мы столкнулись при работе с “Международным институтом дополнительного образования”.
Изначально, когда клиент пришёл на продвижение, в ходе технического аудита мы заметили, что в файле robots.txt прописано правило “Disallow: /”, которое блокировало для индексации весь сайт. Устранение этой ошибки сразу же повлияло на индексацию всего ресурса.
На графике из Я.Метрика наглядно видно, что в сравнении с сентябрем 2021 года трафик очень сильно вырос. Если точнее, то вырос практически в 8 раз, с 18 человек в месяц до 130. Далее, после проведения работ, трафик вырос ещё больше - до 500 человек в месяц.
Простой вывод из кейса напрашивается сам по себе. Файл robots.txt - это критически важная для продвижения составляющая сайта. Следовательно, его грамотная и своевременная настройка окажет быстрый и, главное, положительный эффект на поисковую выдачу.
