Файл robots.txt на сайте, или как с помощью одного правила можно увеличить трафик в 4 раза

При работе с различными сайтами, мы сталкиваемся с самыми разными ситуациями, придумываем нестандартные подходы к повышению трафика. Однако в некоторых случаях, даже самое базовое действие, которое делается в пару кликов уже способно дать существенный приток трафика. Расскажем о такой ситуации на примере сайта компании “Международный институт дополнительного образования”.

О проекте

Когда “Международный институт дополнительного образования” обратился в нашу компанию, его трафик с поисковых систем был практически равен 0. В целом сайт был работоспособный, но максимальное число переходов на него с поисковиков с 1 января 2021 года по 1 октября 2021 года составило 50 человек. В среднем на сайт заходило от 15 до 30 человек в месяц.

Трафик с поисковых систем в начале работ

Ход работы

Первоначально в своей работе специалист по поисковому продвижению обращает внимание на техническое состояние сайта, которое состоит не только в правильной работе перенаправления ссылок и остального функционала, но ещё и в проверке важных для сайта файлов, таких как robots.txt и sitemap.xml. Файл robots.txt “помогает” поисковым системам показывать, какие страницы нужно индексировать, а какие учитывать не стоит. Sitemap — это файл со ссылками на страницы сайта, который сообщает поисковым системам о его актуальной структуре, а карта сайта показывает, какие страницы и в какой последовательности нужно обойти. Поэтому настройка этих файлов является неотъемлемой составляющей технической оптимизации.

Так как в нашей статье речь идёт о файле robots.txt, акцентируем наше внимание на нём.

Пример файла robots.txt в готовом виде

Чаще всего, запрещены для индексации страницы с get-параметрами, страницы авторизации и внутренние страницы сайта, которые не должны находиться в поиске. Однако в файле можно заблокировать и весь сайт. С такой ситуацией мы столкнулись при работе с “Международным институтом дополнительного образования”.

Изначально, когда клиент пришёл на продвижение, в ходе технического аудита мы заметили, что в файле robots.txt прописано правило “Disallow: /”, которое блокировало для индексации весь сайт. Устранение этой ошибки сразу же повлияло на индексацию всего ресурса.

На графике из Я.Метрика наглядно видно, что в сравнении с сентябрем 2021 года трафик очень сильно вырос. Если точнее, то вырос практически в 8 раз, с 18 человек в месяц до 130. Далее, после проведения работ, трафик вырос ещё больше - до 500 человек в месяц.

Трафик с поисковых систем после редактирования файла robots.txt

Простой вывод из кейса напрашивается сам по себе. Файл robots.txt - это критически важная для продвижения составляющая сайта. Следовательно, его грамотная и своевременная настройка окажет быстрый и, главное, положительный эффект на поисковую выдачу.