Заказать звонок
preview

Файл robots.txt на сайте, или как с помощью одного правила можно увеличить трафик в 4 раза

При работе с различными сайтами, мы сталкиваемся с самыми разными ситуациями, придумываем нестандартные подходы к повышению трафика. Однако в некоторых случаях, даже самое базовое действие, которое делается в пару кликов уже способно дать существенный приток трафика. Расскажем о такой ситуации на примере сайта компании “Международный институт дополнительного образования”.

01
Описание проекта
Международный институт дополнительного образования. Сайт компании технически был работоспособен, но полностью отсутствовал органический поисковый трафик. За период с января по октябрь 2021 года максимальное количество визитов с поисковых систем составило всего 50 человек, а в среднем показатель держался на уровне 15–30 посетителей в месяц. Бизнес практически не получал новых клиентов через поиск (SEO-канал был мертв).
Цели и задачи проекта:
  • Провести комплексный технический аудит сайта для выявления критических ошибок, препятствующих индексации.
  • Проверить корректность настройки служебных файлов (robots.txt и sitemap.xml), так как именно они управляют поведением поисковых роботов.
  • Выявить и устранить блокировки, мешающие поисковым системам сканировать страницы института.
  • Обеспечить полную индексацию всех релевантных страниц сайта для последующего роста видимости в выдаче.
02

О проекте

Когда “Международный институт дополнительного образования” обратился в нашу компанию, его трафик с поисковых систем был практически равен 0. В целом сайт был работоспособный, но максимальное число переходов на него с поисковиков с 1 января 2021 года по 1 октября 2021 года составило 50 человек. В среднем на сайт заходило от 15 до 30 человек в месяц.

трафик до

Трафик с поисковых систем в начале работ

Хотите проверить своего подрядчика
Отправим вам чек-лист для самостоятельной проверки работы подрядчика
03

Ход работы

Первоначально в своей работе специалист по поисковому продвижению обращает внимание на техническое состояние сайта, которое состоит не только в правильной работе перенаправления ссылок и остального функционала, но ещё и в проверке важных для сайта файлов, таких как robots.txt и sitemap.xml. Файл robots.txt “помогает” поисковым системам показывать, какие страницы нужно индексировать, а какие учитывать не стоит. Sitemap — это файл со ссылками на страницы сайта, который сообщает поисковым системам о его актуальной структуре, а карта сайта показывает, какие страницы и в какой последовательности нужно обойти. Поэтому настройка этих файлов является неотъемлемой составляющей технической оптимизации.

Так как в нашей статье речь идёт о файле robots.txt, акцентируем наше внимание на нём.

файл robots

Пример файла robots.txt в готовом виде

Чаще всего, запрещены для индексации страницы с get-параметрами, страницы авторизации и внутренние страницы сайта, которые не должны находиться в поиске. Однако в файле можно заблокировать и весь сайт. С такой ситуацией мы столкнулись при работе с “Международным институтом дополнительного образования”.

Изначально, когда клиент пришёл на продвижение, в ходе технического аудита мы заметили, что в файле robots.txt прописано правило “Disallow: /”, которое блокировало для индексации весь сайт. Устранение этой ошибки сразу же повлияло на индексацию всего ресурса.

На графике из Я.Метрика наглядно видно, что в сравнении с сентябрем 2021 года трафик очень сильно вырос. Если точнее, то вырос практически в 8 раз, с 18 человек в месяц до 130. Далее, после проведения работ, трафик вырос ещё больше - до 500 человек в месяц.

трафик после

Трафик с поисковых систем после редактирования файла robots.txt

Простой вывод из кейса напрашивается сам по себе. Файл robots.txt - это критически важная для продвижения составляющая сайта. Следовательно, его грамотная и своевременная настройка окажет быстрый и, главное, положительный эффект на поисковую выдачу.

04

Отзывы о нашей работе

01.12.2021
Тюменский машиностроительный завод

Большая часть посетителей сайта приходят по контекстной рекламе. Это привело к увеличению продаж как в рознице, так и в оптовых поставках. Рентабельность рекламы по показателю составила 1566%. Благодаря рекламе мы заключили несколько экспортных контрактов.

11.01.2021
Выставочное агентство "Спутник"

Работа над проектом велась оперативно и слаженно - правки быстро брались в работу, пожелания учитывались, а на все вопросы были даны развернутые ответы, предупреждающие дополнительные вопросы. Сотрудничать с диджитал-агентством "Приоритет" просто и комфортно - можно быть уверенным в положительном результате, который будет отвечать ожиданиям клиента.

05.10.2020
Институт дополнительного образования

С компанией "Приоритет" мы сотрудничаем более четырех лет. Началась наша совместная работа с разработки сайта для нашей компании. Получив новый, яркий, красочный сайт, Институт решил продолжить работу с Приоритетом по поисковому продвижению, технической поддержке и разработке адаптивной версии сайта.

01.10.2025
Дизель Трейд

Коллектив агентства "Приоритет" отличается трудолюбием, вовлеченностью, инициативностью и ответственным отношением к работе и соблюдению договоренностей.

28.09.2020
Юридическая фирма "Паламарчук и партнеры"

Все работы компания выполнила качественно и в срок. Полученный результат соответствует нашим ожиданиям и изначальным договоренностям. Команда проекта проявила себя как надежного и инициативного подрядчика, заинтересованного в том, чтобы продукт получился, действительно, эффективным и приносил пользу бизнесу заказчика.

22.09.2025
Артвуд

В ходе работы мы отмечаем высокую вовлеченность в проект, глубокую отраслевую экспертизу, применение индивидуальных стратегий и отличный уровень сервиса. 

19.12.2017
Пластконструкция

Готовы порекомендовать компанию ИК Приоритет как надежного и компетентного партнера в сфере предоставления интернет услуг.

15.09.2025
Музыкальный арсенал

Нам нравится, что всегда под рукой неравнодушные специалисты, которые помогут в случае технических сбоев, дадут необходимые советы и в короткие сроки выполнят поставленные задачи.

15.09.2020
Доктор Арбитайло

Основные усилия по продвижению мы попросили направить на увеличение небрендового трафика. За период сотрудничества такой трафик показал существенный рост: по нашим данным в 2,2 раза за период с марта по сентябрь. Что интересно, аналогично выросла и выручка компании.

11.09.2025
Галерея застройщиков

Мы рады, что наш сайт разрабатывала именно ваша команда, вы зарекомендовали себя как надежный партнер, разделяющий ценности компании и подход к работе. Коллектив агенства "Приоритет" отличается трудолюбием, вовлеченностью, инициативностью, ответственным отношением к работе и соблюдению договоренностей.

28.08.2025
Атлант Авто

С нами всегда работали грамотные и понимающие наш рынок менеджеры компании, которые прилагают все усилия для того, чтобы наша реклама в интернете была эффективной и продуктивной.

Храм Покрова Пресвятой Богородицы
21.02.2020

За время работы над сайтом компания "Приоритет" зарекомендовала себя как надежный и ответственный партнер. Уже на этапе первых обсуждений команда проявляла вовлеченность и заинтересованность. Для увеличения количества потенциальных благотворителей подрядчик активно предлагал и обосновывал идеи, которые позволили упростить структуру сайта и сделать его функционально более совершенным. Проект получился структурно не перегруженным, понятным и эффективным. 

08.09.2025
СибирьДомСтрой

"Наконец - то осознали, что напротив нас истинные профессионалы и это безусловно радовало. За 9 месяцев продвижения ребята увеличили поисковый трафик до 1073. Сотрудники ИК "Приоритет" начиная от руководящего состава заканчивая администраторами были культурными и эрудированными людьми. За годы сотрудничества мы вместе добились немалых успехов."

09.04.2025
Юни-центр

С интернет-компанией «Приоритет» мы работаем уже год. Из инструментов интернет-маркетинга используем продвижение по трафику. Кроме этого, была разработана и внедрена адаптивная версия сайта.

29.01.2025
ООО "Центр аллергии и астмы "Парацельс"

ООО "Центр аллергии и астмы "Парацельс" благодарит компанию ООО “Приоритет” за оказанные услуги по разработке нового сайта для нашей компании на основе готового решения и продвижению текущего сайта paracels.net, используя следующие инструменты: поисковую оптимизацию и контекстную рекламу.

Ваша заявка успешно отправлена В отделе продаж уже идет драка за такого замечательного клиента, как вы. С вами свяжется выживший менеджер!
Готовы обсудить ваш проект!

Оставьте заявку мы свяжемся с вами в ближайшее время, ответим на все вопросы, поможем определиться с задачами и предложим оптимальные решения.