User-agent
Для какого робота действует правило
Звёздочка означает применение группы правил ко всем роботам.
User-agent: *
Competent Tools · Technical SEO
Генератор robots.txt онлайн — создать файл для сайта
Создайте базовый robots.txt для сайта: настройте User-agent, разрешённые и запрещённые пути, добавьте Sitemap и получите готовый текст файла. Инструмент помогает подготовить правила обхода сайта поисковыми роботами без ручного написания директив.
Robots.txt Generator
Создать robots.txt
генерация в браузере
Быстрые варианты:
Для большинства сайтов используется «*» —
правило применяется ко всем роботам.
Disallow Запретить обход путей
Allow Явно разрешить путь
Sitemap XML-карта сайта
Готовый robots.txt
Файл сформирован
!
Robots.txt управляет обходом URL поисковыми роботами, но не является надёжным способом удалить страницу из поискового индекса. Если URL уже известен поисковой системе, один только Disallow не гарантирует его исчезновение из выдачи.
Crawling
Что такое robots.txt
Robots.txt — текстовый файл, который размещается в корне сайта и содержит инструкции для поисковых роботов о том, какие URL или разделы сайта они могут или не должны обходить.
01
Робот открывает сайт
→
02
Проверяет /robots.txt
→
03
Применяет правила обхода
Directives
Основные директивы robots.txt
В большинстве базовых конфигураций используются User-agent, Disallow, Allow и Sitemap.
Disallow
Запрет обхода URL
Указывает путь, который соответствующему роботу не следует обходить.
Disallow: /admin/
Allow
Разрешение конкретного пути
Может использоваться для более точной настройки внутри закрытого раздела.
Allow: /public/
Sitemap
Адрес XML-карты сайта
В robots.txt можно указать абсолютный URL файла sitemap.xml.
Sitemap: https://site.kz/sitemap.xml
Example
Пример robots.txt
Конкретный файл зависит от структуры и CMS сайта. Не копируйте чужой robots.txt без проверки собственных URL.
robots.txt
example.com
User-agent: * Disallow: /admin/ Disallow: /search/ Allow: / Sitemap: https://example.com/sitemap.xml
User-agent: *
Правила применяются ко всем поисковым роботам.
Disallow
Роботу предлагается не обходить указанные каталоги.
Sitemap
Указывается адрес XML-карты сайта.
Crawling ≠ Indexing
Robots.txt и индексация — разные вещи
Одна из самых частых SEO-ошибок — воспринимать Disallow как команду «удалить страницу из Google».
Управляет обходом
Robots.txt сообщает роботу, какие URL ему не следует сканировать.
CrawlingУправление индексированием
Для контроля индексации могут использоваться другие SEO-механизмы, например robots meta directives или HTTP-заголовки.
Indexing
Common mistakes
Частые ошибки в robots.txt
Ошибка в одном символе может изменить область действия правила, поэтому файл стоит проверять после каждого существенного изменения сайта.
Закрыт весь сайт
Disallow: /
Такая директива запрещает выбранному User-agent обходить весь сайт.
Закрыты важные страницы
Коммерческие категории, услуги или товары могут случайно попасть под общее правило.
Robots используют как noindex
Disallow регулирует обход, поэтому его нельзя автоматически приравнивать к запрету индексации.
Неверный Sitemap URL
В Sitemap должен быть указан существующий абсолютный URL XML-карты сайта.
Размещение файла
Robots.txt размещается в корне сайта
https://
example.com
/robots.txt
Для домена example.com стандартный адрес файла — https://example.com/robots.txt. После публикации URL должен открываться непосредственно в браузере.
FAQ
Вопросы про robots.txt
Короткие ответы на основные вопросы о файле robots.txt.
Что такое robots.txt?
Robots.txt — текстовый файл в корне сайта, который содержит инструкции для поддерживающих этот механизм поисковых роботов об обходе URL сайта.
Где должен находиться robots.txt?
Файл размещается в корне домена. Например, для example.com адрес будет https://example.com/robots.txt.
Что означает User-agent: *?
Звёздочка означает, что группа правил предназначена для всех роботов, которые используют соответствующий стандарт.
Что делает Disallow?
Disallow указывает путь, который соответствующему поисковому роботу не следует обходить.
Можно ли добавить Sitemap в robots.txt?
Да. В robots.txt можно указать абсолютный URL XML-карты сайта с помощью директивы Sitemap.
Удалит ли Disallow страницу из Google?
Не обязательно. Robots.txt управляет обходом, а не является универсальной командой удаления URL из поискового индекса.
Можно ли закрыть весь сайт от роботов?
Конструкция User-agent: * вместе с Disallow: / сообщает поддерживающим эти правила роботам не обходить сайт. Для рабочего публичного сайта использовать такую настройку нужно крайне осторожно.
Генератор robots.txt бесплатный?
Да. Инструмент Competent можно использовать бесплатно без регистрации.
Competent Agency
Robots.txt — только один файл. Проверим техническое SEO целиком.
Анализируем индексацию, robots.txt, sitemap.xml, canonical, редиректы, структуру страниц, мета-теги, Schema.org, внутреннюю перелинковку и другие технические элементы сайта.
SEO-продвижение ↗
Бесплатная консультация
WhatsApp