Competent Tools · Indexing

Robots Meta Tag Generator онлайн — index, noindex, follow и nofollow

Создавайте robots meta tag для управления индексированием конкретной HTML-страницы. Выберите index или noindex, follow или nofollow, настройте дополнительные директивы и скопируйте готовый код для размещения внутри head.

index / noindex индексация страницы

follow / nofollow обработка ссылок

snippet controls дополнительные директивы

Robots Meta Tag Generator

Создать meta name="robots"

код формируется в браузере

Индексация добавление страницы в индекс

index разрешить индексирование noindex просить не индексировать

Ссылки follow / nofollow

follow разрешить обработку ссылок nofollow ограничить обработку ссылок

Дополнительные директивы настройка отображения и кеширования

noarchive не использовать сохранённую копию страницы nosnippet не показывать текстовый сниппет noimageindex ограничить индексирование изображений страницы

Расширенные ограничения добавляются только при включении

max-snippet max-image-preview max-video-preview

Быстрые варианты

Готовый HTML-код Robots meta готов

Content index, follow

Индексация разрешена

Ссылки follow

Snippet без дополнительных ограничений

Meta robots относится к конкретной HTML-странице и не заменяет robots.txt. Если URL полностью закрыт от обхода через robots.txt, поисковый робот может не получить HTML страницы и не увидеть размещённый на ней meta robots.

Indexing directives

Что такое meta robots

Meta robots — HTML-элемент, который размещается внутри head страницы и передаёт поисковым роботам директивы об индексировании страницы, ссылках и отдельных элементах сниппета.

01 HTML-страница

→

02 meta name="robots"

→

03 директивы индексации

Index / Noindex

Index и noindex — управление индексированием

Основное различие: index допускает индексирование, а noindex сообщает, что страницу не следует оставлять в поисковом индексе.

INDEX

Страница может индексироваться

Используется для обычных индексируемых страниц сайта, предназначенных для поиска.


            index, follow

NOINDEX

Страницу не следует индексировать

Может использоваться для служебных, технических или других страниц, которые не нужны в выдаче.


            noindex, follow

Follow / Nofollow

Follow и nofollow — что происходит со ссылками

Эти директивы относятся к обработке ссылок на странице. Для обычных страниц чаще используется стандартный вариант follow.

PAGE index, follow

→

LINKS могут обрабатываться

Additional directives

Дополнительные robots-директивы

Помимо index и follow можно передавать более точные настройки для сниппетов, изображений и сохранённых версий.


            noarchive

Сохранённая копия

Используется для ограничения использования сохранённой кешированной копии страницы там, где директива поддерживается.


            nosnippet

Текстовый сниппет

Ограничивает отображение текстового сниппета страницы в поддерживающих эту директиву системах.


            noimageindex

Изображения

Используется для ограничения индексирования изображений, размещённых на странице.


            max-snippet

Длина сниппета

Позволяет передать ограничение максимального объёма текстового сниппета.


            max-image-preview

Превью изображений

Позволяет задать допустимый размер изображения в превью.


            max-video-preview

Видеопревью

Позволяет передать максимальную длительность видеопревью.

Robots Meta vs robots.txt

Meta robots и robots.txt — не одно и то же

Robots.txt в первую очередь управляет обходом URL, а meta robots находится внутри HTML и задаёт инструкции для конкретной страницы.

ROBOTS META

На уровне HTML-страницы


            <meta name="robots" ...>

Используется для директив index, noindex, follow, nofollow и других.

ROBOTS.TXT

На уровне обхода URL


            Disallow: /admin/

Используется для управления доступом поисковых роботов к определённым путям.

Robots.txt Generator →

Noindex use cases

Какие страницы иногда закрывают noindex

Решение зависит от структуры сайта. Noindex не стоит применять автоматически ко всем техническим URL без анализа их назначения.

Служебные страницы

Внутренние технические страницы, которые не предназначены для поисковой выдачи.

Результаты внутренних операций

Например отдельные страницы, созданные только для внутренних сценариев сайта.

Временные страницы

Материалы, которые временно доступны, но не должны индексироваться.

Некоторые дубли

Только если noindex действительно соответствует выбранной SEO-архитектуре проекта.

HTML Example

Пример meta robots

Тег размещается внутри HTML-элемента head страницы.

HEAD meta robots

<head>

  <title>Название страницы</title>

  <meta
    name="robots"
    content="index, follow, max-image-preview:large"
  >

</head>

Common mistakes

Частые ошибки с meta robots

Ошибочная директива noindex может убрать важную страницу из поиска, поэтому robots meta особенно важно проверять перед публикацией.

Noindex на важной странице

Коммерческая или информационная страница случайно закрыта от индексации.

Robots.txt блокирует HTML

Робот не может получить страницу и поэтому может не увидеть размещённый внутри meta robots.

Конфликтующие директивы

В разных частях страницы или HTTP-заголовках передаются несогласованные инструкции.

Noindex вместо canonical

Дублирующая страница закрывается noindex, хотя архитектура требует канонизации.

Nofollow без необходимости

Nofollow массово применяется ко всей странице, хотя это не соответствует задаче.

Забытый noindex после запуска

Тестовая директива остаётся на опубликованной версии сайта.

Важно

Проверяйте noindex перед публикацией важных страниц

Одна случайная директива noindex способна изменить индексируемость страницы. После переноса сайта, редизайна, публикации staging-версии или изменения шаблонов стоит отдельно проверять robots meta на коммерчески важных URL.

FAQ

Вопросы про meta robots

Основные вопросы об index, noindex, follow и других директивах.

Что такое meta robots?

Что означает index?

Директива index допускает индексирование страницы поисковой системой.

Что означает noindex?

Директива noindex сообщает, что страницу не следует оставлять в поисковом индексе.

Что означает follow?

Директива follow указывает, что ссылки на странице могут обрабатываться поисковым роботом.

Что означает nofollow?

Директива nofollow используется для ограничения обработки ссылок на странице.

Чем meta robots отличается от robots.txt?

Можно ли использовать noindex, follow?

Да. Такая комбинация сообщает, что страницу не следует индексировать, но ссылки на ней могут обрабатываться.

Что делает max-image-preview?

max-image-preview позволяет передать ограничение на размер изображения, которое поддерживающая поисковая система может использовать в превью.

Meta Robots Generator бесплатный?

Да. Meta Robots Generator Competent можно использовать бесплатно без регистрации.

Competent Agency

Robots meta настроен — проверим индексируемость сайта целиком.

Анализируем noindex, robots.txt, canonical, Sitemap, редиректы, ошибки 4xx, структуру URL, внутренние ссылки и страницы, которые не попадают в поиск.

SEO-продвижение ↗

Бесплатная консультация WhatsApp