Генератор robots.txt: блокировка ИИ-сканеров и карты сайта

Как пользоваться

Выберите По умолчанию для всех сканеров и введите закрытые пути, по одному в строке.
Добавьте разрешённые пути для папок, которые должны оставаться открытыми внутри закрытой области, и введите адреса карт сайта.
Выберите, что делать с ИИ-сканерами: не добавлять группу, блокировать всех или разрешить всех.
Скопируйте файл или скачайте его и сохраните как robots.txt в корневой папке сайта.

Как сканер читает файл

Сканер подчиняется группе, строка user-agent которой называет его. Если никакая группа его не называет, он подчиняется группе, которая начинается со звёздочки и относится ко всем сканерам (RFC 9309, раздел 2.2.1). Руководство Google по robots.txt говорит, что используется группа с наиболее конкретным подходящим user-agent, а остальные группы игнорируются.

Когда закрытый и разрешённый пути подходят к одному адресу, побеждает более длинный путь. При одинаковой длине побеждает разрешённый путь (RFC 9309, раздел 2.2.2). В этом случае Google использует наименее строгое правило.

Google требует, чтобы файл лежал в корневой папке сайта, и чтобы его имя было robots.txt.
Google пропускает строки, которых не понимает, и читает не больше 500 кибибайт файла.

ИИ-сканеры в этом инструменте

Каждый маркер ниже — это имя, которое его оператор указывает в собственной документации, кроме Bytespider: официальной страницы для него не найдено. Назначение дано так, как его описывают операторы.

Маркер	Оператор и назначение	Страница оператора
GPTBot	OpenAI: сканирует содержимое, которое может использоваться для обучения её базовых моделей генеративного ИИ	Страница ботов OpenAI
ClaudeBot	Anthropic: собирает содержимое веба, которое может пойти на обучение	Справка Anthropic о сканерах
Google-Extended	Google: управляет тем, может ли сканированное содержимое использоваться для разработки моделей ИИ; на включение в Поиск и ранжирование не влияет	Документация Google о сканерах
PerplexityBot	Perplexity: показывает и связывает сайты в результатах своего поиска и не используется для сканирования содержимого для базовых моделей ИИ	Руководство Perplexity о ботах
CCBot	Common Crawl: создаёт открытый репозиторий данных сканирования веба; robots.txt — способ отказаться	Страница Common Crawl CCBot
Applebot-Extended	Apple: управляет тем, может ли содержимое использоваться для обучения базовых моделей Apple	Страница Apple About Applebot
Bytespider	ByteDance: не подтверждён, потому что официальная страница сканера не найдена	Не найдена
meta-externalagent	Meta: обучение базовых моделей ИИ или прямое индексирование содержимого	Страница Meta о веб-сканерах

Чего robots.txt не делает

Он не убирает страницу из Google. Вводная статья Google говорит, что robots.txt не является средством убрать веб-страницу из Google; для этого используйте правило noindex или защиту паролем.
Он не останавливает сканер, который решил его проигнорировать. Он лишь просит сканеры держаться подальше от путей, названных в нём.
Google игнорирует Crawl-delay, поэтому задержка, которую вы задаёте здесь, на Google не действует.

Пример: магазин, который блокирует ИИ-сканеры

Значения по умолчанию разрешают доступ всем сканерам, закрывают /admin/, /checkout/ и каждый адрес с параметром сортировки, а /admin/help/ оставляют открытым, потому что этот разрешённый путь длиннее закрытого /admin/. ИИ-сканеры блокируются, а в конце файла перечислены две карты сайта.

В таблице показано, какая строка файла решает для трёх адресов.

Сканер	Адрес	Правило, которое решает
Googlebot, у которого нет своей группы	/admin/login	Disallow: /admin/
Googlebot, у которого нет своей группы	/admin/help/faq.html	Allow: /admin/help/
GPTBot	/products/shirt.html	Disallow: /

Частые вопросы

Защищает ли robots.txt страницу от появления в результатах поиска Google?

Нет. Вводная статья Google к robots.txt говорит, что файл не является средством убрать веб-страницу из Google. Чтобы её убрать, используйте правило noindex или защиту паролем.

Почему каждая ИИ-группа повторяет закрытые пути?

Сканер читает только ту группу, которая его называет, а группа для всех сканеров для него игнорируется. Поэтому настройка «разрешить» повторяет ваши закрытые пути под собственной строкой Allow: /, и эти пути остаются закрытыми для ИИ-сканера.

Следует ли Google строке Crawl-delay?

Нет. Страница robots.txt Google говорит, что другие поля, например crawl-delay, не поддерживаются. Anthropic сообщает, что её сканеры поддерживают нестандартное расширение Crawl-delay.

Влияет ли блокировка Google-Extended на позиции в Google Поиске?

Нет. Документация Google о сканерах говорит, что Google-Extended не влияет на включение сайта в Google Поиск и не используется как сигнал ранжирования.

Подтверждает ли оператор маркер Bytespider?

Нет. При проверке инструмента страница сканера ByteDance не нашлась, поэтому маркер взят с сайтов третьих сторон. Ищите запросы с этим именем в журналах сервера, прежде чем полагаться на правило.

Куда положить файл?

В корневую папку сайта, чтобы он открывался по корневому адресу под именем robots.txt. На странице Google сказано, что файл должен лежать в корневой папке сайта.

Сохраняет ли инструмент то, что я ввожу, и отправляет ли он это на сервер?

Нет. Файл записывается в вашем браузере. Введённое никуда не отправляется нам и не сохраняется.

Источники

Цифры и текст в последний раз проверены вторник, 10 ноября 2026 г..

Результат