Как пользоваться
- Вставьте файл robots.txt в поле Файл robots.txt.
- Введите путь или полный адрес в поле Путь или адрес, а имя сканера в поле Имя сканера.
- Прочитайте Разрешено для этого сканера, затем строку в Правило, которое решает, чтобы понять причину.
Как принимается решение
Инструмент сначала выбирает группу. Строки user-agent, которые называют сканер (сравнение без учёта регистра), образуют одну группу. Если никакая из них его не называет, используется группа для всех сканеров, отмеченная звёздочкой (RFC 9309, раздел 2.2.1).
Внутри этой группы сравниваются все правила, шаблон которых совпадает с адресом с первого символа. Побеждает самый длинный шаблон, а при ничьей выигрывает правило разрешения (RFC 9309, раздел 2.2.2). Если ни одно правило не подходит, адрес разрешён. Сам файл /robots.txt всегда разрешён.
- Звёздочка (*) в шаблоне соответствует любому тексту, а знак доллара ($) в конце шаблона ограничивает совпадение.
- Экранированные буквы, цифры и знаки - . _ ~ раскрываются перед сравнением, поэтому %7E и ~ считаются одинаковыми.
- Комментарии начинаются с решётки (#), а пустое значение Allow или Disallow игнорируется.
Где Google и RFC совпадают
Страница Google о robots.txt описывает те же правила: используется группа с наиболее конкретным подходящим user-agent, побеждает самое конкретное правило по длине пути, а при конфликте выигрывает наименее строгое правило. Инструмент следует RFC там, где тексты расходятся в формулировках, и не находит различий в этих правилах.
- Google сравнивает путь и строку запроса. RFC не говорит, входит ли строка запроса в путь; этот инструмент сравнивает её, как это делают примеры страницы Google.
- RFC не говорит, что значит пустое значение. Google его игнорирует, и инструмент делает то же.
Разбор примера: три адреса в одном файле
В файле по умолчанию есть группа для всех сканеров и группа для Googlebot. Googlebot следует только своей группе, поэтому /drafts/ закрыт для него, но не для других сканеров. В таблице показан результат для трёх запросов.
Строка 9 закрывает /private/ для Googlebot. Строка 5 — правило разрешения, которое длиннее закрытого /private/, поэтому оно побеждает для press-kit.html.
| Адрес | Сканер | Статус | Правило, которое решает | Применяемая группа |
|---|---|---|---|---|
| /private/page.html | Googlebot | Заблокировано | Строка 9: Disallow: /private/ | Строка 7: User-agent: Googlebot |
| /private/press-kit.html | Bingbot | Разрешено | Строка 5: Allow: /private/press-kit.html | Строка 2: User-agent: * |
| /drafts/new.html | Googlebot | Заблокировано | Строка 8: Disallow: /drafts/ | Строка 7: User-agent: Googlebot |
Частые вопросы
Проверяет ли этот инструмент имя узла в полном адресе?
Нет. Используются только путь и строка запроса. Если в файле есть правила для другого узла, инструмент не проверяет, относятся ли они к введённому адресу.
Почему сам файл robots.txt всегда разрешён?
RFC 9309 говорит, что адрес /robots.txt неявно разрешён, поэтому сканер всегда может прочитать правила. Инструмент следует этому правилу и показывает результат как файл robots.
Что происходит, когда два правила подходят к одному адресу?
Решает правило с более длинным шаблоном, потому что оно конкретнее. Если оба шаблона одинаковой длины, решает правило разрешения.
Почему правило с пустым значением не действует?
Грамматика RFC допускает пустое значение, но не говорит, что оно означает. В странице Google сказано, что сканеры игнорируют правило без пути, и этот инструмент делает то же.
Отправляется ли мой файл на сервер?
Нет. Файл читается в вашем браузере. Вставленное никуда не отправляется нам и не сохраняется.
Работает ли файл длиннее 500 КиБ?
Читаются только первые 500 КиБ, как это делает Google. Инструмент сообщает, если файл длиннее, чтобы вы видели, не игнорируется ли правило в конце.
Источники
- RFC 9309 (на английском): протокол исключения роботов (Robots Exclusion Protocol)
- Google Search Central (на английском): как Google интерпретирует спецификацию robots.txt, с примерами сопоставления путей
- Google Search Central (на английском): введение в robots.txt
Цифры и текст в последний раз проверены вторник, 10 ноября 2026 г..