Разрешает ли ваш файл обход конкретного адреса и каким правилом это решено. Разбор по RFC 9309 — тот же код, которым читает файлы наш робот.
| Правило RFC 9309 | Как понимает наш разбор |
|---|---|
| Конфликт Allow и Disallow | Побеждает правило с более длинным совпадением; при равной длине — Allow |
Подстановка * | Любая последовательность символов внутри пути |
Якорь $ | Совпадение обязано заканчиваться на конце пути |
Пустой Disallow: | Не запрещает ничего — это НЕ то же самое, что Disallow: / |
Несколько строк User-agent подряд | Одна группа: правила относятся ко всем перечисленным роботам |
| Выбор группы | Сначала группа с именем вашего робота; только если её нет — группа *. Правила не смешиваются |
Правило до первого User-agent | Игнорируется |
Инструмент отвечает на вопрос «что написано в файле», а не «что произойдёт на самом деле». Файл, недоступный при обходе, толкуется иначе: код 4xx означает «правил нет, можно всё», а 5xx и сетевой сбой — «запрещено всё», потому что сайт временно не может сообщить свои правила. Проверить это можно только запросом к вашему серверу, и мы его отсюда не делаем.
Проверка структурированной разметки · Все инструменты · Инженерный блог