Это правда наш бот?
Кто угодно может назваться YottisBot в заголовке
User-Agent — это просто строка. Единственный надёжный ответ даёт двусторонняя
проверка DNS: адрес → имя → адрес. Страница проводит её по тем же правилам,
что и наш сервер, но в вашем браузере.
Почему нужно вводить записи DNS руками. Страница
не может сама сходить в DNS: браузер такого не умеет, а сервер, который сделал бы
это за вас, получил бы ваш журнал. Две команды ниже дают ровно те данные,
которые нужны, и не отдают никому ничего.
host 203.0.113.10 — обратная запись (PTR)
host bot-10.bot.yottis.ru — прямые записи имени
Что означает каждый ответ
| Ответ | Что делать |
|---|---|
| наш | Ничего: это мы. Если он мешает — ограничьте нас в robots.txt, мы подчиняемся. |
| подделка: нет обратной записи | Блокируйте. У всех наших адресов обратная запись есть. |
| подделка: обратная запись вне нашей зоны | Блокируйте: имя не в нашей зоне, значит, адрес не наш. |
| подделка: прямая запись не возвращает исходный адрес | Блокируйте: имя настоящее, но принадлежит не этому адресу. |
| проверить не удалось | Ничего не блокируйте. Повторите позже: неответивший DNS — не улика. |