Путь страницы и числа, которых у нас нет
Мы начали публиковать ежемесячный отчёт прозрачности. Первым делом выяснилось, каких чисел в нём не будет, — и почему это правильно.
ЗамерКонтрольное слово страницы /fresh за 26 сентября поиск находит, за 27-е — нет (проверено 28.09 в 16:00 МСК): версия в работе собрана 27.09 в 21:16. Сейчас путь страницы занимает больше суток.
Путь страницы в Yottis — четыре шага: «Опубликовано → Робот нашёл → В индексе → В поиске». Каждый из них можно подтвердить журналом, и поэтому мы показываем их, а не одно обещание «скоро найдём».
Робот нашёл. Расписание запускает обход раз в 10 минут. Прежде чем взять страницу, робот читает robots.txt сайта и держит паузу не меньше секунды между обращениями к одному сайту — или больше, если сайт попросил Crawl-delay. На ответ «притормозите» (429) сайт получает паузу, какую попросил, и не меньше минуты. После каждого прогона приёмка сверяет с базой каждое обращение, и первое же нарушение останавливает расписание до разбора.
В индексе. Ночная пересборка начинается в 01:10 и выпускает новую версию, только если та прошла ворота: карантин качества, память, задержку. В работающем процессе версия больше не подменяется: горячая подмена занимала около 17 минут, и всё это время сервис не отвечал на проверку здоровья.
В поиске. Новая версия входит в работу вторым процессом: он прогревается рядом со старым, проходит проверку, и только тогда адрес переключается на него. Прежний процесс остаётся для отката.
Как мы это проверяем. Страница /fresh раз в сутки, в полночь по Москве, меняет контрольное слово, и обещание простое: изменилась сегодня — находится завтра. 28 сентября поиск находил слово 26-го и не находил слово 27-го. Значит, сегодня путь занимает больше суток. Мы пишем это здесь, а не прячем: для доверенных лент и подтверждённых владельцев сайтов строится быстрый путь с целью в 15 минут, и мерить его будем тем же способом.
Отчёт прозрачности теперь выходит каждый месяц и собирается из журналов сервиса: что робот обошёл и соблюдал ли robots.txt и паузы, что и почему ушло из выдачи (страница удалена сайтом, запрет индексации, правовое основание, отказ владельца), насколько сервис был доступен по проверкам снаружи — из трёх стран, дважды в час.
Числа, которых у нас нет. Запросов за месяц: счётчик в /status живёт от запуска до запуска процесса и обнуляется при каждой выкладке. Сложить обрывки или досчитать по среднему можно, но это была бы выдумка, поэтому в отчёте стоит «нет данных» и причина. Доступность — доля успешных проверок, а не минуты простоя: две проверки в час минуты не измеряют. Предварительный отчёт за сентябрь собран без журналов сервиса, и большинство его строк честно помечено «нет данных».
Находка по дороге. Архив отчётов сначала должен был лечь в каталог /transparency/. Сервер статики ищет адрес без расширения сначала как каталог и только потом как файл .html, так что такой каталог молча занял бы адрес действующего отчёта об изъятиях. Архив живёт в /reports/monthly/, а тест не даёт каталогу появиться.
Чего в отчёте нет совсем — ничего о посетителях: ни текстов запросов, ни адресов, ни того, какие страницы открывали.