Руководство асессора

Тот же текст, по которому работают наши асессоры, — без сокращений. Открытая публикация инструкции связывает руки: написанное в ней нельзя тихо изменить, и в этом весь смысл.

Действующая версия: 1 от 2026-09-02.

История изменений

Текст руководства

Инструкция асессора Yottis

Версия 1 · 2 сентября 2026 · задача плана 0.7

1. Что вы делаете и зачем

Вы смотрите на пару: запрос человека и страницу, которую поиск на этот запрос

показал. Ваша работа — сказать, насколько эта страница отвечает на этот запрос.

Ваши оценки — единственный способ узнать, стал поиск лучше или хуже. Без них

разработчик правит ранжирование и смотрит на результат своими глазами, а свои

глаза видят то, что ожидают увидеть. С вашими оценками появляется число, которое

можно двигать и по которому видно, что стало хуже.

Вы не оцениваете: дизайн сайта, ваше отношение к бренду, качество вёрстки,

политическую позицию автора, вашу личную симпатию к теме.

Вы оцениваете: получит ли человек, задавший этот запрос, то, что искал,

открыв эту страницу.

2. Как устроено задание

Задание выглядит так:

```

q042 как рассчитать отпускные https://example.ru/buhgalteru/otpusknye-2026

```

Три поля: идентификатор запроса, сам запрос, адрес страницы. Вы открываете

страницу, читаете, ставите оценку:

```bash

python3 tools/assess.py grade --assessor a1 --query q042 \

--doc https://example.ru/buhgalteru/otpusknye-2026 --score 3

```

Сомневаетесь — оценка всё равно ставится, но с пометкой:

```bash

python3 tools/assess.py grade --assessor a1 --query q042 \

--doc https://example.ru/... --score 2 --note "ответ есть, но за 2026 год данные старые"

```

Пометка не портит статистику и не считается ошибкой. Наоборот: пары с пометками

собираются командой disputed и разбираются отдельно — из них растёт следующая

версия этой инструкции.

Сколько времени на задание. Ориентир — от 30 секунд до двух минут. Меньше

30 секунд означает, что страницу вы не читали. Больше пяти минут означает, что

случай спорный: поставьте оценку с пометкой и идите дальше, не застревайте.

3. Шкала

4 — витальная

Страница закрывает запрос полностью. После неё человек не возвращается в выдачу.

• Запрос госуслуги → главная страница gosuslugi.ru.
• Запрос как рассчитать отпускные → страница с формулой, примером расчёта

и указанием, откуда берётся средний заработок.

• Запрос курс доллара → страница с сегодняшним курсом на видном месте.
• Запрос википедия → ru.wikipedia.org.

Важно: «витальная» — это не «лучшая из тех, что мне попались», а «полный ответ».

Если в задании подряд идут три посредственные страницы, лучшая из них не становится

витальной. Оценка ставится странице, а не месту в тройке.

3 — релевантная+

Ответ есть и он верный, но что-то мешает назвать страницу идеальной:

• ответ верный, но его нужно вычитать из большого текста;
• страница отвечает шире, чем спрашивали (обзор всего трудового кодекса при

запросе про отпускные);

• ответ верный, но без примера, а запрос предполагает пример;
• официальный источник, но неудобный: PDF на 80 страниц, где ответ на 34-й.

2 — релевантная

Ответ на странице есть, но искать его придётся, или он неполон:

• запрос сколько дней отпуска положено → форум, где в третьем сообщении

правильный ответ, а в первых двух — спор;

• страница отвечает на смежный, но не заданный вопрос: спрашивали про отпускные,

отвечает про больничные, и по дороге упоминает отпускные;

• каталог или подборка ссылок, где нужная ссылка есть, но ответа на самой

странице нет.

1 — нерелевантная

Страница про ту же область, но на запрос не отвечает. Человек посмотрит и уйдёт

назад в выдачу.

• запрос как рассчитать отпускные → страница «услуги бухгалтерского

сопровождения» без единой цифры;

• запрос погода на завтра → статья «как одеваться осенью»;
• запрос про конкретную модель товара → карточка другой модели.

0 — мусор

• страница не открывается, отдаёт ошибку, пустая или состоит из одной рекламы;
• дорвей: текст, собранный из ключевых слов, ведёт на редирект;
• клоакинг: содержимое не имеет отношения к заголовку и описанию;
• мошенничество: поддельная страница банка или госоргана, вымогательство данных;
• вредоносное: требование установить файл, чтобы «посмотреть содержимое»;
• копия чужого текста без источника, размещённая ради рекламы.

Отдельно: страница со взрослым содержимым по невзрослому запросу — это 0.

По взрослому запросу — оценивается как обычная страница.

4. Главное правило

Оценивайте пару, а не страницу. Одна и та же страница на разные запросы

получает разные оценки, и это нормально. Официальная страница закона —

витальная для запроса трудовой кодекс отпуск, но всего лишь релевантная

для как рассчитать отпускные: закон не считает за человека.

Второе правило: намерение. Прежде чем оценивать, ответьте себе, что человек

хотел. Три основных случая:

Ошибка в намерении дороже ошибки в ступени: перепутанное намерение

переворачивает оценку целиком, а соседняя ступень сдвигает метрику незначительно.

5. Пограничные случаи

Разобраны те, на которых асессоры расходятся чаще всего. Если ваш случай похож

на один из них — решайте так же.

5.1. Страница верная, но устарела

Запрос как получить налоговый вычет, страница верна для 2019 года, правила

с тех пор изменились.

Решение: 1. Устаревший ответ хуже отсутствия ответа: человек ему поверит.

Исключение — запрос сам про прошлое (как получали вычет до 2021), тогда 4.

Если изменения косметические и по существу ответ верен — 2 с пометкой.

5.2. Правильный ответ на агрегаторе

Запрос расписание электричек, страница — агрегатор, который показывает

расписание, взятое с сайта перевозчика.

Решение: 4, если ответ виден на странице. Мы оцениваем ответ, а не

происхождение. Агрегатор без самого расписания, только со ссылкой на перевозчика,

— это 2.

5.3. Копия оригинала

Запрос информационный, страница — дословная перепечатка статьи с другого сайта.

Решение: оценивайте по содержанию, как обычную страницу (обычно 3),

и ставьте пометку «перепечатка». Схлопывание дублей — работа поиска, а не ваша:

если вы будете занижать копии, поиск научится показывать оригинал, которого

может не быть в индексе.

Исключение: копия, обрезанная до половины, с рекламой поверх текста — 1.

5.4. Ответ есть, но за платной стеной

Решение: 2. Ответ формально есть, получить его нельзя. Если стена появляется

после первого абзаца и в нём уже есть ответ — 3.

5.5. Ответ в комментариях, а не в статье

Решение: 2. Ответ найдётся, но искать придётся. Если комментарий помечен

как решение и виден без разворачивания — 3.

5.6. Главная страница вместо нужного раздела

Запрос как передать показания счётчика, страница — главная сайта управляющей

компании, откуда до формы два клика.

Решение: 2. Человек дошёл до правильного сайта, но не до ответа. Если форма

прямо на главной — 4.

5.7. Страница на другом языке

Запрос по-русски, страница по-английски с правильным ответом.

Решение: 1, если существует русский аналог по этому же запросу;

2, если тема узкоспециальная и по-русски источников нет. Пометка обязательна.

5.8. Заголовок обещает больше, чем страница даёт

Заголовок «Полная инструкция», внутри три абзаца общих слов.

Решение: 1. Если это систематический приём сайта (каждая страница обещает

инструкцию и не даёт) — 0 с пометкой «дорвей».

5.9. Неоднозначный запрос

Запрос ягуар, страница про автомобиль. Или про кошку.

**Решение: оценивайте по основному смыслу — тому, который имеет в виду

большинство спрашивающих.** Для ягуар основных смысла два, и обе страницы

получают 3: ни одна не витальная, потому что половина людей искала другое.

Если смысл один явно преобладает (лук — чаще овощ, чем оружие), страница

о преобладающем смысле — 4, о втором — 2.

5.10. Медицина, деньги, право

Запросы вроде как сбить температуру у ребёнка, как оформить ипотеку,

как подать иск в суд. Здесь цена ошибки — здоровье и деньги, поэтому

требования к источнику выше.

Решение:

• ответ от профильной организации, врача, юриста, официального органа — по общей шкале;
• тот же по содержанию ответ на анонимном сайте без указания автора — на ступень ниже;
• совет, противоречащий официальным рекомендациям, — 0 независимо от того,

насколько убедительно написан.

5.11. Страница не открывается

Решение: 0. Проверьте дважды: сеть могла отвалиться у вас. Если страница

открывается, но грузится больше 15 секунд, — 1 с пометкой.

5.12. Запрос геозависимый

Запросы стоимость проезда, как записаться к врачу, погода на завтра

имеют разный правильный ответ в разных городах. В корзине такие запросы помечены

полем геозависимый.

Решение: оценивайте относительно Москвы, если в задании не сказано иное.

Не относительно вашего города: иначе метрика запомнит ваш город как истину.

Страница про другой регион — 1.

5.13. Страница отвечает, но ответ неверный

Решение: 0. Уверенный неправильный ответ — худшее, что может показать поиск.

Он не просто бесполезен: человек уходит, считая, что узнал ответ.

Если вы не уверены, что ответ неверный, — 1 с пометкой. Проверять факты

сторонним поиском не нужно и не надо: ваша задача — оценить соответствие

запросу, а не провести расследование.

6. Чего делать нельзя

1. Не подсматривайте в чужой поиск. Мы измеряем нашу выдачу, а не сходство

с чужой. Страница, которой нет в чужом топе, не становится от этого хуже.

2. Не оценивайте по домену. Незнакомый домен — не повод для единицы,

известный — не повод для четвёрки. Смотрите на содержание.

3. Не сравнивайте документы между собой. Каждая пара оценивается отдельно.

Второй документ не «хуже первого», он либо отвечает, либо нет.

4. Не додумывайте запрос. Если спрошено лук, не решайте, что человек

«наверняка имел в виду» лук для стрельбы, потому что это интереснее.

5. Не пропускайте задания молча. Задание, которое вы не поняли, — оценка

с пометкой, а не пропуск. Пропуск невидим, пометка попадёт в разбор.

7. Как проверяется ваша работа

Честно и прямо: проверяется.

Контрольные задания. В поток вкраплены пары, где правильный ответ известен

заранее: навигационный запрос и официальный сайт. Официальному сайту полагается

4 (в редких случаях 3). Систематические единицы на таких парах означают, что

задания не читаются. Их доля — 5%, узнать контрольное задание в потоке нельзя,

и не нужно: оно ничем не отличается от обычного.

Согласие. Каждую пару оценивают трое, и мы считаем каппу — меру согласия

за вычетом случайных совпадений. Ниже 0.5 — переделываем инструкцию, а не вас:

низкое согласие обычно означает, что правило непонятно, а не что асессор плох.

Что мы НЕ делаем: не платим за скорость и не сравниваем асессоров по числу

заданий в час. Быстрая разметка бесполезна.

Посмотреть на свои числа можно самому:

```bash

python3 tools/assess.py control

python3 tools/assess.py agreement

```

8. Шпаргалка

Последнее. Если после чтения этой инструкции вы не понимаете, что ставить,

— это дефект инструкции, а не ваш. Ставьте оценку с пометкой и продолжайте.