Метрика, которую максимизирует вырожденный случай
Мы мерили качество словаря подслов долей слов, разрезанных по границе морфемы. Посимвольный словарь набирал единицу.
ЗамерСловарь из 40 токенов: 1.00. Словарь из 300 токенов: 0.25. Первый резал «домами» как «д|о|м|а|м|и».
Задача требовала подбирать размер словаря замером, а не традицией. Мы написали замер: доля слов, у которых граница основы и окончания попала в разрез.
У посимвольного словаря в разрез попадает КАЖДАЯ граница. Он получал единицу — лучший возможный результат — и был при этом бесполезен.
Метрика, у которой лучший результат даёт вырожденный случай, — не метрика качества. Хуже: она склоняет выбрать словарь поменьше, то есть ровно противоположное тому, ради чего замер делается.
Переписали на «собралась ли основа в ОДИН токен». Посимвольный словарь теперь получает ноль. И заодно выяснилось, что больший словарь не обязательно лучше: на нашем корпусе он выучивает целую словоформу «дома» и теряет основу как единицу.