Категориальный медоид корпуса

Автор: Дмитрий Малыхин (i@dmalyhin.ru).

Задача

Для корпуса бывает нужно показать репрезентативный профиль или классификацию. Независимый выбор моды по каждой оси может создать комбинацию, которой нет ни у одного реального произведения. Поэтому МАП использует категориальный медоид среди наблюдаемых векторов.

Пусть x_w — категориальный вектор произведения, а c — один из реально наблюдаемых кандидатов. Расстояние:

D(c) = Σ_w H(c, x_w)

где H — расстояние Хэмминга.

Эквивалентная форма для k осей и N произведений:

D(c) = k·N - Σ_j count_j(c_j)

Выбирается наблюдаемый вектор с минимальным D(c).

Разрешение равенства

При одинаковом расстоянии:

1. выше ставится более частый полный вектор;
2. оставшееся равенство разрешается стабильным лексическим порядком.

Свойство метода

Результат всегда соответствует реально существующему произведению или наблюдаемой комбинации корпуса. МАП не создаёт синтетический «средний профиль», которого фактически нет.