Характерность признаков и корпусные портреты

Автор: Дмитрий Малыхин (i@dmalyhin.ru).

Частота и характерность — разные величины

Частый дескриптор внутри корпуса может быть частым и во всей библиотеке, поэтому сам по себе мало характеризует выбранный объект. МАП сравнивает локальную долю с глобальной базовой частотой.

Для признака t в корпусе C:

share_C(t) = support_C(t) / |C|
baseline(t) = support_W(t) / |W|
lift_C(t) = share_C(t) / baseline(t)

Высокий lift означает, что признак встречается в выбранном корпусе заметно чаще, чем в библиотеке вообще.

Корпусный портрет

Такой портрет может строиться для:

• концепта;
• значения классификации;
• значения профиля;
• автора;
• серии;
• другого точно определённого среза.

Портрет включает сочетание:

• размера корпуса;
• распределений классификации и профиля;
• частых дескрипторов;
• характерных дескрипторов по lift;
• концептов;
• авторов;
• серий.

Принцип

Корпусный портрет не создаёт нового значения и не меняет состав среза. Он является математическим описанием уже существующего множества произведений.