Ассоциации концептов и дескрипторов

Автор: Дмитрий Малыхин (i@dmalyhin.ru).

Совместная встречаемость

Для двух дескрипторов или концептов анализируется количество произведений, в которых они встречаются совместно. Чтобы отличать реальную связь от эффекта общей частотности, используются нормированные коэффициенты.

Для корпусов A и B:

common = |A ∩ B|
Jaccard = |A ∩ B| / |A ∪ B|
Overlap = |A ∩ B| / min(|A|, |B|)
Cosine = |A ∩ B| / sqrt(|A|·|B|)

Разные интерпретации

• Jaccard показывает долю общего множества относительно объединения;
• Overlap показывает, насколько меньший корпус покрывается большим;
• Cosine нормирует пересечение относительно размеров обоих корпусов.

Для устойчивой связи могут применяться минимумы общего числа произведений и Jaccard. Очень высокие Jaccard и Overlap позволяют обнаруживать кандидатов на почти дублирующие дескрипторы и тем самым поддерживать качество открытого словаря.

Связь с канонизацией

Аналитика может указать на подозрительную близость двух словарных объектов, но не имеет права автоматически объединить их. Решение о канонизации остаётся семантической операцией ЛОГОС.