Концептуальный граф, сообщества и центральности

Автор: Дмитрий Малыхин (i@dmalyhin.ru).

Вход

Граф строится только по каноническим концептам произведений:

work_id → Cw

Авторство, серии, дескрипторы, классификация, профиль, текстовые эмбеддинги и корпусные описания не создают концептуальных рёбер.

Корпус концепта

Bc = {w ∈ W | c ∈ Cw}
nc = |Bc|

Для пары концептов i,j:

mij = |Bi ∩ Bj|
J(i,j) = mij / (ni + nj - mij)
O(i,j) = mij / min(ni,nj)
C(i,j) = mij / sqrt(ni·nj)

Вес ребра:

weight(i,j) = C(i,j)
distance(i,j) = 1 / max(C(i,j), 10^-9)

Тематический граф

Узел включается при:

nc ≥ 3
nc < 40

Ребро включается при:

mij ≥ 3
J(i,j) ≥ 0.12

Тематические области

Основной алгоритм — Louvain:

resolution = 1.2
seed = 42

Сообщество размером от трёх концептов становится тематической областью.

Центральности

Используются:

PageRank (d=0.85);
посредническая центральность по длинам distance(i,j);
мостовая оценка для концептов, связывающих минимум две области.

Мостовая оценка

bridge_score(v) = BC(v) · ln(1 + nv) · ln(1 + max(2,av))

av — число связанных тематических областей.

Основной мостовой отбор дополнительно требует, чтобы концепт встречался минимум в трёх произведениях, имел положительную посредническую центральность, не относился к фоновым и был связан минимум с двумя тематическими областями. Если основной отбор не даёт ни одного результата, применяется резервный режим: среди нефоновых концептов с положительной посреднической центральностью выбираются верхние позиции по посреднической центральности, затем по числу произведений и лексическому ключу; в этом режиме мостовая оценка равна посреднической центральности.

Независимость

Локальные текстовые эмбеддинги не влияют на состав узлов, рёбер, Louvain, PageRank, посредническую центральность и мостовые концепты.