Граф связности произведений

Автор: Дмитрий Малыхин (i@dmalyhin.ru).

Помимо концептуального графа МАП строит прозрачный граф самих произведений.

Определение ребра

Базовая прямая аналитическая связь между двумя произведениями существует, если у них есть хотя бы один общий концепт или общий дескриптор.

V = произведения
E = пары с общим концептом или дескриптором

Для каждого ребра сохраняется число общих концептов и дескрипторов. Это позволяет отдельно рассматривать концептуальный и дескрипторный слои.

Глобальные свойства

Для графа вычисляются:

• число рёбер и плотность;
• степени вершин;
• средняя, медианная, минимальная, максимальная и 90-й перцентиль степени;
• компоненты связности;
• изолированные и универсально связанные произведения;
• крупнейшая компонента и её доля;
• точки сочленения;
• мостовые рёбра;
• средняя длина кратчайшего пути, диаметр, радиус и центр крупнейшей компоненты.

Проверка устойчивости определения связи

Связность корпуса проверяется при более строгих сценариях:

• не менее двух общих концептов;
• одновременно общий концепт и общий дескриптор;
• минимальный Jaccard объединённого набора концептов и дескрипторов;
• исключение фоновых признаков, встречающихся в слишком большой доле корпуса.

Это позволяет видеть, насколько структура корпуса зависит от слабых единичных совпадений.

Отличие от рекомендаций

Граф связности — топологическое представление прямого совместного присутствия признаков. Структурная рекомендательная модель использует взвешенный TF-IDF, классификацию, профиль и авторство. Поэтому эти два отношения не должны смешиваться.