ПРИМЕНЕНИЕ ГРАФОВЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ПРОГНОЗИРОВАНИЯ ВОВЛЕЧЕННОСТИ ПОЛЬЗОВАТЕЛЕЙ В СОЦИАЛЬНЫХ МЕДИА

2. Permanent technological regulations № 24 of the complex 325 "A" of the third stage ammonia production (gas purification with liquid nitrogen, compression, synthesis). For educational and scientific purposes. Navoi: OJSC "NAVOIYAZOT", 2012. P. 14-32.

ПРИМЕНЕНИЕ ГРАФОВЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ПРОГНОЗИРОВАНИЯ ВОВЛЕЧЕННОСТИ ПОЛЬЗОВАТЕЛЕЙ В СОЦИАЛЬНЫХ МЕДИА Черкасов Е.И. Email: Cherkasov691@scientifictext.ru

Черкасов Егор Игоревич - магистрант, Институт информационных технологий Челябинский государственный университет, г. Челябинск

Аннотация: социальные сети стали местом, в котором можно влиять на общественное мнение. Из-за этого возникают задачи по анализу поведения людей в этих сетях. В данной работе рассматривается использование графов для анализа социальных сетей. Рассматриваются графовые эмбеддинги и графовые нейронные сети, их применение на практике. Проведены эксперименты по прогнозированию с помощью графовых нейронных сетей людей, которые поставят лайк на пост в социальной сети "ВКонтакте". Результаты показывают, что с помощью нейронных сетей не удалось повысить качество.

USE OF A GRAPH NEURAL NETWORK FOR PREDICTING USERS INVOLVEMENT IN SOCIAL MEDIA Cherkasov E.I.

Cherkasov Egor Igorevich - Undergraduate, INSTITUTE OF INFORMATION TECHNOLOGIES, CHELYABINSK STATE UNIVERSITY, CHELYABINSK

Abstract: social networks have become a place where you can influence public opinion. Because of this, tasks arise in analyzing the behavior of people in these networks. This paper discusses the use of graphs for the analysis of social networks. Graph embeddings and graph neural networks, their application in practice are considered. Prediction experiments using graph neural networks of people who like to post on the social network "Vkontakte". The results show that using neural networks failed to improve quality. Keywords: social network, involvement, graph embeddings, graph neural network.

УДК 004

В наше время социальные сети стали серьезной площадкой для формирования и манипулирования общественным мнением. Большинство известных брендов имеют свои группы в крупный сетях и продвигают там свою продукцию и услуги. Помимо брендов в социальных сетях появились и лидеры мнений - частные лица, материалы которых отслеживает большое количество людей. Поэтому сейчас, в условиях высокой конкуренции, встает задача формирования определенного мнения аудитории.

А для этого требуется определить максимально эффективные каналы распространения информации по сети, пользователей, потенциально готовых с большей вероятностью принять необходимую позицию, и так далее.

Но помимо влияния на общественное мнение, актуальны и другие задачи, связанные с анализом социальных сетей: оценка успешности нового продукта или услуги, выявление аномального поведения пользователей, поиск целевой аудитории и другое.

Анализ вовлеченности пользователей - того, как одни пользователи проявляют свою заинтересованность в материалах других пользователей, может помочь в решении большинства вышеупомянутых задач. В настоящее время, общим подходом к работе с соцсетями является использование методов машинного обучения с учителем, обученных по различным признакам, собранным в сети. Однако основным ограничением этого подхода является то, что он не использует топологию сети - сам граф пользователей. Поэтому данная работа посвящена тому, как с помощью нейронных сетей можно напрямую использовать граф пользователей, а также тому, можно ли с таким подходом повысить качество прогнозирования вовлеченности.

Граф — это разновидность структуры данных, которая моделирует набор объектов (вершин) и их взаимосвязей (ребер). В последнее время исследованиям анализа графов с помощью машинного обучения уделяется все больше внимания из-за большой выразительной силы графов, то есть графы могут использоваться для обозначения большого числа систем в различных областях: химии и биологии, социальных сетях, работе с текстом и многих других областях исследований. Анализ графов фокусируется на классификации узлов и графов, предсказании связей, кластеризации.

Первыми алгоритмами, которые напрямую использовали граф, были алгоритмы получения графовых эмбеддингов, т.е. они представляли узлы, ребра или подграфы графа в виде векторов, которые можно использовать в выбранной модели машинного обучения. Одним из первых таких методов был Deep Walk [1], который применяет модель SkipGram [2] к случайно сгенерированным блужданиям. Подобные подходы, такие как node2vec, LINE и TADW, также достигли высоких успехов. Однако эти способы имеют два серьезных недостатка. Во-первых, число параметров растет линейно с количеством узлов. Во-вторых, эти методы не могут иметь дело с динамическими графами, то есть они подходят только для графов с фиксированной структурой.

Для решения этих проблем исследуется применение глубоких нейронных сетей для работы с графами. Эти архитектуры глубоких нейронных сетей известны как Graph Neural Networks (GNNs). Их основная идея заключается в том, что сначала для каждой вершины строится вычислительный граф с помощью случайного блуждания, а затем собирается и трансформируется информация о соседях. При этом информацию о соседях на разной глубине собирают различные агрегирующие функции. Также большим преимуществом таких сетей является возможность использования не только самого графа, но и дополнительных признаков по каждой вершине или ребру.

Применение графовых эмбеддингов и графовых нейронных сетей для работы с социальными сетями также исследуется. В [3] рассматривается проблема выявления постов людей в социальной сети Twitter, близких к самоубийству. В этой работе используется ансамбль моделей, каждая из которых работает с различной информацией - текст твита, исторические данные об активности пользователя, а также его взаимодействие с другими пользователями. Для работы с последним типом данных использовалась графовая нейронная сеть. Был построен граф, в котором вершинами являются пользователи (авторы твитов) и их твиты, а ребра - авторство твита (для связи пользователь-твит) и взаимная подписка друг на друга (для связи

пользователь-пользователь). В качестве признаков для твитов был построен Tf-IDF вектор текста, а для пользователей - средний Tf-IDF вектор от всех векторов твитов данного пользователя. В результате было показано, что даже одна такая модель показывает высокое качество (F1 = 90.29), а при объединении всех моделей в ансамбль качество удалось повысить (F1 = 92.76).

В [4] исследуется определение демографических характеристик пользователя -пола и возраста, в социальной сети "Вконтакте". Были собраны пользователи сети, их связь и признаки. Тестирование проводилось для различных алгоритмов машинного обучения, а также для графовой нейронной сети GraphSAGE. Для классических алгоритмов рассматривались различные комбинации признаков - только признаки из социальной сети, только графовые эмбеддинги, полученные с помощью алгоритма DeepWalk, а также их комбинация. В задаче определения возраста лучше всего себя показали ансамбли решающих деревьев, а в задаче определения пола пользователя -графовая нейронная сеть. Однако стоит учитывать, что добавление эмбеддингов к исходным признакам также дает прирост качества в обеих задачах.

Помимо алгоритмов, подобных DeepWalk, для получения графовых эмбеддингов также можно использовать и графовые нейронные сети. В [5] исследуется задача определения успешных групп в социальной сети Meetup. Было собрано большое количество признаков по пользователям и группам. Для получения графовых эмбеддингов были использованы две модели - Node2vec и Graph Attention Network (GAT). Результаты показывают, что, используя графовые эмбеддинги, можно достичь высокого качества в данной задаче.

Для проведения экспериментов, были использованы данные, собранные в [6]. Исследуется та же задача - прогнозирование оставление лайка для конкретного поста у пары пользователей - автора поста и его друга, но уже с использованием графовых нейронных сетей. Для этого данные были преобразованы в графовый вид, где вершины - пользователи (автор поста и его друзья), а ребра - наличие дружественной связи в социальной сети. Информация о пользователях (общее количество постов, репостов) была переведена в признаки вершин графа, а информация о взаимодействии пользователей (количество постов первого пользователя, которым второй пользователь поставил лайк/поделился) - в признаки ребер. Также использовалась информация о самом посте - для всех текстов постов был получен вектор с помощью предобученной на русском языке модели BERT [7].

Эксперименты проводились на нескольких графовых нейронных сетях: SplineCNN [8], GraphSAGE [9], SGC [10]. Валидация проводилась на отложенных пользователях, не участвовавших в обучении моделей. В таблице 1 представлены результаты по классу 1.

Таблица 1. Результаты экспериментов

Метрика SplineCNN GraphSAGE SGC

F1 0.43 0.42 0.25

ROC AUC 0.97 0.97 0.88

Из результатов видно, что лучше всего себя показала модель SplineCNN. При этом, если сравнивать результаты с [6], то видно, что на тех же данных достичь лучшего качества с помощью графовых нейронных сетей не удалось - F1 0.47 против 0.43.

В данной статье были рассмотрены способы работы с графами. Проведены эксперименты по прогнозированию людей, которые поставят лайк на пост в

социальной сети "ВКонтакте" с помощью графовых нейронных сетей. Результаты показывают, что повысить качество с помощью таких методов не удалось.

Список литературы /References