Моделирование социальной реакции на посты с помощью LLM и NLP
Эта научная статья описывает метод, который позволяет предсказать, как пользователи отреагируют в комментариях к посту в Telegram, зная только текст самого поста. Ссылка на статью: https://dl.acm.org/doi/10.1145/3774905.3795851
Вот ключевая суть работы по шагам:
1. В чём проблема?
В социальных сетях (в частности, в Telegram) под постами часто возникают токсичность, споры или агрессия. Однако модераторы и авторы видят комментарии только после того, как их уже опубликовали. Авторы статьи задались вопросом: можно ли предсказать реакцию аудитории заранее, анализируя только исходный пост?
2. Что было сделано?
- Анализ поста: Исследователи взяли исходные тексты постов и с помощью классических методов обработки естественного языка (NLP) и нейросетей (GPT) выделили из них ключевые характеристики: стиль, эмоции, смысл и лингвистические особенности.
- Анализ комментариев: Комментарии под этими постами разметили с помощью LLM (больших языковых моделей) по нескольким критериям: уровень токсичности, наличие конфликта, юмор, позиция пользователей и их эмоции (например, милота/милование).
- Обучение модели: Модель машинного обучения (XGBoost) научили связывать «характеристики поста» с «типом реакций в комментариях».
3. Главные результаты
- Точность: Модель доказала, что по самому тексту поста можно предсказать поведение аудитории.
Точность определения эмоциональных атрибутов составила до 85%.
Точность предсказания появления токсичных комментариев — 71%.
- Интерпретируемость (SHAP): С помощью анализа SHAP авторы доказали, что характеристики, извлеченные языковой моделью (GPT), действительно логичны и поведенчески объяснимы, а не являются случайным шумом.
4. Практическая польза
Этот подход позволяет делать проактивную модерацию и оценку рисков. Автор или система управления контентом могут еще до публикации поста понять, что он с высокой вероятностью спровоцирует хейт, конфликт или токсичные комментарии, и вовремя скорректировать формулировки.
