论文信息

论文标题:Rumor Detection on Social Media with Graph AdversarialContrastive Learning
论文作者:Tiening Sun、Zhong Qian、Sujun Dong
论文来源:2022, WWW
论文地址:download
论文代码:download

Abstract

  尽管基于GNN的方法在谣言检测领域取得了一些成功,但是这些基于交叉熵损失的方法常常导致泛化能力差,并且缺乏对一些带有噪声的或者对抗性的样本的鲁棒性,尤其是一些恶意谣言。有时,仅仅设置一个简单的扰动就会导致标签被高度置信地错误分类,这对谣言分类系统无疑是一个巨大的潜在危害。因此,现有的数据驱动模型需要变得更加健壮,以应对通常由正常用户无意识地产生和传播的错误信息或者由谣言制造者恶意设计的混乱对话结构。

  在本文中,我们提出了一种新的图对抗对比学习(GACL)方法来对抗这些复杂的情况,其中引入对比学习作为损失函数的一部分,用于明确感知同类和不同类的会话线程之间的差异。同时,设计了一个对抗性特征变换(AFT)模块来产生相互冲突的样本,以加压模型以挖掘事件不变的特征。这些对抗性样本也被用作对比学习的硬负样本,使模型更鲁棒和有效。在三个公共基准数据集上的实验结果表明,我们的 GACL 方法比其他最先进的模型取得了更好的结果。

1 Introduction

  本文提出一个图对抗对比学习(GACL)方法谣言检测。具体来说,首先采用 edge perturbation 和 dropout 等图数据增强策略掩模来模拟 Figure 1(b) 的情况,它为模型提供了丰富噪声的输入数据。然后,我们引入 Figure 2 所示的监督图对比学习 来训练 GNN 编码器 明确地感知增强数据的差异,并学习鲁棒表示。与自监督对比学习策略不同,本文的方法可以更有效地利用标签信息。这样,就可以防止在一些包含噪声的情况下,如错误的注释和混乱的字符被检测模型错误地分类。

  

  有时,仅凭这一点是不够的。因为在现实世界中,除了由普通用户无意中创造和传播的错误信息外,还有一些由谣言生产者精心设计和故意推广的恶意谣言,如 Figure 1(c) 所示,这可能会使该模型失效。一些研究人员也注意到了这个问题。Ma等人[21]分析了一个关于“沙特阿拉伯斩首第一个女性机器人公民”的谣言案例,以说明谣言机器人如何使用高频和指示性词汇来掩盖事实。Yang等人 [32] 还提到,谣言生产者经常操纵由用户、消息来源和评论组成的关系网络,以逃避检测。无论是文本篡改还是网络操纵,谣言制作者的目的都是使谣言在高维空间中接近非谣言样本,从而混淆模型。因此,为了解决这个问题,我们开发了一个对抗性特征转换(AFT)模块,旨在利用对抗性训练来生成具有挑战性的特征。这些对抗性特征将作为对比学习中的硬负样本,帮助模型加强对这些困难样本的特征学习,实现鲁棒性和有效的检测。此外,我们直观地相信,这些对抗性的特征可以被解码成各种不同类型的扰动。

  本文贡献:

    • 据我们所知,这是第一个将对比学习引入谣言检测任务的研究,旨在通过感知同一标签和不同标签样本之间的差异来提高表征质量。
    • 我们提出了GACL模型,它不仅考虑了谣言的传播结构信息,还模拟了噪声和对抗性情况,并利用对比学习捕获了事件不变特征。
    • 在GACL框架下,我们开发了AFT模块来生成对抗性特征,这些特征作为对比学习中的硬负样本,以学习更鲁棒的表示。
    • 我们通过实验证明,我们的模型在真实世界的数据集上优于最先进的基线。

2 Method

2.1 Definition

  本文将谣言检测定义为一种分类任务,其目的是从一组带标签的训练事件中学习一个分类器, 然后用它来预测测试事件的标签。使用  $C=\left\{c_{1}, c_{2}, \cdots, c_{n}\right\}$ , $c_{i}$ 是第  $i$  个事件,  $n$  是事件的数量。每个事件  $c=(y, G)$  包含 ground-truth 标签  $y \in\{R, N\}$  (也就是 Rumor 和 Non-rumor) 和其传播结构树  $G=(V, E)$ , $V$  和  $E$  分别是节点和边的集合。有时谣言检测被定义为一个四类的分类任务,相应的  $y \in\{N, F, T, U\}$  ( Non-rumor、False Rumor、True Rumor、Unverified Rumor)。在模型训练阶段,$\hat{G}$  由数据增强生成,目的是与原图  $G$  一起学习一个分类器  $f(\cdot)$  。在测试阶段,只有原图  $G$  会被用来预测给定事件  $c_{i}$  的标签。

2.2 Framework

2.3 Graph Data Augmentation

  GACL采用 Edge perturbation 策略进行数据增强。对于一个图 $G=(V, E) $ ,其邻接矩阵为 $A$ ,特征矩阵为 $X$ , Edge perturbation 在训练时将会根据一定的概率 $r$ 来随机丢弃、 添加或者误置一些边,以此来干扰 $G$ 的连接。假设新生成的增强图为 $\hat{G}^{\prime}$,$A_{\text {perturbation }}$ 为一 个从原来的边集合中随机采样的矩阵,则 $\hat{G}$ 的邻接矩阵 $A^{\prime}$ 可以计算为对谣言制造者设计的伪装结构。

  此外,对于谣言检测任务,上图中由 $post$ 组成的图节点的文本信息也是正确分类谣言的关键线索之一,还需要对其进行增强以提供一些噪声。本文采用 Dropout mask 来对这些文本进行增强,也就是随机 mask 每个 post 中的一些词,如上图所示。

2.4 Graph Representation

  本文使用 BERT 来获取事件的原文和评论的句子表示,以构建新的 $X$ 。为了强调 source post 的重要性,以 [CLS] Source [SEP] Comment [SEP] 的形式来将原文和评论连接起来,以 [CLS] 这个 token 的最终表示作为节点的表示。

  本文使用一个两层 $\mathrm{GCN}$ 作为 encoder 。当前图记为 $G_{k} $ ,其增强图为 $\hat{G}_{k}$ ,经过两层 $\mathrm{GCN}$ 后学习到的节点表示矩阵为 $H_{k}^{(2)}$ ,最后使用一个 mean-pooling 来获得图的表示:

    $h_{k}=M E A N\left(H_{k}^{(2)}\right)$

2.5 AFT Component

  即使 AFT  module 不存在,由 GCN 生成的图表示 $h$ 也可以直接输入最终的 $softmax$ 层进行谣言分类。然而,由于该模型在训练阶段只暴露于包含随机噪声的数据增强生成的输入样本中,因此它缺乏对对抗性样本(特别是一些被人类仔细干扰的数据)的鲁棒性,如 Figure1(c). 所示为了逃避模型检测,谣言产生者可能会使用图伪装策略,使会话线程更接近非谣言实例,从而混淆了图检测模型。他们也可以利用谣言机器人来发布大量的评论,其中包含许多高频和指示性的词,以掩盖事实。这些案例的最终目标是使谣言特征向量更接近于潜在空间中的非谣言特征向量。提出的基于对抗学习的 AFTmodule 试图在高维空间中模拟这些行为,并生成对抗向量,用于挖掘训练阶段的事件不变特征。

  如  Figure 3 所示,AFT 由 $L = 2$ fully connected layers、Dropout 和 Normalization (DN) 组成。经过 AFT module 后,$h_k$ 转换为 $z_k$,公式为

    $z_{k}=D N\left(\max \left(0, h_{k} W_{1}^{A F T}+b_{1}\right) W_{2}^{A F T}+b_{2}\right)$

  将得到的 $z_k$ 向量作为对比学习中的硬负样本。

  现在,对于 batch 中的每一个 post,我们得到了 GCN 编码的相应图表示 $h_{k}$,以及 AFT 生成的对抗表示 $z_{k}$。然后,我们将它们连接起来,以将信息合并为

    $m_{k}=\operatorname{concat}\left(h_{k}, z_{k}\right)$

  接下来,将 $m_{k}$ 输入全连接层和 softmax 层,输出计算为

    $\hat{y}_{k}=\operatorname{softmax}\left(W_{k}^{F} m_{k}+b_{k}^{F}\right)$

  其中,$\hat{y} \in \mathbb{R}^{1 \times C}$ 为预测的概率分布。$W^{F}$ 和 $b^{F}$ 分别为可训练的权重矩阵和偏差。

2.6 Adversarial Contrastive Learning

  本文采用的损失函数旨在给定标签信息的条件下最大化正样本之间的一致性同时拉远负样本。 如 Figure 3 ,以  $m_{k}$  作为锚点,具备与  $m_{k}$  相同标签的  $m_{p}$  作为正样本,具备与  $m_{k}$  不同标签的  $m_{a}$  作为负样本。对比损失的目的是让具有相同标签的样本余弦相似度变大,具有不同标签的样本余弦相似度变小。最终的损失函数为:

    $\mathcal{L}=\mathcal{L}_{c e}+\alpha \mathcal{L}_{s u p}$

  这两部分损失分别是:

    $\mathcal{L}_{c e}=-\frac{1}{N} \sum\limits ^{N} \sum\limits^{M} y_{k, c} \log \left(\hat{y}_{k, c}\right)$

    ${\large \mathcal{L}_{s u p}=-\sum\limits _{k \in K} \log \left\{\frac{1}{|P(k)|} \sum\limits _{p \in P(k)} \frac{\exp \left(\operatorname{sim}\left(m_{k}, m_{p}\right) \tau\right)}{\sum\limits _{a \in A(k)} \exp \left(\operatorname{sim}\left(m_{k}, m_{a}\right) \tau\right)}\right\}} $

  $k$  代表第几个样本, $c$  代表类别,  $A(k)=\left\{a \in K: y_{a} \neq y_{k}\right\}$  是负样本索引,$P(k)=\left\{p \in K: y_{p}=y_{k}\right\}$  是正样本索引,  $\operatorname{sim}(\cdot)$  为余弦相似度,即  $\operatorname{sim}\left(m_{k}, m_{p}\right)=m_{k}^{T} m_{p} /\left\|m_{k}\right\|\left\|m_{p}\right\|$ , $\tau \in \mathbb{R}^{\dagger}$  是温度超参数。

  一部分研究表明BERT驱动的句子表示容易造成坍塌现象,这是由于句子的语义信息由高频词主导。在谣言检测中,高频词经常被谣言制造者利用来逃避检测。因此采用对比学习的方式能够 平滑化句子的语义信息,并且理论上能够增加低频但重要的词的权重。本文通过最小化 $\mathcal{L}$ 来更新模型的参数,但不包括 AFT 的参数。

  AFT 基于对抗学习单独训练。模型中 AFT 的参数记作 $\theta_{a}$ ,其他参数记作 $\theta_{s}$ 。在每一个 epoch 中,我们最小化 $\mathcal{L}$ 来更新 $\theta_{s}$ ,最大化 \mathcal{L} 来更新 \theta_{a} 。我们利用对抗学习来最小化对抗样本与相同标签样本的一致性,最大化对抗样本与不同标签样本的一致性。整个算法如下:

  

3 Experiment

Datasets

  

Results

  

  

Ablation study

  

  

Early Rumor Detection

  

4 Conclusion

  本文提出了一种新的谣言检测模型,即GACL。首先,采用训练前模型BERT获得GACL中每个帖子的表示,然后使用GCN对谣言传播的结构信息进行编码。其次,引入对比学习,通过捕获同一类实例之间的共性和不同类实例之间的差异来提高表示的质量。最后,将AFT模块加载到模型中,采用对抗性学习策略进行训练,以生成对抗性特征。这些对抗性特征在对比学习中作为硬负样本,并在训练阶段作为输入向量的一部分输入到softmax模块中,有利于捕获事件不变特征。实验结果表明,我们的GACL方法对三个公共真实数据集的谣言检测具有良好的有效性和鲁棒性,并且在早期谣言检测任务中显著优于其他最先进的模型。

  我们未来的工作将集中于多模态信息的融合和提取、偏见检测和模型决策的可解释性。

谣言检测(GACL)《Rumor Detection on Social Media with Graph Adversarial Contrastive Learning》的更多相关文章

  1. 谣言检测(RDEA)《Rumor Detection on Social Media with Event Augmentations》

    论文信息 论文标题:Rumor Detection on Social Media with Event Augmentations论文作者:Zhenyu He, Ce Li, Fan Zhou, Y ...

  2. 谣言检测(PSIN)——《Divide-and-Conquer: Post-User Interaction Network for Fake News Detection on Social Media》

    论文信息 论文标题:Divide-and-Conquer: Post-User Interaction Network for Fake News Detection on Social Media论 ...

  3. 谣言检测——(GCAN)《GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media》

    论文信息 论文标题:GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Medi ...

  4. 谣言检测(DUCK)《DUCK: Rumour Detection on Social Media by Modelling User and Comment Propagation Networks》

    论文信息 论文标题:DUCK: Rumour Detection on Social Media by Modelling User and Comment Propagation Networks论 ...

  5. 谣言检测()《Rumor Detection with Self-supervised Learning on Texts and Social Graph》

    论文信息 论文标题:Rumor Detection with Self-supervised Learning on Texts and Social Graph论文作者:Yuan Gao, Xian ...

  6. 谣言检测——《MFAN: Multi-modal Feature-enhanced Attention Networks for Rumor Detection》

    论文信息 论文标题:MFAN: Multi-modal Feature-enhanced Attention Networks for Rumor Detection论文作者:Jiaqi Zheng, ...

  7. 谣言检测(PLAN)——《Interpretable Rumor Detection in Microblogs by Attending to User Interactions》

    论文信息 论文标题:Interpretable Rumor Detection in Microblogs by Attending to User Interactions论文作者:Ling Min ...

  8. 谣言检测()《Data Fusion Oriented Graph Convolution Network Model for Rumor Detection》

    论文信息 论文标题:Data Fusion Oriented Graph Convolution Network Model for Rumor Detection论文作者:Erxue Min, Yu ...

  9. 谣言检测——(PSA)《Probing Spurious Correlations in Popular Event-Based Rumor Detection Benchmarks》

    论文信息 论文标题:Probing Spurious Correlations in Popular Event-Based Rumor Detection Benchmarks论文作者:Jiayin ...

随机推荐

  1. 跟我读论文丨Multi-Model Text Recognition Network

    摘要:语言模型往往被用于文字识别的后处理阶段,本文将语言模型的先验信息和文字的视觉特征进行交互和增强,从而进一步提升文字识别的性能. 本文分享自华为云社区<Multi-Model Text Re ...

  2. day01--MarkDown语法格式

    MarkDown语法格式 标题 一级标题 一级标题: 井号+空格+标题名字 二级标题 二级标题: 双井号+空格+标题名字 三级标题 三级标题: 三井号+空格+标题名字 ......... 字体 斜体( ...

  3. 从零开始搭建Vue2.0项目(一)之快速开始

    从零开始搭建Vue2.0项目(一)之项目快速开始 前言 该样板适用于大型,严肃的项目,并假定您对Webpack和有所了解vue-loader.确保还阅读vue-loader的文档,了解常见的工作流程配 ...

  4. 青山不遮,毕竟东流,集成Web3.0身份钱包MetaMask以太坊一键登录(Tornado6+Vue.js3)

    原文转载自「刘悦的技术博客」https://v3u.cn/a_id_213 上世纪九十年代,海湾战争的时候,一位美军军官担心他们的五角大楼会被敌人的一枚导弹干掉,从而导致在全球的美军基地处于瘫痪状态. ...

  5. SpringBoot定时任务 - 什么是ElasticJob?如何集成ElasticJob实现分布式任务调度?

    前文展示quartz实现基于数据库的分布式任务管理和job生命周期的控制,那在分布式场景下如何解决弹性调度.资源管控.以及作业治理等呢?针对这些功能前当当团队开发了ElasticJob,2020 年 ...

  6. 项目操作案例丨西门子PLC通过网关连接ACS800变频器

    本案例控制对象为炉条机.以及蒸汽的控制以及现场数据参数的显示以及报警. PLC 选用西门子 CPU,通过 ET200 IO 模块控制现场设备并监控数据.变频器采用ABB ACS800变频器,将ABB ...

  7. Java面试题(三)--虚拟机

    1 内存结构 1.简述一下JVM的内存结构?(高频) JVM在执行Java程序时,会把它管理的内存划分为若干个的区域,每个区域都有自己的用途和创建销毁时间.如下图所示,可以分为两大部分,线程私有区和共 ...

  8. vscode 源代码不能自动stage change

    前言 vscode的强大不用赘述了,当你开始使用自然就会爱上他.围绕着IDE的编写体验,有很多强大的自带或者第三方插件,可以做到,编码,git管理,甚至部署一条龙[我司就有这样的插件],让大家沉迷其中 ...

  9. C++ 特殊矩阵的压缩存储算法

    1. 前言 什么是特殊矩阵? C++,一般使用二维数组存储矩阵数据. 在实际存储时,会发现矩阵中有许多值相同的数据或有许多零数据,且分布呈现出一定的规律,称这类型的矩阵为特殊矩阵. 为了节省存储空间, ...

  10. ASP.NET Core自定义中间件的方式

    ASP.NET Core应用本质上,其实就是由若干个中间件构建成的请求处理管道.管道相当于一个故事的框架,而中间件就相当于故事中的某些情节.同一个故事框架采用不同的情节拼凑,最终会体现出不同风格的故事 ...