具体来说，BotMoE 为元数据特征、文本内容和图形结构构建特定于模态的编码器，它们从三个特定于模态的角度联合建模 Twitter 用户。然后，我们使用社区感知 MoE 层自动将用户分配到不同的社区并利用相应的专家网络。最后，来自元数据、文本和图形角度的用户表示与专家融合层融合，结合所有三种模式，同时测量用户信息的一致性。

广泛的实验表明，BotMoE 在三个 Twitter 机器人检测基准上显着提高了最新技术水平。研究还证实，BotMoE 捕获高级和规避的机器人，减轻对训练数据的依赖，并更好地推广到新的和以前看不见的用户社区。

1 简介

背景

Twitter 机器人，也称为由自动程序控制的 Twitter 帐户，已成为社交媒体用户广为人知的现象 [6, 23]。 Twitter 机器人通过传播错误信息 [9、59、70、73]、加深社会分歧 [25、61]、宣扬阴谋论 [22、26] 以及影响重大选举 [21， 53]。因此，通过自动 Twitter 机器人检测系统 [5、10]、特定上下文案例研究 [4、47] 等，已经进行了广泛的研究工作来应对 Twitter 机器人的恶意影响。

前人方法介绍

现有的自动 Twitter 机器人检测模型可以通过其信息源（基于特征、基于文本和基于图形的 [17]）来表征，反映了机器人操作员和机器人检测研究之间的军备竞赛 [6]：早期的 Twitter 机器人大多是简单的垃圾邮件机器人，发布重复和恶意内容 [8]，因此它们可以通过特征工程和传统分类器 [33、71] 被基于特征的模型轻松识别。然而，部分由于对这些基于特征的检测器的认识，机器人操作员开始篡改用户元数据 [6、8]，从而使基于特征的方法变得不那么有效。因此，提出了基于文本的方法来利用自然语言处理 (NLP) 技术 [13、29、64] 来分析推文和用户描述中的文本内容，旨在通过恶意内容识别 Twitter 机器人。然而，随着机器人开始发布从真实用户那里窃取的推文 [6]，从而稀释了 Twitter 机器人时间轴中的恶意内容，基于文本的方法变得不那么有效了。基于图的模型 [16、31、35、36] 可以更好地捕获这些高级机器人，这些模型利用图神经网络来分析 Twitter 机器人集群并揭示它们的集体行为。

尽管 Twitter 机器人检测研究在对抗日益先进和规避的 Twitter 机器人方面取得了长足的进步，但如图 1 所示，机器人伪装的复杂性和 Twitter 社区的多样化性质在自动机器人检测系统中仍未得到充分探索。因此，现有的 Twitter 机器人检测方法无法解决以下两个关键挑战：

（被操纵的特征和多样化的社区是现有 Twitter 机器人检测系统面临的两个挑战。高级机器人的所有三种用户信息模式都在一定程度上被操纵（左），而 Twitter 机器人广泛存在于不同的 Twitter 社区中（右）。）

操纵的特征。除了宣传恶意内容之外，高级 Twitter 机器人还以一种或多种方式操纵其信息以逃避检测。 [34] 故意设计用户元数据 [6、68]、从真实用户那里复制用户描述 [6] 以及在僵尸网络的帮助下利用关注关系 [23、72] 。这些多模态特征操作策略反过来削弱了现有机器人检测器的能力，这些检测器仅考虑一个或几个信息源。

多元化的社区。 Twitter 机器人的分布在整个 Twitter 网络中是异质的 [50 ]，而机器人的行为和特征因用户社区而异 [54]。然而，现有的机器人检测器通常假设 Twitter 机器人的一致性，提出看似通用的方法，忽略了用户社区的异质性和不同机器人集群之间机器人行为的差异。这种限制损害了现有机器人检测器的域泛化能力，为将它们用于内容审核等产生了模型公平性问题。

鉴于这些挑战，我们提出了 BotMoE，这是一种新颖的 Twitter 机器人检测框架，它采用社区感知的专家混合架构，不同的专家对多模态用户信息源进行建模。

具体来说，我们首先使用特定于模态的编码器来共同利用 Twitter 用户的元数据、文本内容和网络结构，从而减轻仅分析一种用户信息模态所带来的特征操作挑战。

然后，每种模态都由模态特定专家的混合处理，每位专家负责分析一个特定的 Twitter 社区，从而实现社区感知表示学习。

通过将Twitter用户分配到一个社区并激活相应的专家，可以进一步聚合这些学习到的表示。

最后，来自每个专家组合的用户表示进一步与一个新的专家融合层合成，旨在融合输入模态并评估三种模态之间的一致性以检测特征操作。然后将多模态用户表示和特征一致性矩阵线性化并用于 Twitter 机器人和真实用户的二元分类。

大量实验表明，BotMoE 在三个 Twitter 机器人检测基准上实现了最先进的性能，显着优于来自不同类别的 10 个代表性基线模型。此外，模态融合研究和案例研究证明了 BotMoE 通过联合利用和实现跨多个用户信息模态的交互来处理被操纵的特征的能力。在用户社区研究和泛化研究中，我们证明 BotMoE 通过具有社区意识的专家组合更好地泛化到新兴的 Twitter 社区。

2 RELATED WORK

专家混合

基于分而治之的原则，提出了专家混合（MoE）方法，将输入样本划分为子任务，并训练专门从事每个子任务的专家。 NLP 中采用 MoE 来增强模型的容量 [56]、推理 [41] 和泛化 [40]。沙泽尔等人[56] 提出了一个稀疏门控的专家混合层，用于大型语言模型中的条件计算。此外，MoE 在图挖掘中也得到了很好的探索：Hu 等人 [30] 使用 MoE 来对抗图分类任务中的不平衡。费杜斯等人 [15] 为 MoE 创建简化的路由算法，以实现高训练稳定性和更少的计算成本。此外，MoE 可以被视为自然适合具有不同模式的多任务学习。马等人 [40] 提出了一个多门混合专家，其中共享专家作为子模型和每个任务的不同门，旨在捕获任务间关系，同时优化特定于任务的目标。鲍等 [3] 使用混合模态专家转换器来统一训练中的视觉和语言。

在所有与 MoE 相关的文献中，最相关的工作是 BotBuster [46]，它提出了一个基于 MoE 的多平台机器人检测框架，其中每个专家都被分配了一种特定类型的用户特征来处理不完整的数据。然而，BotBuster 未能利用不同的专家作为不同 Twitter 社区的代表，同时仍然假设 Twitter 机器人在不同机器人集群中的统一性。因此，我们提出 BotMoE，它在每种模式中为不同的子社区培训专业专家，实现具有社区意识的专家组合，以应对多样化的社区挑战。

3 方法论

图 2 概述了我们提出的具有多模式用户信息和社区感知 MoE 层的 BotMoE 框架。具体来说，我们首先对用户的元数据、文本和图形信息进行编码，从三个不同的角度获得更全面的用户表示。为了处理不同的用户社区，我们然后利用专家混合架构根据用户的社区将用户分配给专家，以进行社区感知机器人检测。之后，为了实现信息交互，我们将来自元数据、文本和图形模态的用户表示与提取器融合层融合，同时测量它们的不一致性。最后，我们将 Twitter 用户分类为机器人或真实用户，并学习模型参数。

（BotMoE：一个社区感知的 Twitter 机器人检测框架，它联合利用用户的元数据、文本和图形特征来对抗高级机器人中的特征操纵。 Twitter 用户的元数据、文本和图形信息首先由编码器处理，然后是模态特定的社区感知 MoE 层。然后使用专家融合层来整合三个信息源，评估跨模态的信息一致性，并对 Twitter 用户进行分类。）

3.1 特征编码器

图形编码器。为了考虑在社交网络中发现的不同关系，我们构建了一个异构信息网络 (HIN)，用于捕获 Twitter 圈内的关注关系。用户的初始特征由数字元数据、分类元数据、描述和发布的推文组成，以获得全面的用户特征。然后，我们采用图神经网络（GNN）对用户的图模态信息进行编码，同时使用消息传递机制对用户之间的交互进行建模。 BotMoE 中基于图的模块可以适应各种 GNN 架构，它们的消息传递范式可以定义为：

其中 $h_i^{(k)}$ 表示层中用户i在第k层的隐藏表示， $N_r(i)$ 表示用户的邻域， $a_{i,r}^{(k+1)}$ 表示从用户邻域根据关系传递的消息，AGGREGATE 和 UPDATE 表示聚合函数根据关系和更新功能。由于经验性能，我们使用 RGCN [55] 进行聚合和更新功能，而我们的方法可以推广到其他 GNN 架构，例如 GCN [32] 和 RGT [16]。在 GNN 编码器层之后，我们获得节点特征 $h_i^l$ 并将它们表示为节点i的图形编码器 $x_i^g$ 的输出。

文本编码器。我们使用预训练的语言模型对 Twitter 上的文本内容进行编码，特别是用户推文和描述。我们利用预训练的 RoBERTa [38] 和 T5 [52] 作为文本模块的编码器，可以定义为:

其中 LM 表示预训练语言模型编码器， $t_i^{a,b}$ 表示用户i的第 a个推文或用户描述中的第 b 个标记， $l_a$ 表示文本内容的总数，表示第 a 个文本内容的输入文本序列的长度。然后，我们将从用户描述 $t_d$ 和推文 $t_t$ 中提取的特征连接起来，并将它们提供给一个双层 MLP，以获得低维用户文本表示 $x_i^t$ 。

元数据编码器。对于来自用户配置文件的元数据，我们基于可用性和简单性考虑了 5 个数字（关注者、关注者、状态、活跃天数、屏幕名称长度）和 3 个分类元数据特征（受保护、已验证、默认配置文件图像）。在进行 z-score 归一化之后，我们应用双层 MLP 来学习用户元数据 $x_i^m$ 的表示。

3.2 社区感知 MoE 层

来自不同用户社区的帐户通常具有不同的特征，对现有的 Twitter 机器人检测系统构成挑战。受 MoE 体系结构在语言建模 [49] 和机器翻译 [56] 方面的成功启发，我们利用其“分而治之”策略，通过在每个用户的基础上有选择地激活专家，并构建一个社区感知的 MoE处理社交网络上不同用户社区的层。具体来说，来自元数据、文本和图形模态的用户表示首先被送入门网络，可以表示为：

其中 $W_g \in R^{d*n}$ 表示可学习参数，n 表示专家数量，KeepTopK表示给定输入特征x选择前k个最高门值的函数[56]。门控网络将用户分配到k个不同社区，并给出相应的分配概率。来自元数据、文本和图形模态的用户表示然后被输入到他们指定的专家网络中以进行社区感知机器人检测：

其中 $G(x_i^{mod})_j$ 表示在mod模态下将用户i分配给第 j 个社区的概率， $E_j(x_i^{mod})$ 表示第 j 个专家网络的输出为双层 MLP，mod ∈ {m,t ,g } 表示元数据的 MoE 模块，分别是元数据、文本和图形模态。最终输出 $z_i^m$ 是所有选定专家的输出按门值加权和。通过 MoE 架构，每个用户都被分配到相应的社区进行处理，使模型能够针对不同社区内的不同用户分布进行调整，从而解决 Twitter 机器人检测中的多样化用户社区挑战。

3.3 专家融合层

在获得相应社区专家处理的用户表示后，我们然后使用多头transformer编码器 TRM 将来自同一用户的图形、文本和元数据模态的表示组合起来，以实现模态交互

除了模态交互之外，我们还评估图形、文本和元数据表示之间的一致性，旨在解决操纵特征的挑战。

具体来说，我们使用固定池对注意力矩阵 M 执行下采样，使用过滤器执行 2D 卷积，并将输出展平为向量 $z_i^{con}$ 。在这个模块中，我们同时利用用户的元数据、文本和图形信息，同时测量这些模式之间的一致性。这种多模式联合检测范例可以可靠地检测具有操纵特征的机器人帐户。

3.4 训练与推理

在融合图形、文本和元数据特征并测量它们的一致性后，我们获得了每种模态的最终用户表示。然后我们连接融合表示和一致性向量 $z_i^{con}$ ，并应用线性变换以获得机器人检测结果 y ：

为了训练 BotMoE，我们采用带有 L2 正则化项的交叉熵损失来对抗过度拟合。我们还为每个 MoE 层使用平衡损失 BL(·) 以强制专家之间的公平负载和重要性。整体损失函数可以表示为：

其中 $y_i$ 是第i-th用户的预测输出， $t_i$ 是相应的ground truth标签， $\Theta$ 代表所有可训练的模型参数， $\lambda _1$ 和 $\lambda _2$ 是保持三者平衡的超参数。对于平衡损失 BL，我们参考 Shazeer 等人[56] 鼓励每位专家接收平衡的用户样本：

其中 CV 表示变异系数 [14]，G(x) 表示门网络输出，P(x,i) 是 Shazeer[56] 等人定义的平滑函数。 $w_{imp}$ 和 $w_{ld}$ 是平衡专家重要性和负载的超参数。

4 实验

执行。我们使用 Pytorch [51]、Pytorch Geometric [24]、scikit-learn [48] 和 Transformers [65] 来实现 BotMoE。表 1 中列出了超参数设置以方便重现。我们在一个集群上进行所有实验，该集群具有 4 个 Tesla V100 GPU、32 GB 内存、16 个 CPU 内核和 377GB CPU 内存。在 Cresci-15、TwiBot-20 和 TwiBot-22 上训练 BotMoE 大约需要 5 分钟、1 小时和 4 小时。代码、数据和经过训练的模型将公开可用。

4.2 主要结果

我们在三个 Twitter 机器人检测基准上评估 BotMoE 和 10 个代表性基线，并将结果列于表 2，这表明

（三个数据集上 Twitter 机器人检测系统的准确性和二进制 F1 分数。我们将每种方法运行五次，并在括号中报告平均值和标准差。粗体表示最佳性能，下划线表示次优，“-”表示该方法不可扩展到 TwiBot-22 [17]。* 表示在学生t检验下，结果明显优于次优。 BotMoE 在三个数据集上的表现明显优于所有 10 个基于特征、文本和图形的基线。）

BotMoE 在三个数据集上始终显着优于所有基线方法。具体而言，与之前最先进的 RGT [16] 相比，BotMoE 在 TwiBot-20 上实现了 1.3% 的准确度和高出 1.4% 的 F1 分数，在 TwiBot-22 基准测试中实现了 2.0% 和 1.04% 的 F1 分数，这是统计上显着的改进。

利用图形和网络的 Twitter 机器人检测模型，例如 RGT [16] 和 BotRGCN [20]，通常优于不这样做的基线。这再次重申了分析 Twitter 用户之间的网络结构对于强大的 Twitter 机器人检测的重要性。

由于这三个数据集，从 Cresci-15 到 TwiBot-20 再到 TwiBot-22，提供了越来越多的最新基准以及更先进的机器人和用户多样性，因此在所有机器人检测模型中普遍出现性能下降。此外，由于高级机器人 [6] 中最常见的特征操作挑战，基于特征和基于文本的方法（SGBot 和 RoBERTa）往往比基于图形的方法（BotRGCN 和 RGT）表现更差。 BotMoE 通过使用多模态联合检测框架来全面检测具有伪造特征的机器人来解决这个问题，从而使最近的 TwiBot-20 和 TwiBot-22 基准测试的性能下降最小。

BotBuster [46] 和 BotMoE 都采用混合专家进行 Twitter 机器人检测。 BotMoE 在所有三个数据集上都优于 BotBuster，提供了经验证据表明我们以社区为中心的利用 MoE 的方式更加稳健。

4.3 特征操作研究

为了测试模型对操纵特征的稳健性，我们通过在 TwiBot-20 上的 test spit 中用真实用户的特征替换机器人的特征来扩大图形、文本和元数据的操纵范围。我们使用在原始数据集上训练的模型对新的测试分割执行检测，并绘制它们的性能与操作。具体来说，对于文本和元数据，我们随机选择人类特征来替换 10%-100% 的机器人特征。对于图信息，我们在现有的bot-human边的基础上，随机添加human-bot边，使数量增加10%-100%。

如图3所示，随着操纵特征的增加，BotMoE和RGT [16] 的性能下降最小: BotMoE在文本信息方面的减少仅9.9%，而在图形和元数据中的100% 操作方面仅减少23.9%。相反，在100% deepfake文本的条件下，简单的基于文本的方法RoBERTa达到了不到50% 的效果。此外，传统的基于特征的机器学习方法SGBot和Varol也表现不佳: SGBot在被操纵的元数据特征下从76.75直线下降到35.93。

（Twitter 机器人检测精度与不同程度的图形，文本和元数据特征操作。BotMoE 始终优于基线模型，波动性水平较低。）

4.4 用户社区研究

为了应对多样化的社区挑战，BotMoE 根据等式 5，利用门控网络 G(·) 将 Twitter 用户分配到他们相应的社区，并使用特定于社区的专家网络对其进行处理。用户社区的准确分配对于确保考虑用户社区之间的分布差异至关重要，因此我们在图 4 中可视化了 BotMoE 中的社区分配。

（用户图形、文本和元数据特征的 T-SNE 可视化，其中同一社区内的用户用相同的颜色表示。 MoE根据高维表示将用户明确划分为社区）

具体来说，我们从图形、文本和元数据模态的 MoE 层输出中提取用户表示，并使用 T-SNE [62] 将它们可视化。具有相同颜色的用户被分配到同一个社区，从而进入同一个专家网络。图 4 展示了用户在元数据、文本和图形模态下的明确分配，表明社区感知 MoE 层在根据用户表示划分用户方面的有效性。

4.5 泛化研究

随着 Twitter 机器人不断发展 [6]，机器人运营商和机器人检测研究之间的军备竞赛要求模型更好地推广到看不见的帐户和用户社区。为此，我们使用 TwiBot-22 [17] 基准测试中的 10 个子社区评估 BotMoE 检测不可见社区中机器人程序的泛化能力。如图 5 所示，我们将这些用户社区视为不同的数据折叠，并检查 BotMoE 和基线模型在第 i 折训练和第 j 折训练时的性能。据说明：

（为了测试 BotMoE 对未知社区的泛化能力，我们对从 Twibot-22 中选择的 10 个子社区进行训练和测试，并报告准确性。 BotMoE 达到了最高的平均精度，表明更好的泛化。）

BotMoE 更擅长泛化到看不见的社区。 BotMoE 在所有机器人检测方法中实现了 80.84 的最高平均精度，比最先进的 RGT [16] 高 1.29%。这表明，配备多模式用户信息分析和社区感知 MoE 层，BotMoE 可以更好地推广到以前看不见的帐户和用户社区。

多模态方法比具有有限用户特征的模型具有更好的泛化能力。 BotMoE 表现出比以 Varol 等人为代表的基于特征、基于文本和基于图形的模型更强的泛化能力。 [63]、RoBERTa [38] 和 RGT [16]。这表明利用来自多个来源的用户信息来增强模型对未见过的用户的泛化能力是不可或缺的。

4.6 数据效率研究

现有的Twitter机器人检测模型过度依赖训练数据，需要大量标记用户进行训练，否则训练不足。然而，由于高级 Twitter 机器人的模糊性，为 Twitter 机器人检测获取准确可靠的标签是困难的、昂贵的和嘈杂的，这给 Twitter 机器人检测数据集的创建带来了挑战 [28]。因此，有必要研究 BotMoE 和现有基线对有限标签、用户交互和嘈杂用户特征的鲁棒性，这些在现有机器人检测数据集中很常见。

具体来说，我们使用部分训练集创建消融设置，随机删除用户交互边缘和屏蔽用户特征，以重新评估机器人检测模型并在图 6 中呈现性能。它表明即使只有 60% 的用户交互和注释，BotMoE 优于最先进模型 RGT [16] 的完整版本，证明 BotMoE 对更少的训练数据更稳健。我们还发现，当用户特征数量减少时，BotMoE 表现出性能下降。我们怀疑这种限制可以通过在社区感知 MoE 层中雇用更少的专家来部分缓解，我们将在第 4.8 节中进一步讨论。

（为了测试我们模型的稳健性，我们在 TwiBot-20 上随机选择 10%-100% 的数据进行训练，并在原始测试拆分上测试模型，并提供准确性和 F1 分数。对于边缘或标签，证明 F1 分数的下降从 100% 数据到仅提供的 10% 数据保持在 2% 以内，证明了 BoMoE 对缺乏数据的稳健性。）

4.7 消融研究

由于 BotMoE 在所有三个基准数据集上的表现都优于基线，我们进行了进一步分析，以检查我们的原始提议对 Twibot-20 数据集模型性能的影响，并将结果列于表 3：

（BotMoE 的消融研究。粗体表示最好的表现，下划线表示次优，“*”表示在student t-test下结果明显优于次优）

为了研究社区意识混合专家层的影响，我们用一个单一的专家网络、一个MLP和一个完全激活的MoE层来代替它，或者去掉社区意识层。通过用单一的专家替换 MoE，准确率下降最少，与完整模型相比仅下降 0.7%。然而，当社区感知层被完全移除时，该模型达到了该表中呈现的最低性能，准确率仅为 86.88，证明了结合社区感知模块的重要性，该模块可以适应不同的用户社区，从而解决不同的问题社区挑战。 MLP 设置或完全激活的设置也不优于完整模型。这表明，MoE带来的准确率提升不仅仅是模型容量的扩大。

为了评估利用多种用户信息模式的有效性，我们删除了元数据、文本和图形编码器，并将消融版本与完整模型进行比较。表 3 中的模态类别表明，删除任何模态都会导致性能下降，而图形编码器对模型性能最为关键，导致模型精度下降 8.0%。因此，虽然 Twitter 社区的网络结构最有价值，但所有三种模式都有利于 BotMoE 和 Twitter 机器人检测。

为了研究我们提出的专家融合层的重要性，我们将其替换为四种简单的聚合策略：均值、最大值、最小值和 MLP。表 3 中融合类别的结果表明，完整的 BotMoE 优于所有消融模型，验证了支持跨模态信息交换的专家融合层的有效性。

4.8 增加专家数量

BotMoE 框架中的一个重要参数是每种模态的专家数量，它控制着社区的数量和 BotMoE 的归纳偏差。为了研究专家的最佳设置，我们进行了网格搜索，并在图 7 中展示了模型在 Twibot-20 上的性能。总体而言，非 MoE 设置（仅限 1 名专家）的模型性能最差。然而，更多的专家并不一定能保证更好的性能：最高性能是在 2 个文本专家、2 个图形专家和 2 个元数据专家时实现的。这是因为与在庞大数据集上训练的其他大型语言模型相比，BotMoE 是一个在一小部分社会信息上训练的轻量级模型。我们模型的总参数少于 100 万，与 Shazeer [56]等人中具有数百万参数的大型语言模型形成对比。

因此，容量的增加可能导致模型过拟合训练数据。此外，另一个发现是，具有更多专家的模型在训练过程中往往不稳定，这可能是由于 MoE 的特殊性。

论文阅读——BotMoE: Twitter Bot Detection with Community-Aware Mixtures of Modal-Specific Experts

摘要