A Robust Privacy-Preserving Federated Learning Model Against Model Poisoning Attacks

作者

Abbas Yazdinejad, Ali Dehghantanha, Hadis Karimipour, Gautam Srivastava, and Reza M. Parizi

来源

TIFS 2024
链接： https://ieeexplore.ieee.org/document/10574838

导读

Github： Github

在本文中有一些变量符号在笔者看来是不合理的，但笔者并没有在书写时对论文的符号进行更改，而是以注释的方式给出了自己的意见。

Abstract

Although federated learning offers a level of privacy by aggregating user data without direct access, it remains inherently vulnerable to various attacks, including poisoning attacks where malicious actors submit gradients that reduce model accuracy.

• 虽然联邦学习通过聚合用户数据而无需直接访问，提供了一定程度的隐私保护，但它本质上仍然容易受到各种攻击，包括恶意行为者提交梯度以降低模型准确性的中毒攻击。

什么是中毒攻击？

• 就是敌手通过给服务器上传 恶意梯度，使全局模型的准确性降低。

To address these concerns, we propose a robust privacy-preserving federated learning model resilient against model poisoning attacks without sacrificing accuracy.
Our approach introduces an internal auditor that evaluates encrypted gradient similarity and distribution to differentiate between benign and malicious gradients, employing a Gaussian Mixture Model and Mahalanobis Distance for byzantine-tolerant aggregation.

• 为了解决这些问题，我们提出了一种鲁棒的隐私保护联合学习模型，可在不牺牲准确性的情况下抵御模型中毒攻击。
• 我们的方法引入了一个内部审计器，可评估加密梯度的相似性和分布，以区分良性梯度和恶意梯度，并采用高斯混合模型和马氏距离进行拜占庭容错聚合。

高斯混合模型和马氏距离本文有讲，那么什么是拜占庭问题（拜占庭将军问题），什么又是拜占庭容错聚合？

• 拜占庭问题：拜占庭帝国(Byzantine Empire)军队的几个师驻扎在敌城外, 每个师都由各自的将军指挥. 将军们只能通过信使相互沟通. 在观察敌情之后, 他们必须制定一个共同的行动计划, 如进攻(Attack)或者撤退(Retreat), 且=只有当半数以上的将军共同发起进攻时才能取得胜利. 然而, 其中一些将军可能是叛徒, 试图阻止忠诚的将军达成一致的行动计划. 更糟糕的是, 负责消息传递的信使也可能是叛徒, 他们可能篡改或伪造消息, 也可能使得消息丢失.
• 拜占庭容错聚合：拜占庭容错指的是系统能够在部分节点出现任意错误（包括恶意行为）的情况下，仍然能够正常运作。
• 拜占庭容忍聚合详见 拜占庭容错聚合（Byzantine-tolerant aggregation）

The proposed model utilizes Additive Homomorphic
Encryption to ensure confidentiality while minimizing computational and communication overhead.

• 本文所提出的模型利用加法同态加密来确保保密性，同时最大限度地减少计算和通信开销。

Background

Privacy-preserving federated learning (PPFL) solutions utilize cryptographic primitives for secure data encryption to ensure the confidentiality of transmitted data, and secure aggregation to reduce the inherent privacy risks associated with aggregation processes. It is important to acknowledge,however, that these measures do not entirely eliminate the potential for privacy attacks on the global model, such as inference attacks. Additionally, challenges like the opacity of local training in PPFL models can render them vulnerable to model poisoning attacks.

• 在当今的数字环境中，隐私保护是一个关键问题，特别是在机器学习(ML)和深度学习(DL)领域。联邦学习(FL)是ML和DL模型的流行隐私保护解决方案，因为它允许用户与服务器共享模型参数，而不是共享私有数据。然而，虽然联邦学习提供了一个完整的协作式机器学习解决方案，但它缺乏完全的隐私保护。例如，攻击者仍然可以通过共享梯度和全局参数得到敏感数据。
• 隐私保护联邦学习(PPFL)解决方案利用加密原语进行安全数据加密，以确保传输数据的机密性，并利用安全聚合来降低与聚合过程相关的固有隐私风险。然而，重要的是要承认，这些措施并不能完全消除对全局模型的隐私攻击的可能性，例如推理攻击。此外，隐私保护联邦学习模型的局部训练不透明等挑战可能使它们容易受到模型中毒攻击。

Among the different types of attacks in the FL setup, model poisoning stands out as having the most significant impact on the accuracy of the federated model.

• 在FL设置中不同类型的攻击中，模型中毒对联邦模型的准确性影响最为显著。
• 模型中毒攻击者通过向本地模型提交恶意更新来操纵用户输入，以造成偏离正确趋势的任意偏差。此外，模型中毒攻击有可能损害联邦模型的准确性并导致错误的决策，从而严重损害联邦学习系统的性能。为了操纵聚合梯度的收敛方向，某些恶意用户可能会引入偏离良性梯度的恶意局部梯度。这些攻击者的主要目标包括导致联邦模型生成他们选择的标记样本(称为目标攻击)或不分青红皂白地错误分类所有样本(称为非目标攻击)。此外，这些攻击通常表现在恶意参与者通过注入恶意更新来操纵训练过程的场景中。

Current research has explored various defence mechanisms
against model poisoning attacks in PPFL. However,these approaches still face significant challenges, including:

• Private Information Leakage: defence strategies in PPFL, designed to counter model poisoning, inadvertently undermine privacy. These strategies often require access to local gradients, causing potential information leakage.
• Inefficacy Against Encrypted Model Poisoning Attacks: PPFL struggles to detect concealed poisoning attacks due to the obfuscation provided by cryptographic primitives. Existing defences often overlook the potential for maliciously encrypted gradients.
• Data Heterogeneity and Unpredictability: The co-existence of Independent and Identically Distributed (IID) and NonIndependent and Identically Distributed (non-IID) data typifies data heterogeneity in PPFL, introducing significant challenges. Non-IID data, in particular, leads to significant local biases and complicates the detection of poisonous gradients.
• Cryptography Performance Efficiency: The efficiency of cryptographic models, fundamental to FL overhead, is often a focal point in current defenses. This includes secure multi-party computation (SMC), Fully Homomorphic Encryption (FHE), and Differential Privacy (DP). FHE and SMC can lead to high computational costs, while DP may sacrifice accuracy.

• 本文的研究背景如下：
• 目前的研究已经探索了隐私保护联邦学习模型中毒攻击的各种防御机制。然而，这些方法仍然面临重大挑战，包括:
  • 私有信息泄露： 隐私保护联邦学习中的防御策略，旨在对抗模型中毒，无意中破坏了隐私。这些策略通常需要访问局部梯度，从而造成潜在的信息泄漏。
  • 加密模型中毒攻击： 由于加密原语提供的混淆，隐私保护联邦学习难以检测隐藏的中毒攻击。现有的防御措施往往忽略了恶意加密梯度的可能性。
  • 数据异质性和不可预测性： 独立和同分布(IID) 和 非独立和同分布(non-IID) 数据的共存体现了PPFL中的数据异质性，带来了重大挑战。特别是非独立和同分布(non-IID)数据，会导致显著的局部偏差，并使有毒梯度的检测变得复杂。
  • 加密性能效率： 加密模型的效率是联邦学习开销的基础，通常是当前防御的焦点。这包括安全多方计算(SMC)、全同态加密(FHE)和差分隐私(DP)。全同态加密(FHE)和安全多方计算(SMC)会导致较高的计算成本，而分隐私(DP)可能会牺牲模型精度。作为回应，隐私保护联邦学习领域中最近的研究已经整合了这些技术，使用DP实现用户级隐私，使用SMC进行安全模型聚合，使用HE进行加密计算。评估隐私保护联邦学习中的加密操作需要在安全性和隐私性与计算和通信成本之间取得平衡，这种平衡对于维持功能、安全和高效的隐私保护联邦学习系统至关重要。

Contribution

To prevent privacy leaks, in this paper, we design and implement a novel PPFL architecture that employs Additive Homomorphic Encryption (AHE) to ensure data confidentiality.

• 为了防止隐私泄露，本文设计并实现了一种新的隐私保护联邦学习架构（PPFL），该架构采用加法同态加密(AHE)来确保数据的机密性。本文提出的隐私保护联邦学习模型利用Paillier密码系统提供加法同态加密，用于加密梯度以防止模型中毒攻击，同时保护用户、服务器和梯度隐私。选择这种加密是为了在维护数据机密性和计算效率之间取得平衡，解决直接数据泄漏和潜在的推理攻击。

To address inefficacy related to encrypted model poisoning, our model integrates an internal auditor mechanism, significantly boosting accuracy in detecting and preventing such attacks.

• 为了解决与加密模型中毒相关的无效问题，本文的模型集成了一个内部审计机制，显著提高了检测和预防此类攻击的准确性。
• 本文的 PPFL 模型的这一标志性功能可持续监控和抵制加密本地梯度上的恶意活动。利用 AHE，本文的系统可以对加密数据进行数学运算，从而维护其安全性。这样，审计机制就能通过使用统计工具（如对加密梯度进行均值和协方差矩阵计算）分析梯度模式，检测到中毒行为。
• 本文的方法有效地解决了加密模型中毒的难题，能巧妙地管理各种局部梯度分布。此外，它还降低了将良性梯度误认为有害梯度的风险，简化了预测和预防有毒梯度的过程。审计员对加密数据的操作将隐私保护措施扩展到了聚合阶段之外，从而提高了联邦学习过程中的整体隐私性。

To improve robustness in PPFL, particularly amidst data heterogeneity (IID and non-IID), varying numbers of users, and diverse attack rates (10% to 50%) in both targeted and untargeted attacks, we introduce an innovative auditing protocol.

• 为了提高 PPFL 的稳健性，特别是在数据异构性（IID 和非 IID）、用户数量变化以及目标攻击和非目标攻击的不同攻击率（10% 到 50%）的情况下，本文引入了一种创新的审计协议。
• 该协议不仅能应对异构数据的挑战，还能在模型中毒攻击缓解过程中有效抵消不同比例恶意用户的影响。我们的方法采用高斯混合模型（GMM）和马哈拉诺比距离（MD），促进了 PPFL 中的拜占庭容忍梯度聚合。这种先进的策略为管理异构数据和缓解有针对性和无针对性攻击所带来的风险提供了全面而稳健的解决方案，即使在被恶意用户渗透的情况下也能确保恢复能力。

高斯混合模型和马氏距离在下文有详细讲解。

To enhance the efficiency of cryptographic performance, we introduced optimization techniques in the PPFL.

• 为了提高密码性能的效率，本文在 PPFL 中引入了优化技术。
• 这些技术最大限度地减少了通信和计算开销，同时减轻了模型中毒攻击。我们的创新重点在于消除冗余、减少通信轮数和降低计算成本。
• 面对模型中毒攻击时，这些改进直接提高了 PPFL 在操作时间、密钥大小和内存消耗方面的效率。
• 本文进行了全面的安全分析和系统开销评估，以验证模型的有效性和隐私保护能力。

We formulated an efficiency score for the proposed PPFL model, integrating performance and privacy metrics like computational efficiency, accuracy, and privacy.

• 本文为提议的 PPFL 模型制定了一个效率评分，综合了性能和隐私指标，如计算效率、准确性和隐私性。
• 这为将密钥技术融入联邦学习提供了一个连贯的权衡视角，强调了 PPFL 中隐私与性能之间的平衡。

Problem Formulation

• 在 PPFL 模型中，重点是确保整个联邦学习流水线（FL pipeline）的安全。这包括模型更新的安全聚合，即用户向 FL 服务器提供加密梯度。这些加密梯度可以保护个人贡献不受外部对手甚至服务器本身的影响，从而提高数据的私密性。

• 隐私保护联邦学习中的安全聚合与简单地发送加密梯度不同，它涉及以一种既能防止泄露单个更新，又能促进有效的全局模型训练的方式组合这些梯度。

• 本文希望创建一个这样的隐私保护联邦学习框架：

  1. 兼顾客户中的 IID 和 non-IID 数据分布；
  2. 在不泄露私有数据的情况下，让客户端为 全局模型$M$ 做出贡献，从而确保数据隐私；
  3. 检查加密梯度 $g_i$ 是否受到恶意攻击，$g_i=\nabla (D_i,M)$；（其中$D_i$是客户端$i$的私有数据）
  4. 实施安全聚合，将经过验证的梯度结合起来，确保模型对中毒攻击的稳健性；
  5. 无论数据分布情况如何，都能确保 $M$ 为所有客户提供良好的性能；
  6. 最大限度地减少加密和梯度验证开销，同时优化加密性能。

• 如公式 1 所示，PPFL 中的对抗攻击问题可以表述为在与隐私、鲁棒性和效率相关的约束条件下最小化损失函数 $L(M)$：
  

• 在最小化公式 1 时，必须考虑以下约束条件：

  1. 在计算出梯度（用 $g$ 表示）后，使用验证过的梯度（用 $g_i$ 表示）更新 $M$。
  2. 对梯度 $g_i=\nabla (D_i,M)$ （其中 $i=1,...,N$） 进行加密，以保持机密性；
  3. 公式1应满足了一系列性能约束条件，包括数据安全性、模型的鲁棒性、对 IID 和non-IID 数据分布的适应性以及加密计算的效率有关的约束条件。

• 梯度将使用预定义的验证函数进行验证，在公式 2 中用 $V_a$ 表示。
  

根据后文的描述，$V_a$ 应该输出的（0，1），non-malicious是值梯度经验证计算后为非恶意数据。

• 该函数根据预期的非恶意模式对 $g_i$ 进行评估，并对其进行相应的分类。这种机制可确保只有有效的梯度才有助于更新全局模型 $M$，从而提高其准确性和在对抗性 PPFL 情景下的复原能力。
• 根据公式 2，良性梯度被传递给全局模型：$M=M-\eta \times (\frac{1}{N})\times {\sum }_1^N{V}_a(g_i)\times g_i$ ，其中 $\eta$ 是学习率。

由此公式，可推断出本文的公式2输出的是（0，1），当梯度为恶意梯度时，函数输出0，这样在模型更新时恶意梯度被函数输出无效化。
但是公式2合理吗？ 公式2会使一部分恶意梯度无效化，这样在模型更新中参与更新的梯度数量怎么会是$N$呢？

A. Threat Model

This paper focuses on security and privacy threats in FL that are exploitable by malicious users.

• 本文重点讨论联邦学习中可被恶意用户利用的安全和隐私威胁。

We categorize users as benign or malicious,we explicitly assume non-collusion among users.This scope does not consider user-user collusion. Complex scenarios like servers colluding with clients or sophisticated adaptive attacks are also outside the scope of this work.

• 本文将用户（客户端）区分为良性用户（客户端）和恶意用户（客户端）,我们明确假定用户之间没有串通。这一范围不考虑用户与用户之间的串通。服务器与客户端串通或复杂的自适应攻击等复杂情况也不在本文研究范围之内。

不知道为什么好多论文有时候称用户有时候又称客户端，也不统一一下都叫做客户端。

Benign Users: A user $i$ is considered benign if and only if $i$ truthfully provides local gradients $g_i$, with gi serving as an unbiased estimator of the authentic gradient, trained on the user’s local dataset $D_i$.

• 良性用户： 当且仅当 $i$ 如实提供本地梯度 $g_i$ 时，用户 $i$ 才会被视为良性用户，而 $g_i$ 是在用户本地数据集 $D_i$ 上训练出来的真实梯度的无偏估计值。

这里为什么说$g_i$是无偏估计？暂不明白

**Malicious Users: ** User $j$ is deemed malicious if and only if $j$ is controlled by a Byzantine adversary who orchestrates a model poisoning attack by submitting encrypted malicious gradients $g_i^{\ast }$.

• 恶意用户： 当且仅当 $j$ 受拜占庭对手控制，通过提交加密的恶意梯度$g_i^{\ast }$来策划模型中毒攻击时，用户 $j$ 才被视为恶意用户。

Model Poisoning Attack: When a user intentionally alters or fabricates gradients to weaken the global model’s performance, functionality, or integrity, this is known as a model poisoning attack.

• 模型中毒攻击： 当用户故意改变或伪造梯度以削弱全局模型的性能、功能或完整性时，这种攻击就被称为模型中毒攻击。

Threat 1: The honest-but-curious (HBC) adversary: In FL, the server, privy to all local gradients and ciphertexts, can act adversarially.

• 威胁 1： 诚实但好奇（HBC）的对手：在联邦学习中，服务器知道所有本地梯度和密文，可以采取对抗行动。该系统是在假设这种 HBC 行为的基础上运行的，但服务器有可能发起隐私攻击，包括推断用户的数据隐私。
• 核心威胁在于对手通过数据重构或推理攻击来寻求敏感的全局模型信息。
• 目标 1： 保护本地梯度的机密性。对手（如服务器）可以通过共享梯度和全局参数暴露敏感的用户数据。在服务器传输之前对单个梯度进行加密可以在一定程度上提高保密性。

Threat 2: Inject poisonous gradients: Byzantine actors can disrupt FL systems by submitting fraudulent gradients under the guise of heterogeneous data-derived gradients, thereby compromising model integrity.

• 威胁 2： 注入有毒梯度：拜占庭行为者可以打着异构数据衍生梯度的幌子提交欺诈性梯度，从而破坏联邦学习系统，进而损害模型的完整性。
• 目标 2： 改进对加密梯度的审查，以区分良性用户和恶意用户，增强系统抵御中毒攻击的能力。

B. Design Goals

本文旨在通过制定独特的设计目标，实现 PPFL 的创新，使其即使在训练过程中受到对抗性干扰的情况下，也具有高准确性、鲁棒性、私密性和计算效率。

1- Accuracy: We aim to ensure reliable output despite adversarial challenges during training, striking a balance between accuracy, robustness, privacy, and computational efficiency in PPFL.

1. 准确性： 本文的目标是，尽管在训练过程中存在对抗性挑战，但仍能确保可靠的输出，使 PPFL 的准确性、鲁棒性、隐私性和计算效率之间取得平衡。

• 为了实现这种平衡，本文们为每个方面引入了具体的指标。
  • 分类准确性衡量准确性；
  • 对已定义的中毒攻击的抵御能力衡量稳健性；
  • 数据保密程度评估隐私性；
  • 时间复杂性和资源利用率指标确定计算效率。
• 这种方法需要详细分析优化这些方面所固有的权衡，并辅以经验证据来证明管理的有效性，从而确保任何方面都不会受到严重损害。

2- Robustness: We introduce a revolutionary concept of robustness in PPFL models, where the model should consistently deliver accurate output to all users, irrespective of any disruptive actions by adversaries, across both IID and non-IID contexts.

2. 稳健性： 本文在 PPFL 模型中引入了一个革命性的鲁棒性概念，即无论对手采取任何破坏行动，PPFL 模型都应在 IID 和non-IID 环境中始终如一地为所有用户提供准确的输出。

3- Privacy: To safeguard users’ data privacy, we address the potential of adversaries uncovering sensitive information, such as training samples or memberships, from shared gradients. Our focus is on maintaining the confidentiality of each user’s local gradients.

3. 隐私： 为了保护用户的数据隐私，本文解决了对手从共享梯度中发现敏感信息（如训练样本或成员资格）的可能性。本文的重点是维护每个用户本地梯度的机密性。

4- Computational efficiency: Optimizing performance and minimizing costs is crucial in an FL environment. Our model addresses the challenge of malicious users who can significantly increase overhead and adversely impact computational efficiency.

4. 计算效率： 在联邦学习环境中，优化性能和降低成本至关重要。本文的模型可以应对恶意用户的挑战，因为恶意用户会大大增加开销并对计算效率产生不利影响。

Preliminaries

Gaussian Mixture Models

• 高斯混合模型（GMM） 是一种统计模型，用于将数据集表示为多个高斯分布的混合，每个高斯分布都有自己的均值和方差。
• 这些模型在假定数据由多个高斯源产生的情况下表现出色。在本文的 PPFL 模型中，GMM 为分析梯度分布的异质性提供了一种复杂的方法，使我们能够将梯度分为不同的群组。这种分类方法特别适用于区分良性梯度（通常与模型的学习目标一致）与试图歪曲模型性能的恶意梯度。
• 详情可见csdn两篇文章：
  机器学习算法（二十九）：高斯混合模型（Gaussian Mixed Model，GMM）
  高斯混合模型 Gaussian Mixture Model | GMM

Mahalanobis Distance

• 马氏距离（MD） 是一种多维度量，用于测量点与分布之间的距离。
• 与欧氏距离不同，MD 是尺度不变的，并考虑到了数据集的相关性。
• 在本文的模型中，MD 被用作梯度分布中离群点检测的稳健工具。它可以衡量给定梯度与预期分布的偏离程度，从而有效识别异常或可能是恶意活动结果的梯度。这使得 MD 特别适用于确保 PPFL 中学习过程的完整性，因为梯度数据可能多种多样，并受到各种来源的影响。
• 详情可见csdn文章：
  马氏距离(Mahalanobis Distance)

看了好多天还是不太理解马氏距离的定义，等等可以补一补

Types of Model Poisoning Attacks in Federated Learning

在联邦学习中，模型中毒攻击是一种重大威胁，主要表现为两种形式：

1-Targeted Attacks: In these attacks, adversaries craft their actions to manipulate the model into misclassifying specific data points.

1. 有针对性的攻击： 在这些攻击中，对手精心设计行动，操纵模型对特定数据点进行错误分类。它们会生成中毒梯度，故意将与这些数据点相关的目标函数最大化。这种攻击特别阴险，因为它旨在以精确、可控的方式，针对模型功能的特定方面，歪曲模型的预测或分类。

2-Untargeted Attacks: Contrary to the focused nature of targeted attacks, untargeted attacks involve a more generalized approach to disrupting the model.

2. 非目标攻击： 与有针对性攻击的集中性相反，非针对性攻击涉及一种更普遍的破坏模型的方法。敌手会随机重新标注局部训练样本，从而产生有毒梯度。这些梯度会给模型带来噪音和不稳定性，从而降低其整体性能。与有针对性的攻击不同，无针对性的攻击旨在广泛降低模型的可靠性和准确性，影响其在各种任务中的表现。

Proposed Model

本文总体框架如图1所示：

PPFL由三个实体组成：

1. Data Owners: Also known as users, they collaborate under the service provider’s tutelage to formulate a coherent model. Each user executes model training locally and forwards encrypted gradients to the service provider. It’s presupposed that all data
   proprietors possess heterogeneous data.
2. Auditing Entity: This is a trusted, autonomous unit responsible for managing
   the creation, distribution, and maintenance of public and private keys represented by $(pk,sk)$.
3. Aggregation Server: Upon deploying PP defence strategies and model poisoning resistance via the audit protocol, the aggregation server accrues user gradients. These gradients are aggregated to yield an optimized global model.

1. 数据所有者： 他们也被称为用户，在服务提供商的指导下合作建立一个连贯的模型。每个用户在本地执行模型训练，并将加密梯度转发给服务提供商。假设所有数据所有者都拥有异构数据。
2. 审计实体： 这是一个受信任的自治单位，负责管理由 $(pk,sk)$ 表示的公钥和私钥的创建、分发和维护。

   在论文的后边，作者又将私钥改为$qk$，在此说明，我也会在后文中称私钥为$qk$。

   • 审核实体在聚合前验证收到的所有梯度方面发挥着关键作用，它可以区分良性梯度和恶意梯度，从而建立一个能够抵御用户恶意行为的稳健模型。
   • 本文将审计实体视为受托机构，确保其可信度和独立于其他实体。
   • 为了解决审计员作为单一故障点所带来的潜在风险，并进一步提高系统可靠性，本文在审计流程中加入了冗余功能。这种冗余是通过多个独立审计员或多个审计员之间基于共识的方法实现的。在独立审核员模式中，每个审核员都是自主运行的，从而提供了一层安全性和可靠性。另外，基于共识的模式涉及协作决策，要求审核员之间达成集体协议以验证梯度。这种设计不仅能降低单点故障的风险，还能增强整个系统的可靠性和完整性。即使一名审核员受到损害或出现故障，它也能确保系统的稳健运行，从而增强系统的复原力，尤其是在抵御模型中毒攻击方面。

   正如这一段描述的一样，这篇论文的创新点并不多，且许多描述较为笼统，并不具体，后文中更有较多的书写错误，笔者读起来也是十分困难。

3. 聚合服务器：通过审计协议部署隐私保护防御策略和模型抗中毒后，聚合服务器会累积用户梯度。这些梯度经聚合后产生优化的全局模型。

图 2 展示了拟议模型的技术概览，该模型结合了内部审计，可在服务器端的加密梯度中检测恶意梯度。

• 审计员将本地模型 $m_i$ 和全局模型 $M$ 作为矢量实体。由于本地提交的梯度会形成多维向量，因此可以利用 GMM 根据本地梯度和聚集梯度之间的关系来区分真实梯度和敌意梯度，从而实现离群点检测。

  客户端上传的梯度数据是一个向量，即 $g_i=(g_{i1},g_{i2},...,g_{in})$

• 审计员利用 MD 来识别被误判为恶意的合法梯度，从而有效解决 non-IID 问题。MD 是一种功能强大的相似性度量，它结合了对加密梯度的复杂分布至关重要的协方差结构。余弦相似度无法捕捉准确的相似性，而 MD 则不同，它在复杂和多模态数据建模方面表现出色。相比之下，拟议的内部审计模型既能适应异构性和多模态数据，又能确保隐私和计算效率，因此是一个更优的选择。此外，审计员采用 AHE 加密用户端本地梯度，确保在不泄露用户数据的情况下在服务器端实施隐私保护防御机制。

  本文采用Paillier加密，在此不再介绍

A. System Setup

系统建立阶段主要分为四个步骤。

1. Registration

   • 有意参与 FL 的用户向审核员注册。然后，审核员创建并分发密钥，包括公钥和私钥共享，并为每个注册用户分配一个标签 ID。

2. Key Distribution

   • 审计员利用 Paillier 加密系统为用户生成一对非对称密钥 $(pk,qk)$ ，其中 $pk$ 代表公钥，$qk$ 代表私钥。用户使用 $pk$ 发送梯度，使用 $qk$ 发送全局模型。

     客户端使用 $pk$ 将要发送的局部梯度加密，在服务器发送给客户端加密的全局梯度后，客户端使用 $qk$ 将其解密。

3. Model Distribution

   • 初始全局模型 $M(0)$ 使用审核员的公钥加密，然后分发给每个注册用户。每个用户使用自己的私钥 $qk$ 对模型进行解密。

4. Audit Table Generation

   • 步骤 4 生成 加密表 ,包含用户特定数据的加密表示，如梯度更新或模型参数，使用用户的公钥 $p{k}_n$ 加密。该表是存储和管理用户数据的安全手段，用于审计目的，确保数据的保密性和完整性。

系统建立阶段如算法1所示：

B. Internal Audit Protocol

审计模块包括三个阶段：第 1 阶段生成密钥和ID，第 2 阶段检测和过滤中毒梯度，第 3 阶段汇总梯度，如下所述。

1. Phase 1:
   审计模块初始化联合系统。它为 $n$ 个用户生成公私密钥对 $K=(pk;qk)，（n\in N,|n|=N）$，并为用户分配 T a g I D ： { T 1 , T 2 , . . . , T n } Tag ID：\{T_1, T_2, ..., T_n\} TagID：{ T1​,T2​,...,Tn​}。接下来，它会生成包含 $（Tag\_ID、Table\_Tag）$ 的 更新表$(Update\_Table)$，以处理用户端的内部审计。

   阶段1其实就是系统建立阶段，即算法1。

2. Phase 2:
   在获取用户的加密梯度后，审计员检查第 $t$ 轮的梯度，并使用 GMM 将其分为恶意和良性集群。为了揭示中毒对手的复杂行为，审计员使用 MD 跟踪第 $t+1$ 轮的梯度。在第 $t$ 轮中，局部梯度 $g_i(t)$ 如果幅度很大，就有可能是恶意梯度，其目的是误导聚集梯度。

   作者怎么会把第t轮的局部梯度怎么能写成$g_i(t)$呢？不合理，理应是 $g_i^t$

• 在本文提出的 PPFL 模型中，GMM 专门用于处理联合学习环境中 non-IID 数据分布的复杂性。

• 在图 3 所示的异构数据场景中，区分良性梯度和恶意梯度尤其具有挑战性，因此这种适应性至关重要。例如，在 non-IID 环境中，良性用户的局部梯度有可能与全局模型梯度非常相似，从而使准确识别恶意活动的任务变得更加复杂。为了提高方法的精确度，本文将 MD 与 GMM 结合使用。利用这种方法，可以在识别出的正常集群和恶意集群内完善对用户梯度轨迹的监控。

• 具体来说，在第 $t+1$ 轮，考虑到各自群组的均值和协方差矩阵，计算每个梯度的 MD。在将梯度分为正常组和恶意组后，使用 GMM 确定这些参数。这一过程从计算每个群组的均值向量和协方差矩阵开始。通过利用这一指标，本文的模型可以有效降低在 non-IID 场景中将良性梯度误判为恶意梯度的可能性。
  

• 对于梯度的区分，本文考虑了如下步骤：

  1. Calculate the mean of each group: Compute the mean vector for the normal and malicious gradients separately. The mean vector is the average of all the gradients in each group.
  2. Calculate the covariance matrix for each group: Compute the covariance matrix for the normal and malicious gradients separately. The covariance matrix captures the variance and correlation structure within each group of gradients.
  3. Calculate the MD for each gradient: For each gradient,calculate the MD to the mean of the respective group (normal or malicious) using the $MD(x)=\sqrt{(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$,where $x$ is the gradient vector, $\mu$ is the mean vector of the respective group (normal or malicious), $\Sigma$ is the covariance matrix of the respective group (normal or malicious), ${\Sigma }^{-1}$ is the inverse of the covariance matrix, and $T$ denotes the transpose operation.

  1. 计算每组的平均值： 分别计算正常梯度和恶意梯度的平均向量。平均向量是每组中所有梯度的平均值。
  2. 计算每组的协方差矩阵： 分别计算正常梯度和恶意梯度的协方差矩阵。协方差矩阵反映了每组梯度的方差和相关结构。

     协方差矩阵详见csdn文章：
     协方差矩阵简介（Covariance Matrix）
     协方差矩阵

  3. 计算每个梯度的 MD： 对于每个梯度，使用 $MD(x)=\sqrt{(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$ 计算各组（正常或恶意）平均值的 MD，其中 $x$ 是梯度向量，$\mu$ 是各组（正常或恶意）的平均值向量，$\Sigma$ 是各组（正常或恶意）的协方差矩阵，${\Sigma }^{-1}$ 是协方差矩阵的逆，$T$ 表示转置操作。
  • 计算 MD 时，利用梯度所属的相应组（正常组或恶意组）的均值和协方差矩阵。考虑到梯度的协方差结构，MD 衡量的是梯度与其所属组平均值之间的距离。
  • 显示较小 MD 值的梯度更有可能是真实的，因为它们与组的均值和分布非常接近。
  • MD 值越大，表明梯度与其所在组的平均值之间的距离越大，表明该梯度是离群值或被误分类为恶意梯度。MD 值越大，表明梯度 x 与其对应组的平均值之间的距离越大。因此，梯度 $x$ 更有可能被错误地分类为异常值（在正常梯度和恶意梯度中，用户的方向和 GMM 与 MD 的详细描述是可视化的）。
  • 假装拥有non-IID 数据的敌对用户与正常用户（拥有non-IID 数据）之间的一个最大区别是，他们会随机初始化本地模型，因为攻击者不知道任何本地训练数据。因此，它们的梯度接近于随机猜测，我们检测并追踪假梯度和真梯度的梯度方向。
  • 为此，本文动态设置根据正常梯度 MD 值的分布情况，利用 MD 值的标准偏差来确定阈值 $T$。用 $M{D}_{normal}=M{D}_1,M{D}_2,...,M{D}_n$ 表示正常梯度的 MD 值。正常梯度 MD 值的平均值和标准偏差可计算为 ${\mu }_{normal}=\frac{1}{n}{\sum }_{i=1}^{n}M{D}_i$ 和 ${\sigma }_{normal}=\sqrt{\frac{1}{n-1}{\sum }_{i=1}^n(M{D}_i-{\mu }_{normal}{)}^2}$ 。 然后，阈值可设置为正常梯度 MD 值标准偏差的倍数：$T=k\cdot {\sigma }_{normal}$ 其中 $k$ 是一个常数，根据所需的灵敏度水平和系统性能来选择。最后，利用 MD 阈值对梯度进行选择性加权，优先将真实的梯度进行聚合。这最终形成了拜占庭抗扰梯度聚合程序，利用过滤或加权梯度更新全局模型。

  就是用马氏距离计算出哪些局部梯度是非恶意的，然后对这些非恶意梯度进行聚合。

3. Phase 3:
   当 $Update\_Table$ 准备好进行聚合时，审计员就会把它们传递给服务器。

• 事实上，联邦学习中的拜占庭容错梯度聚合存在审计员与服务器的交互。在特定的一轮中，审计员监控更新表，并在更新表准备好进行聚合时将其传递给服务器。然后，服务器在收到的更新表上应用拜占庭容错聚合函数，生成聚合更新。对所有可用的更新表重复这一过程。最后，服务器使用聚合更新更新全局模型，确保采用稳健的聚合方法，抵御潜在的拜占庭攻击，最终提高联邦学习系统的整体可靠性和性能。

Theoretical Analysis

A. Secure Training

安全训练包括以下三个阶段：用户本地训练、审计员训练和稳健聚合阶段

1. Users’ local training

• 在这一阶段，本文假设子集中恶意用户的最大比例不超过 50%。
• 在第 $t$ 轮中，每个用户 $n_x^t$（其中 $x$ 从 $1$ 到 $m$ 不等）利用各自的公钥 $pk$ 获取加密模型 $[M^t{]}_{pk}$。解密后，$n_x^t$ 会训练并获取本地梯度向量 $g_x^t$ 。 用户并不只是上传当前梯度，而是应用具有动量的随机梯度下降（SGD）来完善更新。这种方法使用指数衰减因子 $\partial （0<\partial <1$ 结合了之前的梯度序列，从而得到提交的用户参数：$g_x\cong {\sum }_{l\in [0,t]}{\partial }^{t-l}{g}_x^l$ 。 与之前的研究类似，建立动量在加速收敛、减少方差和增强模型鲁棒性方面的作用可以缓解中毒攻击。

  本文中，客户端不只是上传本轮训练的局部梯度，而是使用指数衰减因子将直至目前的梯度“聚合”起来

2. Auditor training

• 本文提出了一种审计方法，通过 GMM 和 MD，按照全面的训练过程来检测和减轻恶意梯度。该过程包括获取带有正常梯度（$g_i$）和恶意梯度（$g_i^{\ast }$i）的标记数据，提取相关特征（$X_i$），并对这些特征进行归一化以实现统一缩放。然后将数据 ($D$) 分成训练集和验证集 $(D_{train},D_{val})$ 。
• 本文的 GMM 通过期望最大化法进行训练，估计良性梯度和恶意梯度的参数，最初按照参考文献设置 k = 2 个簇。这种设置有助于计算验证集梯度和 GMM 平均值之间的 MD。考虑到在 k = 2 假设条件下，在只有良性客户的情况下可能会出现分类错误，我们引入了一个迭代过程。该方法从一个聚类开始，逐步增加聚类数量，并使用贝叶斯信息标准（BIC）进行性能评估。这种动态聚类能有效适应实际的加密梯度分布，在同质良性环境中最大限度地减少错误分类。
• 算法2如图所示
  

B. Optimization

本节将介绍为减少 PPFL 模型中的通信和计算开销而提出的优化技术。

1. Removing redundancy
   • 聚合函数可以重写为 $M_{new}=M_{old}+\eta {\sum }_{g\in G}f(g)\cdot g$ ，其中 $f(g)$ 是梯度 $g$ 在接收到的梯度集合中的频率。
   • 为了管理冗余去除，算法首先要识别整个网络中重复的梯度。对每个梯度进行散列，并创建频率图来跟踪每个独特梯度散列的出现情况。这种方法可确保只有不同的梯度才有助于更新模型，从而提高计算效率。我们根据梯度的频率只汇总唯一的梯度，从而降低了计算成本。
2. Reducing the communication round

• 应用 "消除冗余 "优化后，本文用 $r\prime$ 表示新的、减少后的通信轮数。
• 通信轮数的减少得益于同步时间表，它允许用户在与服务器交互之间计算更多的本地更新。这种策略最大限度地减少了冗余数据传输，同时确保了模型更新的一致性。我们可以让每个用户在两轮通信之间执行本地更新，以减少通信轮数。根据优化前后的局部更新，设 $t$ 为 $\frac{优化后的局部更新}{优化前的局部更新}$ 的比率 。
• 新的通信轮数 $r\prime$ 由 $\frac{r}{t}$ 给出。增加局部更新次数可以减少梯度交换的频率，从而降低通信开销。

这个优化是不是说让客户端训练好局部梯度后，不一定立即发送给服务器，而是可能会再次训练，多次训练后再发送局部梯度？

3. Reducing the computing cost

• 更高效的 AHE 方案可以降低计算成本。AHE 用于使用 $C(M)$ 对模型 $M$ 进行加密、解密或算术运算。AHE 应满足以下要求：$C\prime (M)<C(M)$。这里，$C\prime (M)$ 表示新 AHE 方案的计算成本。
• 在选择更高效的 AHE 方案时，要仔细评估计算复杂性和安全性权衡。通过使用更高效的 AHE 方案，PPFL 模型的总体计算成本得以降低。PPFL 模型中的这些优化措施通过减少通信和计算开销，确保为实际应用提供更高效、可扩展的解决方案。

本文说是选择更好的加法同态方案，但从后文来看，本文还是用的 Paillier

算法 3 演示了 PPFL 模型的优化步骤，包括去除冗余、减少通信回合和降低计算成本。

论文实验

本文主要介绍了针对联邦学习中的模型中毒攻击的防御方法，并通过与现有方案的比较验证了该方法的有效性。具体来说，本文采用了以下两个方面的实验：

1. 实验一：对不同加密算法和防御方法的效果进行比较

   • 本实验使用了三种不同的加密算法（AHE、FHE、THE）以及两种防御方法（PPFL和ShieldFL），并在MNIST、KDDCup和Amazon三个数据集上进行了测试。评估指标包括准确性、鲁棒性和恶意警报分析等。实验结果表明，本文提出的PPFL方法在准确性方面优于其他方法，在鲁棒性和恶意警报分析方面也表现出色。

2. 实验二：对PPFL方法中参数的选择进行优化

   • 本实验通过对PPFL方法中的参数进行优化来提高其效率和准确性。具体来说，本文考虑了攻击率、迭代次数、批次大小等多个因素，并对其进行了综合评估。实验结果表明，通过合理选择这些参数，可以显著提高PPFL方法的性能。

综上所述，本文提出的PPFL方法是一种有效的联邦学习中毒攻击防御方法，具有较高的准确性和鲁棒性，并且可以通过优化参数进一步提高其性能。

总结

• 本文主要是为了应对中毒攻击，引入审计机制，对客户端上传的梯度进行判断，分析是良性梯度还是恶意梯度。
• 在判断梯度数据时，本文主要采用了高斯混合模型和马氏距离。
• 审计机制就是另一个服务器，所以本文模型也可以使用两个服务器构建，一个服务器用来聚合且保有私钥，一个服务器用来判断客户端上传的梯度是否可用，但这要假设服务器为诚实的。因为加密系统的存在所以服务器是否为好奇的都可以保证隐私。
• 这篇文章的创新性并不高，书写问题也较多，因为是笔者读的第一篇关于中毒攻击的论文，本着理解这一攻击的目的，写了这篇阅读笔记。

优点

本文提出了一种有效的PPFL模型，该模型能够有效地解决数据污染、非独立同分布（non-IID）数据以及计算和通信开销等问题，并且在多个真实世界的数据集上进行了评估。与现有的解决方案相比，该模型具有以下优点：

• 精度：该模型在多个真实世界的数据集上的精度优于现有方案。
• 安全性：该模型使用了审计器来检测恶意加密梯度，确保了模型的安全性。
• 效率：该模型采用了高效的加权平均算法，降低了计算和通信开销。
• 可扩展性：该模型可以轻松地扩展到更多的设备和更多的数据源。

创新点

本文的主要贡献在于提出了一个基于加权平均的PPFL模型，该模型能够在处理数据污染、非独立同分布数据以及计算和通信开销等问题时保持高精度。具体来说，该模型采用了以下创新点：

• 使用了加权平均算法来平衡各个设备的权重，从而减少了通信开销。
• 引入了审计器来检测恶意加密梯度，提高了模型的安全性。
• 在训练过程中采用了本地化的方法，避免了全局共享模型参数的问题。
• 对于不同的数据源，采用了不同的加权策略，使得模型更加适应不同的数据分布。

展望

未来的研究可以从以下几个方面展开：

• 改进模型的鲁棒性和隐私保护能力，使其更适用于现实世界的场景。
• 探索如何利用联邦学习技术构建更加智能的应用程序和服务。
• 研究如何将联邦学习与其他机器学习技术相结合，以提高模型的性能和效率。
• 探索如何在保证模型安全的前提下，进一步降低计算和通信开销。