G.O.S.S.I.P 阅读推荐 2024-06-26 Byzantine-Robust DFL
今天为大家推荐的论文Byzantine-Robust Decentralized Federated Learning来自路易斯维尔大学投稿，是作者发表在CCS 2024上的最新工作。
背景介绍
Federated learning（FL）最近已经成为一种强大的分布式学习范式，它利用多个客户端协作训练机器学习模型，而无需共享他们的原始训练数据。FL自然遵循基于服务器的分布式架构，也被称为server-assisted federated learning（server-assisted FL），其中训练过程由一个服务器来协调。然而，尽管这种架构的简单性，server-assisted FL框架因依赖中央服务器而受到三个主要限制。第一个限制是服务器容易受到单点故障的风险，这使得服务器成为网络攻击的明显目标，或者服务器本身可能经历崩溃或其他系统故障。server-assisted FL的第二个限制是它的单层树状拓扑意味着随着客户端数量的增加，在服务器（根节点）处形成通信瓶颈。这种通信瓶颈显著加剧了大规模分布式训练的可扩展性。第三个限制是，server-assisted FL存在信任依赖问题：所有参与的客户端都必须信任服务器，服务器有潜在的影响客户端模型的能力。这些现有的server-assisted FL系统的限制促使研究人员追求一种完全去中心化的FL设计，也被称为decentralized federated learning（DFL）。在DFL中，客户端以点对点的方式交换信息，无需服务器的辅助。DFL中的客户端遵循与server-assisted FL相同的训练本地模型的过程。然而，在这种完全去中心化的设置中，每个客户端只需要将其更新的模型发送给邻近的客户端，并执行接收模型的本地聚合。下图展示了server-assisted FL和DFL之间的区别。由于其突出的特点，DFL已经在多个领域找到了广泛的应用，例如医疗服务和自动驾驶。
尽管DFL带来了许多好处，但其普及面临的主要障碍之一是DFL模型易受毒化攻击影响。恶意客户端可以通过毒化本地数据或模型来操纵DFL模型，从而损害整体学习性能。现有的拜占庭-鲁棒防御大多基于server-assisted FL，不直接适用于DFL。将这些防御措施调整到DFL往往导致性能不佳，因为存在架构不匹配问题。设计有效的拜占庭-鲁棒DFL算法非常复杂，因为DFL中每个客户端都维护自己的训练模型，并与随机连接的部分对等体进行交互，这给确保所有良性客户端获得准确最终模型带来了挑战。
方法介绍
实验与结果
我们在5个不同领域的数据集上广泛评估了我们提出的方法，涵盖了9种攻击（包括专门为server-assisted FL开发的攻击和为DFL架构定制的攻击）、12种communication graphs，以及8个baselines。此外，我们还探索了DFL中的各种设置，包括但不限于，客户端拥有高度非独立同分布的训练数据（例如，每个客户端仅拥有三个类的数据）、客户端采用不同的鲁棒聚合规则来组合接收到的模型、客户端使用不同的初始模型、恶意客户端和良性客户端之间边的不同比例，以及time-varying communication graphs（例如，客户端可能因为互联网问题而从协议中断开连接）。下面的表格显示了我们的方法BALANCE和baselines在MNIST数据集上的结果，可以看出我们的方法实现了很好的鲁棒性。
下图展示了在没有任何攻击的情况下客户端使用FedAvg，以及在遭受Trim attack攻击时使用Trim-mean聚合规则和我们提出的BALANCE算法时，每个良性客户端的testing error rate。我们观察到，在 Trim attack攻击下，当客户端采用 Trim-mean 聚合规则来合并来自邻近客户端的本地模型时，每个良性客户端最终学习的模型的testing error rate显著上升。然而，我们提出的方法保证每个良性客户端将获得一个几乎与没有任何攻击时使用FedAvg一样准确的最终模型。
在DFL中，每个客户端通过communication graph与它们的邻居交换信息。我们研究了包括正则图、完全图、Erdős–Rényi图、小世界图和环形图在内的12种不同的communication graph，如下图所示。实验表明，我们提出的方法在这12种communication graph上表现出了极高的鲁棒性。
投稿作者介绍
Dr. Minghong Fang即将于2024年8月加入美国University of Louisville计算机系担任助理教授（Tenure-Track Assistant Professor）。他于2022年在The Ohio State University取得博士学位，于2022年至2024年在Duke University从事博士后研究。他在安全四大会议上发表过多篇关于联邦学习安全的论文。
