联邦学习简介
Brief introduction
联邦学习(FL) ≈ 分布式机器学习的新范式
FL特点
1.中心化架构:1个中心服务器、N个终端设备
2.数据“可用不可见”、仅交换模型 (参数/梯度)
3.每一轮通信中,服务器只采样部分用户(采样偏差)
FL核心挑战
1.数据异质性 (non-iid、数据量差异等)
2.系统异质性(设备掉线、设备算力、网络带宽等)
FL特点
1.中心化架构:1个中心服务器、N个终端设备
2.数据“可用不可见”、仅交换模型 (参数/梯度)
3.每一轮通信中,服务器只采样部分用户(采样偏差)
FL核心挑战
1.数据异质性 (non-iid、数据量差异等)
2.系统异质性(设备掉线、设备算力、网络带宽等)
厦大团队开发轻量级FL框架EasyFL(Github: 100+ stars)
1.本文探索性揭示了:造成联邦学习不公平性的新机制
参与方之间的幅度差异显著的梯度矛盾
2.首次将梯度投影方法应用于联邦学习领域
提出了一种基于顺序投影的方法(FedFV)来消除梯度矛盾
3.开源轻量级FL框架,从理论和实验维度验证方法有效性
EasyFL(含FedFV论文+代码)https://github.com/WwZzz/easyFL
参与方之间的幅度差异显著的梯度矛盾
2.首次将梯度投影方法应用于联邦学习领域
提出了一种基于顺序投影的方法(FedFV)来消除梯度矛盾
3.开源轻量级FL框架,从理论和实验维度验证方法有效性
EasyFL(含FedFV论文+代码)https://github.com/WwZzz/easyFL
轻量级联邦学习开源代码平台(100+ stars on Github)
·集成主流的FL算法(10+)和benchmarks
·简单易用、助力非联邦化任务的联邦化实现
·集成主流的FL算法(10+)和benchmarks
·简单易用、助力非联邦化任务的联邦化实现
EasyFL平台 https://github.com/WwZzz/easyFL
目标:打造更多FL适配场景(RME、AVP、车路协同、5G边缘等)