「FL论文笔记02」Hierarchically Fair Federated Learning ...

远方的阳光

马上开组会，又是摆烂的一周，论文一篇没看？
分享一下我水....... 不对不对，女娲补天式看论文，汇报组会的方法

今天看一篇凡是联邦学习公平性、激励机制必提的一篇论文《Hierarchically Fair Federated Learning》
论文arxiv链接：
联邦学习激励机制的综述：
相关综述论文：
《A Survey of Incentive Mechanism Design for Federated Learning》
《联邦学习激励机制研究综述-梁文雅》
《A Comprehensive Survey of Incentive Mechanism for Federated Learning》
《联邦学习的公平性研究综述-朱智韬》

论文第一遍，看摘要、结论和图表

先看摘要


挑战和动机：参与者是自利的，只有得到公平回报，才愿意参加
思路：为鼓励FL应用，实现贡献越多回报越大，提出了分层公平联邦学习框架HFFL
通过多个数据集证明了HFFL框架可以实现公平分配。

再看结论


通过数据数量、数据质量等可公开验证的因素评估参与者的贡献，开发分层公平FL框架，不同贡献分为不同等级，相同等级收敛相同模型
未来展望
a.如何处理HFFL不诚实参与者
b.如何利用迁移学习提高HFFL+的计算效率
c.量化所有的因素
d.HFFL引入差分隐私

最后看图表


第一张图，左边是有协作和没有协作的模型表现对比，右边是参加agents数量和模型表现的关系图
这张图就是想表达：一定要有合作，而且参加的agents越多越好


第二张图，上面两个是训练数据和测试数据的分布。下面是不同模型与沙普利值的关系，每个模型有9个agent。
可以看到模型不同，沙普利值的变化也非常大


第三张图，左边是本文所提的HFFL框架，分了3层f1、f2和f3。右边显示每一层的回报不一样，层数越高值越大。

实验部分的表，第一个表上面有句话：More contribution levels has more rewards——贡献等级越高，奖励越多。有四个数据集，随着层级递增，随机采样的数量递增。


第二个表，是不同模型、不同数据集和学习率learning rate的表。作者说HFFL不同数据集用的模型也不一样。同一数据集的不同层级用一样的模型。


最后一个图，就是在四个数据集的表现，3个HFFL框架在3个层级上的模型得分的关系图。黄线一直最高



第二遍 加上引言和每段开头结尾

上来一顿夸FL：传统的机器学习有隐私风险，联邦学习解决了这个问题。又说了说FL的好，降低偏差提高正确率，让Agent受益。
但是呢，有的agent因为竞争和自利，不愿意合作，必须公平奖励才行。





两个However转折，从先前的夸到引出问题，
However前面的不重要，后面才重要
然而先前的FL工作要么优化所有模型的表现，要么提高最差agent的表现，要么统一所有agent的精度。这就太不公平了，不管贡献多少，奖励都一样，打击贡献多的积极性，人家就不愿意跟你玩。
所以，我们需要一个公平机制。本论文就是用到了公平机制——即贡献越多奖励越多。
为了将公平机制应用到FL中，需要解决两个问题：
1、贡献程度怎么算？
2、奖励怎么分？
对于问题1——贡献怎么算？
Shapley可能解决这个问题。合作博弈中，有一个Shapley法（沙普利），它是根据个体对整体做出的贡献，分配奖励的方法。
这个方法遵循几个规则：每个人的贡献由他们去除收益或损失决定——即边际贡献。
相互交换的玩家具有相同的价值。
不做事的玩家，没有任何价值，没贡献啥也没有。
一个游戏有很多方面，成本和收益应该基于这些方面来分配。周一多干多得，周二少干少得。
每个饼干一元钱，A一小时做10个饼干，B一小时做20个饼干，AB合作一小时做40个饼干。
对A而言，B的边际贡献是40-10=30个饼干；对B而言，A的边际贡献是40-20=20个饼干。
A单独做的贡献是10，合作的贡献就是20，沙普利公式得出A应得到（10+20）/ 2=15元。
B单独做的贡献是20，合作的贡献是30，得出B应得到（20+30）/ 2 =25元。

<hr/>
然而，对于预先指定的任务，一个agent在不同模型的Shapley值不同，每个agent跑在本地不同的模型。所以基于Shapley的报酬分配，可能是不公平的，Shapley值自然不行。
所以，本文使用可公开验证的因素（数据量、数据范围、数据收集成本等）来计算贡献值。
对于问题2——奖励怎么分？
将可公开验证因素划分等级，贡献越多等级越高，同等级agent被视为同等贡献，有同等奖励。这样当训练低级模型时，高级参与者只需提供与低级参与者相同的数据量。训练高级模型时，低级参与者需提供所有数据。
该方法成为分层公平联邦学习HFFL，在此基础上允许每层等级的模型不同，虽然这样牺牲了训练时间，框架更灵活，这称为HFFL+
本文主要贡献有
1、实现了联邦学习的公平奖励管理
2、提出一个分层公平FL框架，促进agent之间协作
3、在ADULT、MNISE、F-MNIST、IMDB四个数据集上验证，证实了公平作用

引言结构：FL诞生背景==》FL简介==》FL优点之一使所有参与者收益==》提出问题：参与者竞争且自利，奖励公平才愿意参加==》先前研究倾向保护弱势方，对强势方不公平==》于是本文提出贡献越多，奖励越多==》引出两个问题贡献怎么衡量，奖励怎么分配==》本文方法和贡献

相关工作介绍了两个主题：FL的公平性和FL的激励机制

第三节，确定参与者贡献。
先解释为什么Shapley值不行，用图2证明不同模型的参与者的Shapley值差异较大。对于特定学习任务（分类或回归），基于Shapley值的分配是不公平的。
于是，提出使用数据质量、数据量、数据收集成本等这种可公开验证因素衡量贡献。

第四节，分层公平联邦学习HFFL
图三说得很明白了



以数据量为标准，将不同数据量的客户分为不同等级，每个等级视为相同贡献，有相同的模型。
用算法和理论证明HFFL的可行性。

HFFL+ 是HFFL的改进版，通过多次执行HFFL，为每个级别选择性能最好的模型。

第五节，实验
在ADULT，MNIST，F-MNIST，IMDB这四个数据集上，证明HFFL、HFFL+是公平的。
实验结果就是图4内容，一句话哥们不管你黑猫白猫，能实现公平就是好猫，想着法证明咱的方法有效。



总结：
这篇论文指出某些学习场景基于Shapley值的激励机制是不公平的，于是提出了一种分层公平联邦学习框架HFFL，通过数据质量、数据量、数据收集成本等这些可公开验证的因素 衡量参与客户端的贡献。把参与者按照贡献分为不同等级，相同等级的参与者视为同等贡献，收敛至相同模型。
但是训练时间长、未考虑异构终端
而且未来想拿到更多可公开验证的因素，也挺难的。毕竟联邦学习的初心是保护数据隐私。
你这老想用隐私换公平，这不败家子么[doge]

作者也是个联邦学习的入门研究生，如果说的不对，希望大佬指正~
也欢迎联邦学习方向的同学一块交流哈~

9个自己经常用的下载论文网站，欢迎大家补充！
用MacBook想买显示器的好兄弟，可以看我这篇文章