模型不可知的联合相互学习

主流的联邦学习(federated learning, FL)方法需要梯度的交互和数据同分布的理想假定,这就带来了额外的通信开销、隐私泄露和数据低效性的问题。因此,提出了一种新的FL框架,称为模型不可知的联合相互学习 (model agnostic federated mutual learning, MAFML)。MAFML仅利用少量低维的信息(例如,图像分类任务中神经网络输出的软标签)共享实现跨机构间的“互学互教”,且MAFML不需要共享一个全局模型,机构用户可以自定制私有模型。同时,MAFML使用简洁的梯度冲突避免方法使每个参与者在不降低自身域数据性能的前提下,能够很好地泛化到其他域的数据。在多个跨域数据集上的实验表明,MAFML可以为面临“竞争与合作”困境的联盟企业提供一种有前景的解决方法。