这是一个创建于 1281 天前的主题，其中的信息可能已经有所发展或是发生改变。
不是多个机器多个显卡那种，而是分配给不同地区不同人的电脑和显卡上，这个是不是对网速要求应该还挺高的，毕竟传更新的参数应该会很耗网速。
 |
1
forgetlight 2021-05-27 07:24:30 +08:00
你指的是 federated learning 吧?
|
 |
2
nnqijiu 2021-05-27 08:15:29 +08:00
数据传输会很慢吧？
|
 |
3
wateryessence 2021-05-27 09:11:48 +08:00
http://splitlearning.mit.edu/
Federated Learning for Emoji Prediction in a Mobile Keyboard |
 |
4
kenshinhu 2021-05-27 09:13:42 +08:00
这就像分布式处理一样吧，性能的瓶颈在网络带宽。
|
 |
5
jdhao 2021-05-27 09:30:20 +08:00 via Android
当然可以，分布式训练是训练大模型的唯一办法，可以参考 Uber 实现的方案 horovod，支持主流深度学习框架，https://github.com/horovod/horovod
|
 |
6
gscsnm 2021-05-27 09:34:01 +08:00
联邦学习
可以看看微众银行的 FATE |
 |
7
ruimz 2021-05-27 09:37:50 +08:00
federate learning，fl 的网络问题都刷到 infocom 和 nsdi 了
|
Select Language