search

FederatedAI / FATE-LLM

Federated Learning for LLMs.
Apache License 2.0
144 stars 25 forks source link

offsite tunning 问题请教 #109

Closed 123bazhahei closed 1 month ago

123bazhahei commented 1 month ago

你好，在看 offsite tunning 部分的代码，有几个问题想请教下：

  1. 为什么要把这部分参数 split 开？我看后面还会把它们合起来 image
  2. 我理解 emulator 参数是不变的？训完为啥还要发给 server？不浪费通信嘛
talkingwallace commented 1 month ago

第一个问题是因为Pickle有大小限制导致的，完整的embedding是发不出去的，所以需要拆分 第二个问题的话是的，emulator不变的，不过实现的时候一起发回去了，这块可以优化下，谢谢反馈

123bazhahei commented 1 month ago

好的，感谢老铁