search

ZJLabDubhe / oneflow-zj

OneFlow is a performance-centered and open-source deep learning framework.
http://www.oneflow.org
Apache License 2.0
2 stars 1 forks source link

LBFGS移植，进度及汇总 #17

Open GG-yuki opened 2 years ago

GG-yuki commented 2 years ago

目前在把LBFGS框架从torch往oneflow里迁移，由于该算子极为特殊，所以迁移方法与以往比有极大的不同。 整理了一下该算法的原理，其他框架的实现，目前进度，以及目前面临的一些问题。水平有限，该文档应该还有不少错误的地方，不过应该不难理解整体逻辑和思路。 LBFGS实现文档.pdf

GG-yuki commented 2 years ago

Numerical optimization 数值优化书，完整一个LBFGS算法大概需要从头看到200页左右的位置。 上述文档已经经过精简，列举了要了解LBFGS所必要的最底线知识。 该算法本身已经较复杂，且torch又给该算法做了一些独特的处理，所以仅供参考。 Numerical optimization,Jorge Nocedal, Stephen Wright,2006,9780387303031.pdf

GG-yuki commented 2 years ago

代码已提交 这几天进度有点碰壁，水平局限 给很多地方加了中文注释，可以大致理解下 另外，oneflow的optimizer里有比如clip的操作，顺便还有个gragh_conf方法,不过目前压根还没有进展到这步

代码还有bug，继续调试ing https://github.com/ZJLabDubhe/oneflow-zj/pull/18/files