(FTRL) Follow The Regularized Leader | 算法花园

[xiang578]

https://xiang578.com/post/ftrl.html

FTRL 是 Google 提出的一种优化算法。常规的优化方法例如梯度下降、牛顿法等属于批处理算法，每次更新需要对 batch 内的训练样本重新训练一遍。在线学习场景下，我们希望模型迭代速度越快越好。例如用户发生一次点击行为后，模型就能快速进行调整。FTRL 在这个场景中能求解出稀疏化的模型。 基础知识 L1 正则比 L2 正则可以产生更稀疏的解。 次梯度：对于 L1 正则在 (x=0) 处