Qihoo360 / tensornet

Apache License 2.0
315 stars 72 forks source link

show decay精简优化 #43

Closed zhangys-lucky closed 3 years ago

zhangys-lucky commented 3 years ago
  1. 特征的show decay应该按天平滑更新。
  2. 保存模型的时候可以将长尾词不保存。

经过统计:

两天的数据只出现一次的特征占比达57%

这部分特征实际上学习的不充分,对模型影响不大,可以从模型中剔除。

使用方式为在优化器中添加feature_drop_show参数。

tn.core.AdaGrad(learning_rate=0.01, initial_g2sum=0.1, initial_scale=0.1, feature_drop_show=0.02)