SC '20 | Kraken: Memory-Efficient Continual Learning for Large-Scale Real-Time Recommendations

[jasperzhong]

http://storage.cs.tsinghua.edu.cn/papers/sc20-kraken.pdf/

real-time DNN continual learning

[jasperzhong]

Kraken (SC '20): 用hash tricks来降低node embedding table的size，但会有hash collisions.

• 首先设计了Global Shared Embedding Table (GSET). 有很多不同种类的feature (类似于异构图里面有很多不同种类的nodes)，而他们只想有一个embedding table. 所以key维"feature name + feature value"，比如"UID-001". 这样就不需要每个feature都有一个embedding table
• 然后他们讨论node embedding table的entry replacement算法，会evict掉low-frequency embeddings，他们实验表明这些embeddings几乎不会对模型有贡献. (GNN也可以这样做，aggregate的时候ignore那些evicted nodes就行了).
  • 他们做法也对每个ID有一个feature-score，有一个heuristic. 他这里用的是类似于LFU的，一个ID的正样本 + 负样本的数量，其实就是它的出现次数，不过会给正样本更多的权重，然后这个score会做moving average.