search

adsturing / cim

Implementaion of the WWW paper Implicit User Awareness Modeling via Candidate Items for CTR Prediction in Search Ads
Apache License 2.0
16 stars 3 forks source link

实现细节请教 #1

Open zhujiem opened 2 years ago

zhujiem commented 2 years ago

这项工作的充分挖掘召回列表信息的思路太赞了。我们也准备在业务上试试。利用召回列表+曝光选择器也相当于捕捉到曝光列表的listwise信息，但依然能保留pointwise的推理方式。

我看文中使用300个召回候选，而我们业务大概400个，在serving中如何能处理这么长列表信息呢，对推理时延影响大不大？我们其他的序列特征长度也就50。难道用GPU推理加速？

谢谢

KaifuZheng commented 2 years ago

对时延影响不大，毕竟序列特征是commmon feature，而且队列的特征比较少，不是很复杂。线上处理这部分是cpu infer，但是总体时延增长在3ms以内。cpu util会有一些增长。具体还要看你的业务的ROI是否划算。我们模型base上的其他序列特征的长度就比较长，所以和你的场景可能区别比较大。

zhujiem commented 2 years ago

对时延影响不大，毕竟序列特征是commmon feature，而且队列的特征比较少，不是很复杂。线上处理这部分是cpu infer，但是总体时延增长在3ms以内。cpu util会有一些增长。具体还要看你的业务的ROI是否划算。我们模型base上的其他序列特征的长度就比较长，所以和你的场景可能区别比较大。

你的序列特征长度使用到300是吗？

KaifuZheng commented 2 years ago

对时延影响不大，毕竟序列特征是commmon feature，而且队列的特征比较少，不是很复杂。线上处理这部分是cpu infer，但是总体时延增长在3ms以内。cpu util会有一些增长。具体还要看你的业务的ROI是否划算。我们模型base上的其他序列特征的长度就比较长，所以和你的场景可能区别比较大。

你的序列特征长度使用到300是吗？ 是的