search

qitianwu / DIFFormer

The official implementation for ICLR23 spotlight paper "DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion"
302 stars 32 forks source link

DIFFormer训练太慢问题 #15

Closed hexuwei-epri closed 6 months ago

hexuwei-epri commented 6 months ago

你好，非常感谢分享这么出色的工作！最近使用DIFFormer用于时空预测，由于目前模型每次只能处理一个训练样本，无法实现批处理，导致训练很慢。这有什么好的解决办法？ 还请不吝赐教

qitianwu commented 6 months ago

后续会马上发布一个支持a batch of graph instances的版本，支持计算一个batch内部包含不同大小的多个图，并且global attention只在单个图内部的节点间计算

hexuwei-epri commented 6 months ago

期待新版本的发布