yao8839836 / text_gcn

Graph Convolutional Networks for Text Classification. AAAI 2019
1.36k stars 434 forks source link

疑问,我仔细看了您的程序,test_set参与了idf和pmi的计算,这是否合理? #43

Open Louis-udm opened 5 years ago

Louis-udm commented 5 years ago

我感觉您的test_set更应该像valid_set的功能,因为参与了idf和pmi的计算过程,所以论文中的performance应该是valid_set的。 但是,如果要另外分出一个真正的test_set去和其他论文比较多话(比如我将这模型应用在其他数据集),公平起见的话,test_set不应该参与训练期间的idf和pmi的计算。所以这里有个难点,因为做评估的时候预测值是直接从node获得的,test_set如何做到不参与训练,并且有node在graph中呢?

请指教!

yao8839836 commented 5 years ago

@Louis-udm

您好,idf和pmi可以只在train_set上计算,我估计这样分类效果不会下降很多。但是这样test_set还是加入图中参与了训练,因为它们通过tf与词节点相连了。

一种解决方法是用inductive的GCN,如GraphSAGE和fastGCN, 我试过fastGCN的代码可以work,详见 #19,最后贴的那段代码https://github.com/yao8839836/text_gcn/issues/19#issuecomment-467733417 应该是work的。

Louis-udm commented 5 years ago

原来已经有人问了,好滴,我去看看。谢谢回复