关于论文中的trained LLM

HKUDS / GraphEdit

"GraphEdit: Large Language Models for Graph Structure Learning"

https://arxiv.org/abs/2402.15183

Apache License 2.0

120 stars 10 forks source link

Closed ywjawmw closed 4 months ago

ywjawmw commented 5 months ago

非常感谢您公开了您的代码！您这篇工作非常令人激动，我在复现代码时遇到了一个问题想请教您一下。您在论文中似乎只使用了trained LLM作为node embedding，作为训练边预测器的输入。代码中好像是用到了第一阶段的微调LLM，请问这个trained LLM就是微调后的vicuna吗？

LarFii commented 5 months ago

非常感谢您的关注！我们使用的是LLM提供的预训练好的词表，由于是decoder-only的架构，因此vicuna和train之后的GraphEdit提供的词表是一致的。也就是我们node embedding的来源

ywjawmw commented 5 months ago

感谢，搞懂了！