search

YaooXu / Q2T

Query2Triple: Unified Query Encoding for Answering Diverse Complex Queries over Knowledge Graphs. EMNLP 2023 finding
MIT License
6 stars 0 forks source link

关于Query Graph的来源以及Directed Distance Encoding #5

Closed nanxfu closed 7 months ago

nanxfu commented 7 months ago

作者你好，没错又是我喵~。 经过您的解答我对文献理解又提升了一点点，但是有几个问题还是不太理解： 1.Query Graph的来源 在翻阅了Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs.的代码仓库后了解到KGReasoning系统的输入是一个查询图，而不是一个自然语言

但是文献所用到的NELL、FB15k都是知识图谱的数据集即一堆三元组。那是如何通过数据集中的三元组构建多个类型的问答任务呢。能否简要的描述一下这个查询图的形象构建过程。

2.QueryGraphormer中的Directed Distance Encoding 在这一节似乎是给两个查询图的节点进行有向的距离编码（没太明白有向的意义•﹏•），然后通过偏置项影响每个结点的注意力权重。 image 但是在图4中题注为Directed Distance Encoding的图令我感到困惑，是否Directed Distance Encoding就代表公式（7）中的bias项，如果是的话，bias是一个标量（最多是个1xM维的向量，为何在图中表示为矩阵形式呢） image

万分感谢(•̀ᴗ• )！！！

YaooXu commented 7 months ago
  1. 可以参考BetaE论文的附录部分，有介绍通过随机游走的方式构造数据集。
  2. 有向指的是如果查询图是a->b，那么a到b的距离是1，b到a的距离则是-1。公式7中计算的是节点i和节点j之间的attention score，前一部分和后一部分（bias）都是标量，可以参考Do Transformers Really Perform Badly for Graph Representation?这篇论文。具体实现可以参考源码https://github.com/YaooXu/Q2T/blob/893c14d53e375ee9eaec1845203199bb4e6cea90/models/modeling_bert.py#L93C20-L93C21。
nanxfu commented 7 months ago

ok啊，谢谢老哥的解答。我感觉现在我很强