About Parameter Efficient

[lainanhui]

作者你好，我想请问你是否尝试过计算codeword_weight所占据的参数量呢，虽然它是不需要更新梯度的，但是它所占据的参数量非常大，比entity_embedding所占据的参数量都大。 是因为codeword_weight即使不设置成parameter，也不会影响训练过程，设置成parameter只是为了代码更加清晰吗？

[JiaangL]

你好，我们只统计了可学习参数量，其中不包含codeword_weght。EARL使用的codeword_weight由知识图谱的拓扑性质决定，在模型训练时维持不变。 codeword_weight可以被设置成parameter类型，只要确保其不接收梯度进行更新。

[JiaangL]

The reason why codeword weight takes up more parameters than entity embedding is that all entities need codeword weight, but only a small number of entities require independent embedding. I'm closing this issue for now, but feel free to follow up if you have any questions.