search

zjunlp / MKG_Analogy

[ICLR 2023] Multimodal Analogical Reasoning over Knowledge Graphs
https://zjunlp.github.io/project/MKG_Analogy/
MIT License
91 stars 10 forks source link

数据预处理 #27

Closed wzl0422 closed 1 month ago

wzl0422 commented 2 months ago

尊敬的作者您好！我现在对processor.py中的部分代码做出了修改，想要做些自己的尝试，然后我想请问，这样的话接下来我需要怎么做呢？我需要怎么运行数据预处理这块呢。

wzl0422 commented 2 months ago

就是我想要得到一个新的数据格式，但是我现在不知道该怎么重新运行数据预处理这块，还请指教！感谢！

flow3rdown commented 2 months ago

您好，可以参考KGC中对于processor的使用进行实验和测试

wzl0422 commented 2 months ago

您好，可以参考KGC中对于processor的使用进行实验和测试

您好，我还是不太清楚：1、首先这个processor.py中代码做更改后如何去使其发挥作用。2、在重新数据预处理完成以后，图像编码还要重新进行吗？然后再进行预训练和微调？望解答！感谢！

flow3rdown commented 2 months ago

您好，可以参考KGC中对于processor的使用进行实验和测试

您好，我还是不太清楚：1、首先这个processor.py中代码做更改后如何去使其发挥作用。2、在重新数据预处理完成以后，图像编码还要重新进行吗？然后再进行预训练和微调？望解答！感谢！

  1. 请问您具体修改的是什么地方呢？如果processor的输入和输出与原来一致的话，是可以直接使用的，您也可以仿照KGC中对processor的使用进行具体的测试；
  2. 为了加速训练过程，我们提前把图片进行了向量化保存。如果没有涉及图片的修改，不需要重新进行图像编码。
wzl0422 commented 2 months ago

您好，可以参考KGC中对于processor的使用进行实验和测试

您好，我还是不太清楚：1、首先这个processor.py中代码做更改后如何去使其发挥作用。2、在重新数据预处理完成以后，图像编码还要重新进行吗？然后再进行预训练和微调？望解答！感谢！

  1. 请问您具体修改的是什么地方呢？如果processor的输入和输出与原来一致的话，是可以直接使用的，您也可以仿照KGC中对processor的使用进行具体的测试；
  2. 为了加速训练过程，我们提前把图片进行了向量化保存。如果没有涉及图片的修改，不需要重新进行图像编码。

1、您好，我是分别对processor.py文件下get_dataset和_create_examples进修了修改，确保rel_idx 包含了类比示例的头实体、关系和尾实体的索引，然后在lit_models/transformer.py文件下的training_step方法也对应做了修改。2、好的，那图像编码是不用重新进行了。3、目前我就是不太清楚修改完以后应该如何去运行，或者说是我怎么能获得新的我想要的数据格式？

flow3rdown commented 2 months ago

抱歉，近期事情比较多，回复的较晚了。您可以通过类似下方的代码观察返回的data_train是否满足您的需求

processor = KGProcessor(tokenizer, args)
data_train = get_dataset(args, processor, "train")
flow3rdown commented 2 months ago

请问您的问题解决了吗