Open MyGithub1234567890 opened 8 months ago
有没有大佬知道什么原因啊,孩子很着急啊
有没有大佬知道什么原因啊,孩子很着急啊
iekt的data_loader用question-level的数据集,atdkt的dataloader使用的kc-level的(对于一个题对多知识点会进行扩展),你用kc-level的数据集跑iekt,应该是存在标签泄露的问题导致结果虚高,对于历史正确性这个数据,建议根据代码在iekt的data_loader上修改
有没有大佬知道什么原因啊,孩子很着急啊
iekt的data_loader用question-level的数据集,atdkt的dataloader使用的kc-level的(对于一个题对多知识点会进行扩展),你用kc-level的数据集跑iekt,应该是存在标签泄露的问题导致结果虚高,对于历史正确性这个数据,建议根据代码在iekt的data_loader上修改
我后面还用到了DIMKT里面的SD(技能难度),QD(问题难度)这两个数据,用了上面那个方法来换了loader,结果auc0.8969,这里也存在标签泄露问题吗?
是的,dimkt用的也是kc-level的数据集
有没有大佬知道什么原因啊,孩子很着急啊
iekt的data_loader用question-level的数据集,atdkt的dataloader使用的kc-level的(对于一个题对多知识点会进行扩展),你用kc-level的数据集跑iekt,应该是存在标签泄露的问题导致结果虚高,对于历史正确性这个数据,建议根据代码在iekt的data_loader上修改
我后面还用到了DIMKT里面的SD(技能难度),QD(问题难度)这两个数据,用了上面那个方法来换了loader,结果auc0.8969,这里也存在标签泄露问题吗?
是的,dimkt用的也是kc-level的数据集
谢谢大佬,孩子得救了,祝大佬科研顺利
我有个问题 就是我用pykt库里面的 iekt模型跑 然后auc是0.8318。然后我需要atdkt模型数据集里面的 历史正确性这个数据。就把iekt的数据loader换成了atdkt的loader 数据集不变.然后啥也没改 iekt的auc就到了0.923。
修改代码如下:
elif model_name in que_type_models:
请问哪里出错了啊?