search

12wang3 / rrl

The code of NeurIPS 2021 paper "Scalable Rule-Based Representation Learning for Interpretable Classification" and TPAMI paper "Learning Interpretable Rules for Scalable Data Representation and Classification"
MIT License
106 stars 32 forks source link

请教比较初级的实验结果的问题 #13

Closed RichardMeow closed 9 months ago

RichardMeow commented 9 months ago

希望请教一下rrl.text中的实验结果，我理解support越高应该是学习到的规则越可信，然后如何通过weight和bias看出该条规则是否越可信/越重要呢？另外激活的规则是什么意思？ 问题比较小白请多包涵！

RichardMeow commented 9 months ago

按照之前issue您的解答，假如我要做个死亡预测，discrete RRL的结果那里，rule有【A分级_1】，【A分级_1&心力衰竭_1】,【A分级_3】,【A分级_1 | 出院天数>3.1415】等，按照您的解答，我理解是激活了第一和最后一条rule，那么就是[W11+W41+b1, W12+W42+b4]计算softmax得出概率么，假如B1是出院，B2是死亡，那么输出[0.88,0.12]的概率是指什么呢？

12wang3 commented 9 months ago

希望请教一下rrl.text中的实验结果，我理解support越高应该是学习到的规则越可信，然后如何通过weight和bias看出该条规则是否越可信/越重要呢？另外激活的规则是什么意思？ 问题比较小白请多包涵！

support指的是支持度，支持度越大，规则覆盖的实例数越多，但并不代表规则越可信。比如一个规则support是0.99，但是weight是1e-6，那么可能这个规则其实没什么用。bias其实是和每个类别一一对应的，相当于对类别的一个修正。比如一个类别本身占比就大，那么它的bias就可能会更高。weight则可以理解为一条规则如果被激活，那么它会对结果造成影响的程度。所以简单来看，可以将weight和重要度划等号。不过如果一条规则不太容易被激活，即support较低，那么它重要度可能也会受影响。一条规则被激活，其实就是指输入的实例使得规则里面的条件被满足了，也就是规则对应的逻辑表达式值为True。

12wang3 commented 9 months ago

按照之前issue您的解答，假如我要做个死亡预测，discrete RRL的结果那里，rule有【A分级_1】，【A分级_1&心力衰竭_1】,【A分级_3】,【A分级_1 | 出院天数>3.1415】等，按照您的解答，我理解是激活了第一和最后一条rule，那么就是[W11+W41+b1, W12+W42+b4]计算softmax得出概率么，假如B1是出院，B2是死亡，那么输出[0.88,0.12]的概率是指什么呢？

首先说一下，bias是和类别对应的，所以第二个应该是b2，而不是b4。按照你提供的信息，感觉就是当前实例满足了"A分级=1"这个条件，并且有可能满足“出院天数>3.1415”，从而激活了第一条和第四条规则，然后这两条规则的weight在出院这个类别的分数更大（当然也要考虑类别本身的bias），从而导致预测为出院的概率更高，而预测为死亡的概率更低。