search

fgenie / rims_minimal

시작이 절반이고 마무리 또한 절반이다.
0 stars 1 forks source link

fix bug on get_concordant_answer #15

Closed seanexp closed 8 months ago

seanexp commented 8 months ago

resolves: #14

seanexp commented 8 months ago

0713928 일단 이 커밋만 보셔도 됩니다.

seanexp commented 8 months ago

코드가 thread safe 하지 않아서 그런지 majority_ans 가 None 이 아니어도 majority_vote 키가 selection_or_rims에 들어가지 않는 케이스가 빈번하게 발생합니다. 이걸 막기 위해서

d78531c

해당 커밋 진행했습니다.

seanexp commented 8 months ago

이 PR 에서 chatgpt, baseline 결과

total: 498 / 871
fail: 0 / 871
nonconflict: 466 / 624
conflict: 32 / 247