fgenie commented 5 months ago

20 실험을 완료한 시점의 코드.

Baseline prompt 처리 버그 처리한 부분이 큰 버그인데... model selection prompt는 3개 선택지 중 1개만 쭉 찍는 것보다 결과가 나쁘다.

IndexError

baseline_inference 에서 gpt4turbo의 경우 A,B,C 에 답이 없다 생각되는 경우 None을 답하는 경우가 있었음. 이 경우 ansmap[None] --> keyError
rims_inference 에서 "index" 컬럼이 있는 경우만 처리하면 나중에 "index"컬럼이 없어서 기록시 문제가 생김 --> 수정

Baseline prompt

three method 프롬프트를 만들었으나 이를 처리하는 get_selection_prompt 에서 처리가 제대로 되지 않고 있었음. 때문에 무조건 (C)를 선택하는 문제가 있었음 (실제 유저 question, solutions 들이 반영되지 않고 있었다!)
(A,B,C) 대신 None 이라 답하는 케이스에 대한 처리
unpacking error 등에 대한 처리

fgenie commented 5 months ago

MATH 실험에서는 문제가 없습니다. 합치는데 우려사항 있으면 얘기해주세요.

fgenie commented 5 months ago

20 MATH 실험이 완료되었으므로 병합 후 닫음