pqdm now + gpt4turbo causes IndexError (not happened before)

[fgenie]

chatgpt를 사용할때는 문제가 없는데 gpt4turbo를 사용하는경우 IndexError가 발생합니다.

• baseline_inference의 경우 딱히 인덱스를 사용하지도 않기도 하고
• 처리되지 않은 row들만 모아서 다시 실험하는 경우 일정부분 해결이 됩니다

그래서 pqdm 변경에 따른 문제라고 보고 있기는 한데... 봐주시겠어요? src/new 안에 스크립트, 그리고 4turbo 결과 파일이 첨부되어있습니다. 에러는 *.jsonl.error에 기록되어있습니다.

[seanexp]

이건 이슈로 올리셔야 할 거 같네요.

.jsonl 파일이나 .errors 파일을 커밋하시면 코드 관리가 어려워집니다. 뭐가 중요한 파일인지 보이지 않아서요

[seanexp]

그리고 tqdm 에서는 문제없이 돌아가는지 한번 확인 부탁드려요

[fgenie]

파일은 그럼 하던대로 슬랙에만 올릴게요 스크립트, 읽는 파일, 나온 파일 같이 확인해달라고 결과물을 함께 푸시했어요.

[fgenie]

tqdm은 확인해보겠습니다. 퇴근하고 공유해드릴게요

[fgenie]

pqdm문제 아니고 파싱문제인거만 확인했습니다 퇴근해서 마저 수정하고 푸시할게요

[fgenie]

추가로... temperature 0에 seed 를 줘도 output이 유지되진 않는 것 같네요. 결과가 큰 폭으로 변하진 않지만 디버깅할 때는 고려해야할 것 같습니다.

[seanexp]

파일은 그럼 하던대로 슬랙에만 올릴게요 스크립트, 읽는 파일, 나온 파일 같이 확인해달라고 결과물을 함께 푸시했어요.

파일을 깃헙 이슈에 올리시는거 낫지 않을까요? 슬랙은 파일 공유하면 다른 대화에 묻히는 경향이 있어서 ㅠ

뭐 편하신대로 하셔도 될거 같습니다.

[seanexp]

일단 이 이슈는 close 할테니 새로 이슈 열어주시면 좋을거 같습니다.