fine-tuning generation 관련 문의

[daje0601]

안녕하세요,

먼저, 유용한 README와 다양한 데이터셋을 공개해주셔서 감사합니다. 이 자료들을 바탕으로 fine-tuning을 하였습니다.

하지만 inference 과정에서 이슈를 겪고 있습니다.. 생성된 결과에서 'end-token'이 제대로 작동하지 않는 것 같아, 반복되는 말이 생성되는 문제가 발생하고 있습니다.

예를 들어, "정답 + ### 정답"과 같은 패턴으로 결과가 나타납니다.

이러한 이슈를 해결하기 위해 다음과 같은 점검을 해보았습니다:

[점검했던 사항들]

• End-token이 올바르게 설정되었는지 확인
• 모델의 출력 길이 제한 설정 검토
• Fine-tuning 과정에서의 매개변수 설정 재확인

혹시 이와 유사한 이슈를 겪어보신 적이 있으신가요, 또는 이 문제에 대한 해결책을 알고 계시다면 조언을 부탁드립니다.

감사합니다.

[tabtoyou]

안녕하세요, KoLLaVA 프로젝트에 관심가져주셔서 감사합니다.

혹시 사용하신 LLM 모델은 어떤걸까요?

말씀하신 답변 반복의 예시 이미지도 올려주시면 문제를 파악하는데 도움이 될 것 같습니다.

의심되는 부분은 stop keywords에 end token이 포함되어 있지 않거나, tokenizer의 special token에 end token이 포함되지 않았을 것 같습니다.