같은 문장을 추론하는데도 다른 결과가 나오는 경우가 간혹 생깁니다

[Maresak]

학습 데이터를 변경해서 다른 태그로 개체명 인식 테스트를 하고 있습니다.

모델 구조나 vocab, tokenizer 같은건 그대로 사용하고 있는 상태고 태그만 다른 것으로 변경하여 학습 후 추론을 하는데 같은 문장을 넣었는데도 불구하고 결과가 다르게 나오는 경우가 생깁니다.

예시로 "북한산전망대" 같은 경우 원래 단어를 그대로 개체로 잘 태깅하기도 하지만 "북", "한산정망대" 이런 식으로 2개로 분리되어 태깅하는 경우도 간혹 발생합니다.

해당 모델이 결과가 이렇게 약간의 무작위성이 있게 추론이 되는게 맞는 모델인지 알고 싶습니다. CRF 레이어가 이런 역할을 하려나요??

[eagle705]

안녕하세요,

먼저, eval()로 dropout하지 않은 상태로 진행하셨는지 궁금합니다~!

원래대로라면 같은 결과가 계속 나와야 정상입니다

[Maresak]

말씀해주신대로 추론 단계에서 model.eval() 이 누락되어 있었네요, 감사합니다.