Feature: streamlit에서 context의 어떤 부분이 UNK 토큰인지 확인할 수 있도록 추가 - Githubissues

boostcampaitech7 / level2-mrc-nlp-01

level2-mrc-nlp-01 created by GitHub Classroom

3 stars 2 forks source link

Feature: streamlit에서 context의 어떤 부분이 UNK 토큰인지 확인할 수 있도록 추가 #40

Closed rasauq1122 closed 4 weeks ago

rasauq1122 commented 4 weeks ago

Summary

Same as title.

Describe your changes

QA 훈련용 데이터셋 페이지에서 UNK 토큰 표시 버튼을 추가했습니다.
- 버튼을 누르면 UNK 토큰으로 인식하는 부분을 파란색으로 색칠합니다.
- tokenizer는 Config의 model name을 따라갑니다.

PR purpose

UNK 토큰 분석이 조금 더 편해진다.

Additional Context

Closes #34