Feat/llm based text denoising - Githubissues

boostcampaitech7 / level2-nlp-datacentric-nlp-04

level2-nlp-datacentric-nlp-04 created by GitHub Classroom

0 stars 1 forks source link

Feat/llm based text denoising #51

Closed luckyvickyricky closed 1 week ago

luckyvickyricky commented 1 week ago

PR 정보

목적: LLM기반 텍스트 디노이징
이슈 번호: close #21
노션 작업 카드 링크: https://www.notion.so/cukminseo/LLM-text-noise-1357e7782b6f80808f40cc8d9ab472d7 (이슈에 대부분 정리되었습니다)

변경 사항

"LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct"모델을 사용하여 텍스트 디노이징을 시도하였습니다.
few shot으로 텍스트노이징되지않은 오리지널 텍스트와, 임의로 노이징이 들어간 데이터를 예시로 입력하였습니다.

리뷰 참고사항

issue #21 내용을 참고해주세요