Exp/bert based relabeling - Githubissues

boostcampaitech7 / level2-nlp-datacentric-nlp-04

level2-nlp-datacentric-nlp-04 created by GitHub Classroom

0 stars 1 forks source link

Exp/bert based relabeling #47

Closed luckyvickyricky closed 1 week ago

luckyvickyricky commented 1 week ago

PR 정보

목적: BERT 모델+노이즈 있는데이터(라벨이 맞는 데이터)로 학습하여 라벨오류 의심 데이터를 리라벨링합니다.
이슈 번호: close #38
노션 작업 카드 링크: https://www.notion.so/cukminseo/bert-relabel-1357e7782b6f80228be5fba7f0615caf

변경 사항

이 PR은 큰 issue가 마일스톤으로 분리되기 이전이라 eda코드+랭체인에 대한 내용도 담고 있습니다.
최종적으로 모든 과정을 preprocess_minseo폴더로 별도이동하였습니다.
주된 내용은 BERT기반 라벨 분류입니다.

리뷰 참고사항

preprocess_minseo 별도파일에 코드가 작성되어 다른 코드와 conflict 발생할 가능성은 없기에 다른 부분 위주로 확인해주시면 감사하겠습니다.

luckyvickyricky commented 1 week ago

rebase하여 포매팅 적용하였습니다.

Sujinkim-625 commented 1 week ago

여기가 혹시 판교인가요? LGTM이라닝ㅋㅋㅋㅋ