GPT2 & GPTJ quantization 적용 결과 노트북 업로드

[GirinMan]

개요

• BitsAndBytes를 이용하여 GPT2/GPTJ 모델 8bit quantization 적용 코드 구현
• https://huggingface.co/hivemind/gpt-j-6B-8bit 를 참고
• GPTJ 모델은 kogpt 6B 모델로 변경
• GPT2 모델의 경우 attention과 fc layer가 nn.Linear가 아닌 별도 정의된 Conv1D로 구성되어 있어 기존 코드를 활용하지 못하는 상태
• 원본 transformers의 Conv1D 레이어 정의(https://github.com/huggingface/transformers/blob/main/src/transformers/pytorch_utils.py line 94)를 참고하여, BNBConv1DWithAdapters 클래스를 정의하여 Conv1D 레이어까지 quantization 적용
• GPTJ와 마찬가지로 GPT-NeoX 역시 특별한 이슈 없이 적용 가능할 것으로 예상됨
• 테스트 generation 결과 잘 실행됨

https://github.com/GirinMan/HYU-Graduation-Project-Quantization/tree/main/GPT_J_quantization

[plaire48]

GPT_J_quantization 코드를 활용하여 kogpt 6B의 prompt tuning을 진행함. 테스트 결과 잘 학습됨. f1 score : 86.68