2023/05/02/llm-for-ordinary-developers

[utterances-bot]

개발자로서 LLM 사용을 위해 알아두면 좋은 내용들 (Large Language Model for ordinary developers), Haandol

Large Language Model for ordinary developers

https://haandol.github.io/2023/05/02/llm-for-ordinary-developers.html

[ccsweets]

좋은글 잘 읽고 갑니다

[taemin6697]

4bit 파인튜닝은 없나요?

[haandol]

4bit quantization 은 낮은 vram 에서 돌아가는데 의의가 있는 형태라 파인튜닝을 4bit 으로 하는 경우는 별로 없는거 같습니다.

[haandol]

@taemin6697 QLoRA 가 5월에 나왔었는데 제가 잘 몰랐네요. 요새는 대세가 33B, 40B 모델로 넘어가면서 QLoRA 로 파인튜닝 하는 방식도 많이 쓰는 것 같습니다. 실제로 계산은 32 나 16 으로 하기 때문에 성능은 크게 차이 없는거 같네요. (속도는 훨씬 느려지긴하지만..)

[jws1837]

정리 너무 잘돼있네요. 읽기만 해도 공부가 되었습니다. 감사합니다.

[haandol]

@jws1837 재미있게 봐주셔서 감사합니다. 덕분에 너무 대충 쓴 부분들을 약간 더 다듬어서 수정해봤습니다.