Open long8v opened 2 years ago
problem : LM으로 few-shot하자. solution : 엄청 큰 LM 모델을 만들자 result : 다양한 NLP task에서 few-shot 성능 SOTA. details :
모델 크기 별 zero-, one-, few-shot 모델의 성능 비교. 모델이 커질수록 in-context learning이 효과적임
GPT3에서 용어 설명
모델 아키텍쳐는 GPT2와 매우 유사하나, Sparse Transformer 같은 locally banded sparse한 어텐션으로 바꾸었다.
모델 크기는 이 정도. "GPT-3"라고 보통 부르는 모델의 파라미터는 1750억. 데이터는 3000억 토큰.
데이터는 Common Crawl을 사용했고, 데이터의 질을 올리기 위해 전처리도 하고, 알려진 높은 퀄리티의 corpus와 섞기도 하였다.
큰 모델은 batch size를 최대한 크게, 작은 learning rate를 가지도록 하는것이 좋다.
gradient noise scale을 구한 다음 이를 바탕으로 batch size를 정하였다.(ref)
Downstream Tasks :
Penn Tree Bank : 구문분석을 위한 corpus인데 LM 성능 평가로도 하는듯
LAMBADA : context 주고 빈칸 추론 corpus. long-range depndencies를 잘 해결해야 함
SuperGLUE : 이것저것 어려운 NLP task 모아 놓은 것
산수 : 2~5자리수 더하기/빼기, 2자리수 곱하기, 1자리수 연산( 6+(4*8) 같은 것)
word scrambling and manipulation task
news article generation : 인간이 직접 쓴 뉴스와 모델이 만든 뉴스 구분하는 annotation 진행. 일부러 구린 모델이랑 비교해서 t-test.
learning and using novel words : 딱 한번만 쓰인 단어를 보고 그 단어를 넣은 문장을 만들라고 함.
correcting english grammar : "Poor English Input: <sentence>\n Good English Output: <sentence> 이렇게 input을 줌.
"Poor English Input: <sentence>\n Good English Output: <sentence>
GPT3 모델의 한계들
모델 크기 별 zero-, one-, few-shot 모델의 성능 비교. 모델이 커질수록 in-context learning이 효과적임
GPT3에서 용어 설명
모델 아키텍쳐는 GPT2와 매우 유사하나, Sparse Transformer 같은 locally banded sparse한 어텐션으로 바꾸었다.
모델 크기는 이 정도. "GPT-3"라고 보통 부르는 모델의 파라미터는 1750억. 데이터는 3000억 토큰.
데이터는 Common Crawl을 사용했고, 데이터의 질을 올리기 위해 전처리도 하고, 알려진 높은 퀄리티의 corpus와 섞기도 하였다.
큰 모델은 batch size를 최대한 크게, 작은 learning rate를 가지도록 하는것이 좋다.
gradient noise scale을 구한 다음 이를 바탕으로 batch size를 정하였다.(ref)
Downstream Tasks :
Penn Tree Bank : 구문분석을 위한 corpus인데 LM 성능 평가로도 하는듯
LAMBADA : context 주고 빈칸 추론 corpus. long-range depndencies를 잘 해결해야 함
SuperGLUE : 이것저것 어려운 NLP task 모아 놓은 것
산수 : 2~5자리수 더하기/빼기, 2자리수 곱하기, 1자리수 연산( 6+(4*8) 같은 것)
word scrambling and manipulation task
news article generation : 인간이 직접 쓴 뉴스와 모델이 만든 뉴스 구분하는 annotation 진행. 일부러 구린 모델이랑 비교해서 t-test.
learning and using novel words : 딱 한번만 쓰인 단어를 보고 그 단어를 넣은 문장을 만들라고 함.
correcting english grammar :
"Poor English Input: <sentence>\n Good English Output: <sentence>이렇게 input을 줌.GPT3 모델의 한계들