Extending Context Window of LLMs via Position Interpolation

[runhani]

Extending Context Window of LLMs via Position Interpolation

https://arxiv.org/pdf/2306.15595

phi3-vision-128k

• 아니 128,000... 12만 8천 tokens입력이 되고 출력도 되는 모델은 대체 어떻게 학습 시키는 것일까?
• 돈도 돈인데 train은 차치하더라도 inference하는데 드는 시간은?
• 그런데 코드를 자세히 보니 뭐야 original은 4096인데 interpolation한 거야?

  "max_position_embeddings": 131072,
  "model_type": "phi3_v",
  "original_max_position_embeddings": 4096,

그래서 결론은?

• 1000 steps만 fine-tuning하면 좋은 성능의 long cotext windows를 갖는 모델을 만들 수 있다. by Position Interpolation
• 비록 여러 벤치마크에서 original context window 모델 대비 성능이 조금 떨어지긴 하지만 아주 적은 학습으로 엄청 긴 context window를 갖는 모델을 확보 할 수 있다는게 얼마나 놀라운 일인가?
• 모델 context window가 커지면 아주 긴 책 summary도 할 수 있고, 여러 이미지도 넣을 수 있고 할 수 있는게 많아진다...

LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens

https://arxiv.org/pdf/2402.13753

• 아니... 이젠 2백만 tokens로 확장 할 수 있다고?