veritas9872
commented
9 months ago News
Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality
Paper: https://www.hbs.edu/faculty/Pages/item.aspx?num=64700 Blog: https://www.oneusefulthing.org/p/centaurs-and-cyborgs-on-the-jagged
여러 비즈니스 스쿨 및 BCG 컨설팅 그룹에서 참여한 인공지능의 생산성 향상 연구가 공개되었습니다. BCG 컨설팅 그룹의 컨설턴트 753명에게 인공지능 없이 업무 진행, 단순히 GPT4만 제공, GPT4 제공 및 prompting 관련 교육 진행 세 그룹으로 나누었을 때 생산성이 약 25% 향상되고 업무의 퀄리티도 증가했음을 발견했습니다. 특히 경험이 부족한 컨설턴트의 업무 능률 향상이 가장 큰 것을 확인했습니다. 다만, 유사한 난이도로 보이는 과제 중 오히려 인공지능을 적용하는 것이 부정적인 영향을 미치는 경우도 있었으며 사람마다 가장 효율적으로 AI를 적용하는 방법이 다르다는 것도 보였습니다. 인공지능이 업무를 바꾸는데 어떤 영향을 미칠지에 대해 논쟁이 활발해진 가운데 많은 도움이 될 것 같습니다.
Large Language Models for Compiler Optimization
ArXiv: https://arxiv.org/abs/2309.07062
Meta에서 LLM을 통한 Code optimization에 대한 연구를 공개했습니다. Introduction을 읽어보면 결과가 너무 잘 나와 저자들도 깜짝 놀랐다고 기재했는데 Llama 2 7B 모델을 scratch training함으로써 LLVM IR을 제공했을 때 최적화 경로를 언어모델이 정학게끔 함으로써 현재 컴파일러보다 약 3% 더 최적화된 코드를 얻을 수 있었고 약 70%의 경우 가장 최적화된 컴파일러 옵션과 동일한 결과를 얻었습니다.
컴파일러 코드 특성상 양질의 데이터 생성 및 검증이 쉬운 편인데 (요즘 기준으로는) 비교적 작은 모델인 7B LLama2를 scratch training함으로써 현재 rule based model보다 더 우수한 성능을 획득한 것을 보아 유망한 연구주제로 생각됩니다. 또한, 물론 Phi 1.5는 현재 논란이 많지만 자연어를 제외한 프로그래밍 언어에서 언어모델이 더 적은 데이터로도 우수한 학습 능력을 보일 수 있다는 근거로 생각됩니다 (결국 정답은 데이터?...).
nick-jhlee
Zoom: https://navercorp.zoom.us/j/92208940283
페이스북: https://www.facebook.com/weeklyaiarxivpage
News
ArXiv
In the long (context) run
Long context LLM 에 대해 잘 정리한 블로그
FlahAttention 나오면서 GPU 메모리와 연산 최적화로 long context 부담이 많이 줄어듬
최근의 Long context 는 주로 fine-tuning 기반이다.
그럼 왜 pretraining 시에 long context 를 직접 고려해서 하지 않나?
Common crawl 중에선 C4보단 refineWeb이 좀더 낫고 코드는 확실히 좀더 상황이 좋음
그럼 어떻게?
pretraining단에서 long-context 학습 녹록하지 않음. 배치 학습 효율위해 최대 길이 끼워맞춰 넣기 때문에 별로 효과없을 가능성
결국 long-context 성향을 갖도록 웹페이지의 링크를 이용한 이어붙이기 같은 걸 해야
양질의 문서데이터를 더 확보하고 데이터 가공작업에 공을 더 들이는 것도 방법 (비용의 문제)
그런데 long context pretraining vs long context FT 를 비교할려고 보니 애당초 성능 평가 프로토콜이 부족해서 효과 검증이 어려움
DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning
Parameter efficient tranfer learning 과 prefix-tuning (p-tuning v2) + LoRA의 합작품 같은? (from UCL)
p-tuning v2의 학습가능한 soft prompt 의 일부 파라미터를 low rank로 분할해서 embedding 계산 때 적용
뭔가 그럴듯 하긴 한데.. 얼마만큼 LLM 전체에 영향을 줄지... 큰 모델에서 얼마만큼 효과가 있을 지..
실험은 주로 작은 모델에서 NLU task위주로 수행. LLaMA 시리즈 실험이 없어서 아쉽
