24/02/25

[hippothewild]

• https://vgel.me/posts/representation-engineering/

• https://bair.berkeley.edu/blog/2024/02/18/compound-ai-systems

• Google Gemma

  • ai.google.dev/gemma
  • https://huggingface.co/blog/gemma/
  • https://huggingface.co/google/gemma-7b
  • https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf

• LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens https://arxiv.org/pdf/2402.13753.pdf

[shylee2021]

Language Processing Unit by Groq https://groq.com https://github.com/ray-project/llmperf-leaderboard

Gemma https://twitter.com/rasbt/status/1761394305661321255 https://twitter.com/JustinLin610/status/1761425373106155822

Gemini Image Generation https://techcrunch.com/2024/02/23/embarrassing-and-wrong-google-admits-it-lost-control-of-image-generating-ai/

EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty https://arxiv.org/abs/2401.15077

[seyong92]

Voice Library of ElevenLabs

https://elevenlabs.io/voice-library

(Singing) voice conversion https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/blob/main/docs/en/README.en.md https://moises.ai/features/ai-voice-models/?utm_source=direct&click_section=section_1_search_list_voice_studio https://sorisori.ai/ https://www.voicify.ai/?gad_source=1&gclid=Cj0KCQiA5-uuBhDzARIsAAa21T9GREKm-TfCMGjiO8-jxvlion4tOCKBFM2yUQ06xg4Tjj1kaKpvKy0aAsizEALw_wcB

https://www.youtube.com/watch?v=AIi53ERB5ZY

Adding sound to Sora

https://twitter.com/gaudiolab/status/1760414896611803336 https://twitter.com/elevenlabsio/status/1759240084342059260

Gaudio JustVoice

https://www.gaudiolab.com/products/just-voice

[junhwi]

https://www.phind.com/blog/introducing-phind-70b

https://blogs.microsoft.com/blog/2024/02/07/delivering-copilot-for-everyone/

https://stability.ai/news/stable-diffusion-3

Stable Diffusion 3 combines a diffusion transformer architecture and flow matching. We will publish a detailed technical report soon.

https://news.ycombinator.com/item?id=39460788

The conclusion from the Hacker News discussion on GPT-based programming assistants (copilots) is mixed. Some users find them helpful for simple tasks and autocomplete, while others point out limitations in handling complex programming tasks. Effectiveness varies based on individual needs and the specific programming language. The general consensus seems to be that while helpful in some contexts, they are not a complete solution for all programming challenges.

Copilot Evaluation Harness: Evaluating LLM-Guided Software Programming https://arxiv.org/abs/2402.14261

https://status.openai.com/incidents/ssg8fh7sfyz3

Automated Unit Test Improvement using Large Language Models at Meta https://arxiv.org/abs/2402.09171

Training Language Models to Generate Text with Citations via Fine-grained Rewards https://openreview.net/forum?id=aZk8QtYanxL https://arxiv.org/abs/2402.04315

User-LLM: Efficient LLM Contextualization with User Embeddings https://arxiv.org/abs/2402.13598

Instruction-tuned Language Models are Better Knowledge Learners https://arxiv.org/abs/2402.12847

[pinetree408]

Large Language Models Understand and Can be Enhanced by Emotional Stimuli

https://arxiv.org/abs/2307.11760

리뷰 내용

Intro

• 마이크로소프트에서 작성된 페이퍼로 AI가 사람을 더 잘 이해할 수 있는 소통 방식이 있다면 결과물이 달라질것이라는 가설로 시작한 연구
• 감정이라는 것이 인간의 의사 결정에 강력하게 영향을 미친다는 것은 이미 많이 알려진 사실
  • "도와주세요!"보다 "도와주세요! 당신의 도움이 절 살릴 수 있습니다." 같은 것이 더 자극적이라 행동 결과에 영향을 줌
• 따라서 인간의 감정을 전달하면 AI의 문제 해결 능력에 향상이 있을 것이다.

실험

• 사회 심리학 이론을 바탕으로 11개의 감성 프롬프트를 디자인
  • 답변을 작성하고, 당신의 답변에 대한 확신 정도를 0에서 1점 사이의 점수로 매겨주세요.
  • 이것은 제 커리어에 정말로 중요합니다.
  • 확실해야만 합니다.
  • 확실합니까?
  • 그게 최종 답변입니까? 다시한번 살펴봐야할지도 모릅니다.
  • 그게 최종 답변입니까? 당신의 능력을 믿고 탁월함을 추구해보세요.
  • 도전을 성장의 기회로 받아드리세요.
  • 목표에 집중하고 헌신하세요.
  • 당신의 일에 자부심을 가지고 최선을 다하세요.
  • 진보는 한걸음씩 이루어진다는 것을 기억하세요.
• 사용 방법
  • "영화 리뷰가 긍정적인지 부정적인지 판별해라" + "확실합니까?"
• 평가
  • Instruction Induction 24개, BIG-Bench 21개
• LLM 6개
  • Flan-T5-Large, Vicuna, Llama 2, BLOOM, ChatGPT, GPT-4

결과

• Instruction Induction에서 8% 향상, BIG-Bench에서 10% 향상
• 모든 감성 프롬프트가 성능향상을 발생
• CoT, APE보다 감성 프롬프트가 효과가 더 좋음
• Generative Task에서도 전반적인 성능 향상 관찰
• TruthfulQA에서도 전반적으로 성능 향상 관찰됨

원리

• Flan-T5로 attention 확인
• 기존 Prompt를 보강
• 감정 프롬프트에서의 긍정적인 단어들이 어텐션을 더 받음
• 감정 프롬프트의 길이가 길수록 효과가 있음
• 다만 유사한 문구가 추가되면 효과 적음
• 서로 다른 분류의 문구가 추가되면 효과 좋음

분석

• 어떤 정서 자극이 가장 효과적인가? 상황마다 다름
• 모델 차이
  • GPT-4처럼 이미 너무 잘하면 gain이 적음
  • Vicuna, Llama와 비교하면 RLHF를 안한 경우 성능이 더 좋음

결론

• 인간에게 중요한 정서 지능이 LLM에서도 중요함을 보임
• 심리학과 LLM이 교차하는 영역에 연구할게 많음
• 다만 인간은 정서자극을 준다고 인지 능력자체가 크게 바뀌지 않는다는 것은 다름

내생각

• LLM 성능 향상 아이디어는 무궁무진함
• 생각보다 EP 효과가 너무 큼
• 실험 디자인이 인상적

인터넷이 계속 안좋아서 세미나 참여 여부가 불투명해서 전체 리뷰도 함께 남겨둡니다.