Open fly51fly opened 1 month ago
No 1. 今日推介(第1373期)：基于Infini-attention的高效无限上下文Transformer、极限中的语言生成、长上下文语言模型的上下文实际有多长、上下文学习回路及其形成机制研究、大型语言模型如何用不同层获取知识 ...... No 2. 用GPU分布式推理实战 No 3. [CL]《Exploring Concept Depth: How Large Language Models Acquire Knowledge at Different Layers?》 No 4. [LG] Scaling Laws for Data Filtering -- Data Curation cannot ...... No 5. Parler-TTS：开源的轻量级文本到语音（TTS）模型，可以生成高质量、自然流畅的语音，模仿给定的演讲者（性别、音高、说话风格等） No 6. OmniFusion：高级的多模态 AI 模型，旨在通过集成其他数据模态（如图像、音频、3D 和视频内容）来扩展传统语言处理系统的功能 No 7. [CL]《RULER: What's the Real Context Size of Your Long-Context Language Models?》 No 8. Data-Speech：用于标注语音数据集的实用脚本套件，旨在为基于语音的人工智能模型（如文本到语音引擎）开发过程中所需要的音频变换（或注释）提供简洁、干净的代码库 No 9. [CL]《Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention》 No 10. Next.js AI Chatbot：由 Vercel 和 Next.js 团队成员构建的生成式 UI 聊天机器人模板，基于 Vercel AI SDK 和 Google Gemini No 11. [CL] LM Transparency Tool: Interactive Tool for Analyzing Transformer ...... No 12. 几篇论文实现代码 No 13. Google宣布进一步扩展开源语言模型Gemma系列 No 14. [CV] RealmDreamer: Text-Driven 3D Scene Generation with Inpainting ...... No 15. JORA：解决了 LLM 在 RAG 中的内存限制问题，提供了一种基于 JAX 的分布式训练方法 No 16. SDFX：通过漂亮界面构建和分享AI应用的无代码平台 No 17. 用于评估语言模型准确性的轻量库，包含多个评估，如 MMLU、MATH、GPQA、DROP、MGSM 和 HumanEval，并为 OpenAI 和 Anthropic API 提供了采样接口 No 18. FastAPI-Amis-Admin：拥有高性能,高效率,易拓展的fastapi管理后台框架 No 19. RAG进化之路 No 20. 早！[太阳] No 21. ADS-B Massive Visualizer：ADS-B 航班数据的交互式可视化和分析 No 22. Rageval：评估检索增强生成(RAG)方法的工具，包括六个子任务：查询重写、文档排名、信息压缩、证据验证、答案生成和结果验证 No 23. 通过“概念深度”的概念，探究了不同难度的概念在语言模型中的学习位置，发现基础概念在浅层学习，而复杂概念需要更深层，这为理解模型内部表示并评估其鲁棒性提供了新的视角。//[CL]《Exploring Concept Depth: How Large Language Models Acquire Knowledge at Different Layers?》 No 24. 'Bili2text - Bilibili视频转文字，一步到位，输入链接即可使用' GitHub: github.com/lanbinshijie/bili2text ...... No 25. Meta发布下一代训练和推理加速器 No 26. 晚安～ [月亮] No 27. [CL]《Language Generation in the Limit》 No 28. Infini-attention通过引入压缩记忆实现了Transformer语言模型的长效上下文建模，在质量和效率上都占优。//[CL]《Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention》 No 29. LLM Web界面大列表 No 30. 非结构化数据预处理工具 No 31. [LG]《What needs to go right for an induction head? A mechanistic study of in-context learning circuits and their formation》 No 32. #免费##抽奖# 携手@异步图书 送出3本《大语言模型：基础与前沿》 No 33. [CL] Chinese Tiny LLM: Pretraining a Chinese-Centric Large ...... No 34. Gemini API Cookbook：Gemini API 的指南和示例集合 No 35. 通过因果训练框架深入分析了Transformer感应头形成过程中的损失动力学，发现多个子回路的相互作用导致明显的全局非线性，并讨论了数据复杂性如何通过调节子回路的形成进而影响全局动力学。//[LG]《What needs to go right for an induction head? A mechanistic study of in-context learning circuits and their formation》 No 36. [CV] Matching 2D Images in 3D: Metric Relative Pose from Metric ...... No 37. Neco：C 语言编写的并发库，提供了使用 coroutines(协程)的方式进行并发编程 No 38. Narwhals：轻量可扩展的数据框架兼容层，支持 Polars、pandas、cuDF、Modin 等多种数据框架 No 39. 通过一个简洁的对抗框架证明了语言生成不同于识别，前者在某个时刻之后总是可能的，这一深刻见解启发我们从新的角度思考实际中的生成模型。//[CL]《Language Generation in the Limit》 No 40. [CL]《LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders》 No 41. PCToolkit: 统一的即插即用大语言模型提示压缩工具包 No 42. 产品级RAG系统构建路线图(文集) No 43. 'Awesome DUSt3R Resources - A curated list of DUSt3R-related ...... No 44. 大模型面试题及答案 No 45. #免费##抽奖# 携手@博文视点Broadview 送出3本《LangChain实战》 No 47. Red-Teaming Language Models with DSPy：介绍了使用 DSPy 框架对语言模型进行红队攻击的尝试，展示了用 DSPy 编译后的架构效果 No 48. FreeGPT35：基于免费且无限次调用的 GPT-3.5-Turbo API 服务构建的登录界面自由聊天 Web 应用程序 No 49. [CV]《Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs》 No 50. HammerLLM：1.4B参数量的LLM，提供简洁高效的训练代码库，并完全开源了模型权重、环境、代码库和超参数
No 1. 今日推介(第1373期)：基于Infini-attention的高效无限上下文Transformer、极限中的语言生成、长上下文语言模型的上下文实际有多长、上下文学习回路及其形成机制研究、大型语言模型如何用不同层获取知识 ...... No 2. 用GPU分布式推理实战 No 3. [CL]《Exploring Concept Depth: How Large Language Models Acquire Knowledge at Different Layers?》 No 4. [LG] Scaling Laws for Data Filtering -- Data Curation cannot ...... No 5. Parler-TTS：开源的轻量级文本到语音（TTS）模型，可以生成高质量、自然流畅的语音，模仿给定的演讲者（性别、音高、说话风格等） No 6. OmniFusion：高级的多模态 AI 模型，旨在通过集成其他数据模态（如图像、音频、3D 和视频内容）来扩展传统语言处理系统的功能 No 7. [CL]《RULER: What's the Real Context Size of Your Long-Context Language Models?》 No 8. Data-Speech：用于标注语音数据集的实用脚本套件，旨在为基于语音的人工智能模型（如文本到语音引擎）开发过程中所需要的音频变换（或注释）提供简洁、干净的代码库 No 9. [CL]《Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention》 No 10. Next.js AI Chatbot：由 Vercel 和 Next.js 团队成员构建的生成式 UI 聊天机器人模板，基于 Vercel AI SDK 和 Google Gemini No 11. [CL] LM Transparency Tool: Interactive Tool for Analyzing Transformer ...... No 12. 几篇论文实现代码 No 13. Google宣布进一步扩展开源语言模型Gemma系列 No 14. [CV] RealmDreamer: Text-Driven 3D Scene Generation with Inpainting ...... No 15. JORA：解决了 LLM 在 RAG 中的内存限制问题，提供了一种基于 JAX 的分布式训练方法 No 16. SDFX：通过漂亮界面构建和分享AI应用的无代码平台 No 17. 用于评估语言模型准确性的轻量库，包含多个评估，如 MMLU、MATH、GPQA、DROP、MGSM 和 HumanEval，并为 OpenAI 和 Anthropic API 提供了采样接口 No 18. FastAPI-Amis-Admin：拥有高性能,高效率,易拓展的fastapi管理后台框架 No 19. RAG进化之路 No 20. 早！[太阳] No 21. ADS-B Massive Visualizer：ADS-B 航班数据的交互式可视化和分析 No 22. Rageval：评估检索增强生成(RAG)方法的工具，包括六个子任务：查询重写、文档排名、信息压缩、证据验证、答案生成和结果验证 No 23. 通过“概念深度”的概念，探究了不同难度的概念在语言模型中的学习位置，发现基础概念在浅层学习，而复杂概念需要更深层，这为理解模型内部表示并评估其鲁棒性提供了新的视角。//[CL]《Exploring Concept Depth: How Large Language Models Acquire Knowledge at Different Layers?》 No 24. 'Bili2text - Bilibili视频转文字，一步到位，输入链接即可使用' GitHub: github.com/lanbinshijie/bili2text ...... No 25. Meta发布下一代训练和推理加速器 No 26. 晚安～ [月亮] No 27. [CL]《Language Generation in the Limit》 No 28. Infini-attention通过引入压缩记忆实现了Transformer语言模型的长效上下文建模，在质量和效率上都占优。//[CL]《Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention》 No 29. LLM Web界面大列表 No 30. 非结构化数据预处理工具 No 31. [LG]《What needs to go right for an induction head? A mechanistic study of in-context learning circuits and their formation》 No 32. #免费##抽奖# 携手@异步图书 送出3本《大语言模型：基础与前沿》 No 33. [CL] Chinese Tiny LLM: Pretraining a Chinese-Centric Large ...... No 34. Gemini API Cookbook：Gemini API 的指南和示例集合 No 35. 通过因果训练框架深入分析了Transformer感应头形成过程中的损失动力学，发现多个子回路的相互作用导致明显的全局非线性，并讨论了数据复杂性如何通过调节子回路的形成进而影响全局动力学。//[LG]《What needs to go right for an induction head? A mechanistic study of in-context learning circuits and their formation》 No 36. [CV] Matching 2D Images in 3D: Metric Relative Pose from Metric ...... No 37. Neco：C 语言编写的并发库，提供了使用 coroutines(协程)的方式进行并发编程 No 38. Narwhals：轻量可扩展的数据框架兼容层，支持 Polars、pandas、cuDF、Modin 等多种数据框架 No 39. 通过一个简洁的对抗框架证明了语言生成不同于识别，前者在某个时刻之后总是可能的，这一深刻见解启发我们从新的角度思考实际中的生成模型。//[CL]《Language Generation in the Limit》 No 40. [CL]《LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders》 No 41. PCToolkit: 统一的即插即用大语言模型提示压缩工具包 No 42. 产品级RAG系统构建路线图(文集) No 43. 'Awesome DUSt3R Resources - A curated list of DUSt3R-related ...... No 44. 大模型面试题及答案 No 45. #免费##抽奖# 携手@博文视点Broadview 送出3本《LangChain实战》 No 47. Red-Teaming Language Models with DSPy：介绍了使用 DSPy 框架对语言模型进行红队攻击的尝试，展示了用 DSPy 编译后的架构效果 No 48. FreeGPT35：基于免费且无限次调用的 GPT-3.5-Turbo API 服务构建的登录界面自由聊天 Web 应用程序 No 49. [CV]《Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs》 No 50. HammerLLM：1.4B参数量的LLM，提供简洁高效的训练代码库，并完全开源了模型权重、环境、代码库和超参数