随笔：上交冬校 | XuanJr's Land

[Physics-Lee]

https://physics-lee.github.io/2024/01/15/SJTU/

傍晚，想去超市买点水果，偶然看到了卡士的酸奶。 思潮瞬间涌回了深圳。两室一厅、四十一层、冰箱、厨房、卡士、晚风。 我终究，忘不了。 上午是个做数学的美国科学院院士，做的是Hubel-Wiesel工作的后续。 纯理论，很无趣。 下午是个做AI的老师，还不错。 我和他聊，实现AGI是否需要生物，他竟然还挺乐观。 午餐和晚餐，和几位新朋友聊天。 就这样了。

[Physics-Lee]

晚上，科大给我推送，2023一卡通年度账单。连这破东西，都敢勾起我的回忆啊。

[Physics-Lee]

在Transformer里，训练方法是知道的，Attention怎么算也是知道的，每一个突触的强度都是知道的，但没有任何一个人知道 Transformer为什么有效。CNN同样如此。

那么，就算有一天用电子显微镜测出了果蝇、小鼠乃至人的连接组，就算有一天用电生理测出了每一个神经元的活动，也没有任何一个人知道人脑为什么有效。更何况，你还不知道训练方法。

人类连人工神经网络都理解不了，还妄图理解生物神经网络？怎么说也得先理解前者，才能够理解后者。理解的标准？怎么说也得知道我扰动一下，这个系统会做出什么样的反应。