henryliangt
commented
1 year ago 算法黑话祛魅feature：一个数组representation：还是一个数组embedding：把输入映射成数组提高泛化性：预测更准了过拟合：训练过头了attention：加权adaptive：还是加权few-shot learning：看了几个样本就学zero-shot learning：一个没看就开始瞎蒙self-supervised：自学semi-supervised：教一点自学一点unsupervised：没人教了，跟谁学？end-to-end：一套操作，行云流水搞到底multi-stage：发现不行，还得一步一步来domain：我圈起来一堆样本，就管他叫一个domaintransfer：我非得在这一堆样本上训练，用在另一堆样本上，就是不直接训练，就是玩～adversarial：我加了一部分就是让loss增大robust：很稳我不会让loss变大的（但也不容易变小了）…………（一更） state of the art（sota）：我（吹nb）第一outperform：我虽然没第一，但是我比baseline强baseline：(故意)选出来的方法，让我能够outperformempirically：我做实验了，不知道为啥worktheoretically：我以为我知道为啥work，但没做实验，或者只做了个toy model……………（二更）multi开头词组multi-task：把几个loss加一起，完事multi-domain：把几堆儿样本混一块训练，完事multi-modality：把视频语音文字图像graph点云xxx混一块训练，完事multi-domain multi-modal multi-media model：mua～mua～mua～mua……
https://www.zhihu.com/topic/19560026/top-answers
Transformer是谷歌在17年做机器翻译任务的“Attention is all you need”的论文中提出的，引起了相当大的反响。 每一位从事NLP研发的同仁都应该透彻搞明白Transformer，它的重要性毫无疑问，尤其是你在看完我这篇文章之后，我相信你的紧迫感会更迫切，我就是这么一位善于制造焦虑的能手。不过这里没打算重点介绍它，想要入门Transformer的可以参考以下三篇文章：
一个是Jay Alammar可视化地介绍Transformer的博客文章The Illustrated Transformer ，非常容易理解整个机制，建议先从这篇看起， 这是中文翻译版本；
第二篇是 Calvo的博客：Dissecting BERT Part 1: The Encoder ，尽管说是解析Bert，但是因为Bert的Encoder就是Transformer，所以其实它是在解析Transformer，里面举的例子很好；再然后可以进阶一下，参考哈佛大学NLP研究组写的“The Annotated Transformer. ”，代码原理双管齐下，讲得也很清楚。