We propose to address this problem using iterated learning, a cognitive science theory of the emergence of compositional languages in nature that has primarily been applied to simple referential games in machine learning.
This poses a substantial challenge for the training of NMNs.
IL explains how language evolves to become more compositional and easier-to-acquire in a repeated transmission process
Our efforts highlight the potential of IL for broader machine learning applications beyond the previously-explored scope of language emergence and preservation (Lu et al., 2020).
内容
本文基于VQA中的系统性泛化问题，探究如何使用迭代式学习来解决神经模块网络的结构自动生成。
信息
1 学习到的新东西：
这篇论文是一篇很硬核的任务，介绍了目前探究神经网络可解释性最前沿的一些东西。 系统性泛化任务：系统性地生成具有特定含义的神经网络（也被称为神经模块网络），从而让模型能够泛化到在训练集未出现的测试集上。但是目前系统性生成泛化任务大都基于很强的先验或者人工设计。相关工作发现如果采用自动生成神经模块网络的方法，会导致性能出现非常大的下降。 语言生成和组合性：来探究多个agents在环境中如何学会互相交流来解决特定任务。比如一个在论文中被称为multi-agent referential games，包含两种agent——speaker和listener，speaker说自己在图像中看到了什么，listener根据它的描述找到其在图像中的具体位置。
2 通过Related Work了解到了哪些知识
迭代式学习在哪些工作中作出了探究，以后想了解的话可以阅读论文中列出的文献。
3 实验验证任务，如果不太熟悉，需要简单描述
实验验证在作者自己提出的一个数验证框架，以及基本的VQA验证方法上进行了性能测试。
4 在你认知范围内，哪些其它任务可以尝试
其他图像和文本结合的任务。
5 好的词语、句子或段落