ixxmu
commented
6 months ago 实战Elicit, 让你惊艳的AI学术研究工作神器(三） by 门童靖博士
Systematic Literature Review绝对是每个学术研究工作者的必经之路，顺利完成一篇SLR才能代表你真正了解该领域，成为该领域的专家，并且知道在该领域有哪些Gap值得后来者继续研究。
接上一篇《实战Elicit, 让你惊艳的AI学术研究工作神器(二）》，继续实践并探讨Elicit对于研究工作的实际效用。
由于已经进入到单篇文章的分析，我直接以一篇近期的文献作为例子，主要内容是关于机器学习模型可解释性的Experimental Paper，看看Elicit能够为我们做哪些工作。
直接将文献导入至Elicit:
导入后，系统直接提取了相关信息如下：
一. Elicit默认提供的主要信息
主要包含了摘要总结、如何做实验、测量指标、更具体的总结、主要发现和该文献论证是否充分。
具体我们可以看到，这几块的内容基本都是从Abstract中，通过文章当中的内容提取出来的。
从结果上来看，主要的内容还是覆盖到了。但是，仅仅从Abstract的内容来看，对于本领域的同学来说，想要获取这些信息还是非常轻松的。
所以，这个功能所提供的信息，可以作为参考即可。
二. Elicit提取的批判信息
如下信息似乎和主题不是太相关，肯定不是关于该文献的批判，因为该文献的引用次数暂时还为0。
由于上述内容似乎不知所谓，我另外上传一份相对高引用量的Survey文献，试图让Elicit进行分析。
有些遗憾的是，对于批判部分，仍然没有多少笔墨。
实际上对于论文的批判部分用处非常大，很多观点对于自己写文章时可以提供切入点，有些观点甚至可以直接拿来进行展开研究。
所以对于这部分来说，想偷懒的同学可能会有所失望。
三. 为更深入了解文章，与Elicit进行一些问答
下面就该文章提出一些常规的问题，从以下几个问题的回复来看，Elicit也比较偷懒，基本都是从文章Abstract的内容里提取的，答案很简洁，当然大意基本没问题。
1. 比如，该文章的创新点在哪？
2. 该文章提供了哪些研究方向？
3. 对于机器学习模型的可解释性，具体是怎么论证的呢？
我们进一步询问一些具体的问题，遗憾的是，回答要么没有，要么非常含糊。
1. 比如，论证模型的可解释性的具体方法和步骤是什么？
它直接回复了一个SHAP的方法。
2. 我继续询问，论证模型的详细步骤是什么？
它无法回答。
实际上，通过人工阅读的方式，可以很快在文章中定位到模型的可解释性的位置如下～
3. 我继续询问，实验方法的步骤是什么？
它仍旧无法回答。
实际上，通过人工阅读的方式，可以很快在文章中定位到答案的位置如下，阅读一下内容，非常清晰～
综上的一些实战，分享几点经验如下：
1. Elicit适合通过领域当中含糊的问题进行头脑风暴，从而找到相对精准的研究问题；
2. Elicit适合对于研究问题中批量文献的统一梳理，比如快速地获得100篇高相关度文献的核心字段信息，非常适合做SLR中的Data Extraction；
3. 对于已经可以确定要深入阅读的文献，Elicit不太适合对单个文献继续深挖，人工的方式显然要比AI的方式效率更高，理解更透彻，这个时候，工具似乎成为了累赘。
当然，Elicit官网当中也说明了自己的一些不足，大家可以自行参考。
https://elicit.org/faq#what-are-the-limitations-of-elicit
HAVE FUN!
https://mp.weixin.qq.com/s/dmz1jJLs-PqgFYNQCr_5mw