search

binary-husky / gpt_academic

为GPT/GLM等LLM大语言模型提供实用化交互接口，特别优化论文阅读/润色/写作体验，模块化设计，支持自定义快捷按钮&函数插件，支持Python和C++等项目剖析&自译解功能，PDF/LaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。
https://github.com/binary-husky/gpt_academic/wiki/online
GNU General Public License v3.0
63.98k stars 7.91k forks source link

[Bug]: chatpaper网页版academic和本地版academic展现出较明显的问答能力差别 #964

Closed stucash closed 4 months ago

stucash commented 1 year ago

Installation Method | 安装方法与平台

Pip Install (I used latest requirements.txt)

Version | 版本

Latest | 最新版

OS | 操作系统

Linux

Describe the bug | 简述

目前并未能确定是bug, 但碍于没有更细分的类别, 只能先暂时分到bug类了.

昨天和今天尝试了chatPDF, Sharly, chatpaper版本的gpt-academic(以下简称网络GA), 和本地直接安装运行的gpt-academic(以下简称本地GA). 不知道是不是我的本地设置有问题 (其实并未对config做任何改动, 除了添加API key), 但对于同一篇论文的理解能力和问答能力(理解PDF文档内容插件), 网络GA和本地GA表现出了较明显的差别. 本地GA明显弱于网络GA.

我附带了chatPDF和sharly的截图, 目前的感觉是, 这两者不相上下, 更具针对性的细节问题, sharly表现的更加出色一点. 这里只是用这两者来做一个参照物, 并不对他们的表现和GA做出对比. 要做对比的主要是GA的三个版本(网络GA和两个版本的本地GA).

我使用的论文是这篇 (算是无偿分享了哈哈)

realizedKernelsInPractice.Barndorff.2009.pdf

在理解方面, 本地GA很明显没有理解到optimal bandwidth这个关键的论题和作者提出的计算optimal bandwidth的公式, 在使用插件去理解的时候, 本地GA就没有输出这个内容; 网络GA正确的输出了这个内容.

这也就导致了本地GA面对这个论题的问题时比较吃力, 但是网络GA能够表现出和chatPDF还有sharly相仿的问答能力(模糊提问和精准提问都能得到符合理解的答案).

还有一个问题是两个版本都有的, 就是中英文回答会交替出现, 这个我不太理解是为啥.

这里主要对问题概述, 具体问题请看结合复现和截图.

...

其实最主要的, 调用API是真贵啊.....

Screen Shot | 有帮助的截图

图一: chatPDF **chatPDF** 图二: Sharly **Sharly** 图三: chatpaper版本GA **网络GA** 图四: 本地GA(barebone) **本地GA** 图五: 本地GA(with pytorch, correct fonts and updated repo) image 图六:本地GA(barebone)第二部分有关bandwidth的理解 image 图七:本地GA(with pytorch, correct fonts, and updated repo)第二部分有关bandwidth的理解 image

Terminal Traceback & Material to Help Reproduce Bugs | 终端traceback（如有） + 帮助我们复现的测试材料样本（如有）

Reproducible Example

Installation

  1. 我系统有多个python版本, 我使用了3.11.0版本来测试本地GA 
        pyenv global 3.11.0
    pip install --upgrade virtualenv
    virtualenv gpt-academic
  2. 在Terminal执行git clone命令. 
       cd gpt-academic
   source bin/activate
   git clone https://github.com/binary-husky/gpt_academic.git
   cd gpt_academic
  3. 在下载路径下(非gpt-academic根目录)执行安装完整版Texlive, 下载字体, 复制到/usr/local/texlive/.../truetype/下 (图四未复制, 图五复制了).
  4. git pull origin master, 撰写这个issue的时候更新的 (图四是未更新状态, 图五是更新状态) 
    README.md                                                                                                                  | 2 +-
crazy_functions/latex_utils.py                                                                                             | 4 ++--
"crazy_functions/\344\270\213\350\275\275arxiv\350\256\272\346\226\207\347\277\273\350\257\221\346\221\230\350\246\201.py" | 4 ++--
docs/use_audio.md                                                                                                          | 4 +++-
4 files changed, 8 insertions(+), 6 deletions(-)
  5. 虚拟环境下安装依赖库：pip install -r requirements.txt

7.pip安装torch (comes with cuda11, 图四未安装, 图五安装了 :facepalm:)

Configuration

  1. 因为我梯子是在路由上, 所以没有设置proxy,只要能上网就科学了.
  2. 加入我的OPENAI API KEY.
  3. 打开更换模型区, 选择gpt-3.5-turbo-16k模型, 选择底部输入, 选择加入清除按键.

Steps

  1. Terminal中执行 python main.py.
  2. 打开函数插件区, 选择理解PDF文档内容(魔方chatPDF)插件.
  3. 在文件夹中找到前述PDF文件, 拖动到本地GA文件上传区, 等待上传显示成功.
  4. 点击红色理解PDF文档内容按钮, 本地GA开始开始理解论文, 将论文分成5部分, 每部分进行了不大于819个英语单词的阐述; 可以看到本地GA的两个版本都未能理解到optimal bandwidth这个关键议题.
  5. 提问一(精准): what is the method to find optimal bandwidth discussed by the author? 两个本地GA的回答请参见截图, 可以看到两个版本回答相似, 提到了MAMSE方式或者类似的中文描述.
  6. 提问二(模糊): what is the optimal bandwidth recommended by the author? 两个本地GA都认为没有提到optimal bandwidth(explicitly), 这里应该是认为optimal bandwidth是一个值.
  7. 网络版对以上两个问题都给出了比较满意的回答.
binary-husky commented 1 year ago

您好，谢谢反馈

chatpaper网页版academic和本地版academic插件代码是一样的，至于差异产生的原因，等我调查下

stucash commented 1 year ago

好的, 谢谢, 我刚刚丰富了一些installation的细节, 希望越细致越好, 早点找到产生差异的原因.