search

sparticleinc / chatgpt-google-summary-extension

Chrome extension to view ChatGPT summaries alongside Google search results and YouTube videos, also supports Yahoo! ニュース、PubMed、PMC、NewsPicks、Github、Nikkei、 Bing、Google Patents, and any page summary.
https://glarity.app
GNU General Public License v3.0
1.7k stars 216 forks source link

指令token超过了限制的问题 #191

Open noangel2014 opened 5 months ago

noangel2014 commented 5 months ago

Describe the bug 抱歉，指令token超过了限制，请尝试将其翻译为英文并保存，或者减少字数。

自定义摘要指令的时候，能不能不要限制这个。虽然这个限制有利于提醒用户不要输入过长提示词，但是现在语言模型支持上下文长度越来越长。限制这个已经没有什么意义了，大多数摘要插件都是不限制这个的。

希望可以考虑取消这个限制，谢谢

givebest commented 5 months ago

不限制的话，自定义prompt + 内容的总tokens可能就会超出导致出错。

可以告诉我们自定义prompt 占了多少tokens 吗？方便我们调整下prompt tokens 限制。

noangel2014 commented 5 months ago

谢谢回复。 我知道token过长会导致报错，可以警告一下。强制限制并不是很妥当。 据我观察，专业一点的提示词大多都超过1000token. 觉得如果过长token输入会导致错误的话，只要有效提醒就可以了。限制固定长度没什么意义，因为谁都不知道到底多长合适。人们只会有一个印象就是，这个插件不支持长的提示词。

anuxs commented 4 months ago

建议prompt tokens 限制做成用户自定义参数，反正超过了提示用户自己修改。

joostshao commented 3 months ago

一看到居然限制context的大小，没有自定义长度的设置，我就放弃了

givebest commented 3 months ago

一看到居然限制context的大小，没有自定义长度的设置，我就放弃了

下周新版支持自定义模型和上下文。

ttyy33 commented 2 months ago

希望可以放开prompt token的限制，在使用gpt 4 用结构化promopt时候，造成了很大的影响。 另外 自定义摘要指令 下的 示例指令 也算token？如果算的话，希望用户也可以自定义修改