Closed Felix0805 closed 1 year ago
想咨询一下大佬,chatgpt是有输入长度的限制的,在处理b站长视频的时候,比如字幕可能有上万字,是怎么输入chatgpt的呢
@Felix0805 你可以看这里https://github.com/lxfater/BilibiliSummary/blob/8318cc5516d1da87da023988f4b9dc4b9744d72e/src/prompt.ts#L62
将传入的字幕数据限制在指定的字节大小范围内,如果字幕数据超过了指定字节大小限制,则使用随机筛选的方式将字幕数据进行过滤,保留其中一部分内容,使字幕数据大小不超过指定的字节大小限制。
@lewwang 不错!!
@lewwang 这样不是丢失信息了吗
@lewwang 这样不是丢失信息了吗
@rhzone 确实,这个是实现方式的一种,还有其他方案,例如先把字幕切成N分,每份单独summarize,然后再合起来,但是这种对token的消耗就比较多了。所以都是成本和精度之间的权衡吧
想咨询一下大佬,chatgpt是有输入长度的限制的,在处理b站长视频的时候,比如字幕可能有上万字,是怎么输入chatgpt的呢