关于内部实现的一些问题

[Felix0805]

想咨询一下大佬，chatgpt是有输入长度的限制的，在处理b站长视频的时候，比如字幕可能有上万字，是怎么输入chatgpt的呢

[lewwang]

想咨询一下大佬，chatgpt是有输入长度的限制的，在处理b站长视频的时候，比如字幕可能有上万字，是怎么输入chatgpt的呢

@Felix0805 你可以看这里https://github.com/lxfater/BilibiliSummary/blob/8318cc5516d1da87da023988f4b9dc4b9744d72e/src/prompt.ts#L62

将传入的字幕数据限制在指定的字节大小范围内，如果字幕数据超过了指定字节大小限制，则使用随机筛选的方式将字幕数据进行过滤，保留其中一部分内容，使字幕数据大小不超过指定的字节大小限制。

[lxfater]

@lewwang 不错！！

[rhzone]

@lewwang 这样不是丢失信息了吗

[lewwang]

@lewwang 这样不是丢失信息了吗

@rhzone 确实，这个是实现方式的一种，还有其他方案，例如先把字幕切成N分，每份单独summarize，然后再合起来，但是这种对token的消耗就比较多了。所以都是成本和精度之间的权衡吧