使用GPT4的32K的能力, 输入长文, 让他总结翻译

[huan9huan]

启发

宝玉xp的一个tweet: https://twitter.com/dotey/status/1657161449528074242

现在ChatGPT的GPT-4应该是32K版本的了，会话长度可以很长了。之前我在学习Google那篇《Enabling conversational interaction on mobile with LLMs》的时候，一开始没看太明白了，于是我把完整内容都喂给了ChatGPT（GPT-4），然后让它帮我总结、翻译，才算搞明白了，比ChatPDF这种向量搜索效果强多了。

当然受限于输入长度限制，还是需要一点技巧才能完整输入内容，我是这么做的，第一条消息带上prompt，告诉它我要分多条发送，直到收到“<|endoftext|>”才算结束。

参考Prompt：
--------------
我将向您发送几条消息，如果文本中没有包含“<|endoftext|>”你只需要回复OK，如果收到后，则将前面的消息合并一起生成一份详尽的中文摘要。以下是内容第一部分：
<第一部分>
...
<最后一部分>
<|endoftext|>
--------------

这样完整输入后，我就可以对内容进行任意对话了，例如：“请详细总结一下 Task 4: Mapping instruction to UI action”、“请全文翻译”

<|endoftext|>属于prompt专用字符