Closed qingshui3000 closed 7 months ago
其实这个事情难点在于retrieval,这里针对于文言文处理会遇见几个问题:
一个可以做这件事的方案就是使用LLM根据整段句子将文言文翻译为白话文,由白话文建立检索embedding,检索出来后将文言文返回模型,当然这会花费很多token,所以用白话文就是这种方案的平替。
其实这个事情难点在于retrieval,这里针对于文言文处理会遇见几个问题:
一个可以做这件事的方案就是使用LLM根据整段句子将文言文翻译为白话文,由白话文建立检索embedding,检索出来后将文言文返回模型,当然这会花费很多token,所以用白话文就是这种方案的平替。