search

JBoRu / StructGPT

The code and data for "StructGPT: A general framework for Large Language Model to Reason on Structured Data"
Apache License 2.0
95 stars 39 forks source link

请问对于很长的table是不是不支持 #6

Closed coolboyqu closed 11 months ago

coolboyqu commented 11 months ago

我看代码逻辑一开始选出相关的列，然后将无关列都删掉，再将header和所有的rows组合作为第二个prompt的输入，如果table很长，将所有的rows组合完超过prompt的字数上限，这是不是就不适用了，对于长表有没有思路如何解决呢？比如将每个row向量化保存，根据问题先匹配出最可能相关的几个row，作为新表，然后再执行选行选列的步骤。

JBoRu commented 11 months ago

您好，感谢关注！由于我们没有进行任何参数化微调，所以还是会受到LLM长度限制。对于长表，额外使用小模型进行检索是可行的操作方案。