Closed zyh3826 closed 6 months ago
embedding只支持512 tokens长度文本。 超长文本切片成不超过512的文本块
embedding只支持512 tokens长度文本。 超长文本切片成不超过512的文本块
谢谢解答,我也是想到了这个方案
我看着没啥问题,你再看看
我看着没啥问题,你再看看
我还是没想通,根据代码max_passage_inputs_length = max_length - len(query_inputs['input_ids']) - 1
不应该是len(query_inputs['input_ids'])
越大这个值越小吗,比如query长500,值为11,query长400,值为111,query长300,值为211,那么下一句assert max_passage_inputs_length > 100, "Your query is too long! Please make sure your query less than 400 tokens!"
不应该是小于100吗,query应该是要短一点给后面拼接留空间吧,还是我理解有误
你看看assert和if的区别,感觉对assert和if搞混了
你看看assert和if的区别,感觉对assert和if搞混了 还真是哈哈
rerank的时候注意到是按照batch size进行推理,如果构造的sentence_pairs不能整除batch size呢,代码里好像没看到这个处理, https://github.com/netease-youdao/BCEmbedding/blob/master/BCEmbedding/models/reranker.py#L127
这个无所谓,python的基础,你测试一下就知道了
您好,请问 BCE的Embedding model只支持512的输入长度吗,如果超长文本,比如10k长度咋办