hlp-ai / mt-data

MT Data
Apache License 2.0
1 stars 2 forks source link

重做built_vec_index方法,分批处理大文件句子集 #15

Closed CyberRambler closed 1 year ago

CyberRambler commented 1 year ago

把分行读取文件、句子嵌入、建立索引功能全集成到built_vec_index方法内。 另外由于annoy不支持对于load的索引进行添加操作,此方法保存索引文件是一步生成的。