wenda-LLM / wenda

闻达:一个LLM调用平台。目标为针对特定环境的高效内容生成,同时考虑个人和中小企业的计算资源局限性,以及知识安全和私密性问题
GNU Affero General Public License v3.0
6.23k stars 810 forks source link

666 #10

Closed adili001 closed 1 year ago

adili001 commented 1 year ago

怎么 联系你?

l15y commented 1 year ago

你有什么诉求

adili001 commented 1 year ago

第一个问题: 第一次以下面的这种格式形成了100字左右的知识库, 问:什么是骨化性纤维瘤? 答:非骨化性纤维瘤是由组织成纤维细胞组成的干骺端错构瘤,又称干骺端纤维性缺损、非成骨性纤维瘤、组织细胞纤维瘤、干骺端错构瘤、纤维皮质缺损。把病灶小、无临床症状、病变局限于骨膜下或皮质内的称之为干骺端纤维性缺损或纤维皮质缺损,而把病灶较大,病变可扩展侵入髓腔而且常合并病理性骨折的称之为非骨化性纤维瘤或非成骨性纤维瘤,所以非骨化性纤维瘤和纤维皮质缺损是属非骨化性纤维瘤的两个病种或同一疾病中的两个不同表现。 但是打开chatPDF功能提问:什么是骨化性纤维瘤时,数据时加载了,但是提示未找到相关答案。

第二个问题: 第二次形成了800字左右的知识库,问相关的问题时,页面提示:发生错误,正在重新加载模型 后台显示错误 CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 6.00 GiB total capacity; 5.05 GiB already allocated; 0 bytes free; 5.30 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 6.00 GiB total capacity; 5.05 GiB already allocated; 0 bytes free; 5.30 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

是我的显存不够吗?我的显卡是GTX1660 而且数据也只是800字的数据

l15y commented 1 year ago

6个g的显存,确实少了点。可以把每次条目数减少,这个我明天做到参数里 目前的组织形式还不够智能,建议每个知识点保存为独立文件

l15y commented 1 year ago

明天我把rwkv的知识库做出来,这个不会爆显存

adili001 commented 1 year ago

好的,感谢

adili001 commented 1 year ago

作者这个项目非常好,感谢

adili001 commented 1 year ago

希望能够与你取得联系,能够第一时间获取项目的动态,然后尽我所能的帮到你。。