实现中文摘要 推理速度比较慢

[777sfdf]

背景: 测试环境是使用modelscope中提供的实例环境

具体环境和对应的版本信息如下

测试代码

import os
from pylmkit.llms import ChatQianfan
from pylmkit.app import summary, batch_summary
from pylmkit.llms import LocalLLMModel
import datetime

def worker(chunk):
    return model.invoke(f"提取下面内容的摘要：\n\ncontent: {chunk}")

model = LocalLLMModel(
    model_path='/mnt/workspace/.cache/modelscope/Qwen/Qwen-1_8B-Chat',  # 前面保存的模型文件路径
    tokenizer_kwargs={"revision": 'master'},
    model_kwargs={"revision": 'master'},
    language='zh'
)
text = """
各有关单位：
根据《上海市档案科技研究成果管理办法》，我局将组织2024年度上海市档案科技研究成果奖的评选工作。现将有关事项通知如下：
一、申报范围
2024年度档案科技研究成果评奖申报的范围为2023年底前通过验收，经实践证明确实具有社会效益或经济效益，且在上海市档案局办理过成果登记手续的档案科研项目；以往未获奖但在近年来成果推广应用取得显著成效且具有新的应用证明的项目可重新申报。
二、奖项设置
2024年度上海市档案科技研究成果奖设特等奖、一等奖、二等奖、三等奖4个等级的奖项。
三、申报要求
申报单位须填写《上海市档案科技研究成果奖申报书》（一式4份，加盖公章）。其中3份《申报书》分别与该项目的《科技项目验收证书》《科技成果推广应用证明》以及课题研究相关材料（如工作报告、研究报告、技术报告）等纸质申报材料装订成册，一式3套，并附1套电子版光盘。
四、注意事项
1.申报工作截止日期为2024年5月29日。请各有关单位按时向我局科技信息化处报送申报材料，逾期不予受理。
2.申报书中完成人员的排序须按照科技项目验收证书中的排序。成果奖获奖人数实行限额：特等奖不超过11人，一等奖不超过9人，二等奖不超过8人，三等奖不超过7人。
3.《上海市档案科技研究成果奖申报书》可从上海档案信息网公告栏或公共服务栏中下载，网址：http://www.archives.sh.cn。
我局将在上海市档案科技研究成果获奖项目中择优推荐申报国家档案局优秀科技成果奖。
"""
old_time = datetime.datetime.now()
# 单个文本摘要：支持短文本、长文本摘要提取
summary1 = summary(text,
                   worker,
                   max_chunk_size=1000,  # 当大于最大长度时，将采用分段提取摘要，然后在汇总摘要
                   show_progress=True,  # 进度条
                   max_summary_size=500,  # 当汇总后的摘要长度大于最大长度时，将采用分段提取摘要，然后在汇总摘要
                   max_workers=5  # 最大线程数
                   )
print(summary1)
print(datetime.datetime.now() - old_time)

测试结果:

最终输出的中文摘要 速度过慢 从点击开始运行 到最终的输出结果 最快也需要3分钟 这对于实际项目来说肯定是不现实的

期望结果 1.是否是我个人操作有问题 或者是使用姿势没有正确 2.是否是测试环境配置过低 是的话 大致应该增添到什么地步 3.离线使用和在线使用上述代码进行测试同一段文本 最终的输出文本内容 是不一致的 这是否属于正常结果

期待回复 谢谢!!!

[xiaozhi-agent]

这点文本不算长，正常情况不会用3min，主要还是本地model运行慢导致