[Question]: 模型加载速度慢

[ningpengtao-coder]

Description

模型加载太慢了，花费4分钟去加载模型。

Alternatives

[2023-07-05 14:14:27,615] [INFO] [logger.py:85:log_dist] [Rank -1] Unsupported bmtrain **** lm aquila-7b ***use cache True model checkpoint_path=./checkpoints_in/aquila-7b/pytorch_model.bin are loaded successfully... 加载花费时间:257s

text is 汽车EDR是什么 pred is ？它有什么作用？ 2022-02-17 16:25 来源:知乎

汽车驾驶辅助技术（Driver assistance Technology,缩写为ADAS）作为汽车行业的技术发展方向之一，在最近几年得到了飞速的发展。 目前ADAS已经可以实现对汽车的主要安全功能进行自动监控和报警，例如自动紧急制动、车道保持、自适应巡航、并线辅助以及泊车辅助等。 其中AEB防碰撞系统是目前ADAS技术中最成熟、应用最广泛的驾驶辅助功能，它能够通过监测前方车辆的动态状况，识别车辆间的安全隐患，通过自动控制车辆的制动系统，从而避免事故或者降低事故的严重性。 AEB的功能可以简单归纳为两点： ● 避免碰撞，也就是通过识别车辆间的危险状态，从而控制车辆的制动系统，避免碰撞的发生； ● 减轻碰撞，也就是在车辆发生碰撞之后，AEB的功能可以自动打开车辆的车窗、天窗，打开车辆的后备箱等等，以减轻碰撞对于驾乘

[BAAI-OpenPlatform]

因为autoloader默认是cpu加载，我改了一下base模型的推理文件，现在会设置用显卡加载了，可以pull一下再试试

[BAAI-OpenPlatform]

如果后续还有问题，可以重新打开这个issue

[hszlpy]

请问要怎么修改呢