Open cauwulixuan opened 7 months ago
在开发huggingface没有考虑到这种推理情况,可以通过yuan_hf_model.py 中更改以下代码段解决,之后我们会考虑该情况更新对应的代码
if self.training or self.reset_position_ids and attention_mask is not None:
attention_mask, _ = self._prepare_decoder_attention_mask_training(input_ids1, inputs_embeds, self.eod_token, reset_mask_flag, self.reset_attention_mask, self.reset_position_ids)
这种推理情况似乎还挺常见的,我本地修改了这个文件,确实可以了,谢谢您。
这种情况仅限于我已经下载了huggingface的模型。如果直接from_pretrained("IEITYuan/Yuan2-2B-hf"),就没法手工修改了吧?后续官方会统一更新吗?
@ljg-ieisystem
我在用以下代码进行流式推理的时候,参考fastchat-inference.py 的这一部分stream_generate
use_flash_attention=True
的时候,是可以正常推理的;use_flash_attention=False
的时候,报错了,报错信息如下:是否是和
yuan_hf_model.py
脚本里相关模块的处理有关?我上述使用推理脚本还是比较常见的,所以如果可以的话,是否可以修复这个问题?