推理出现问题

[Rainlv]

提交前必须检查以下项目

• [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
• [X] 我已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
• [X] 第三方插件问题：例如llama.cpp、LangChain、text-generation-webui等，同时建议到对应的项目中查找解决方案。

问题类型

模型推理

基础模型

Others

操作系统

Linux

详细描述问题

# 请在此处粘贴运行代码（请粘贴在本代码块里）

依赖情况（代码类问题务必提供）

# 请在此处粘贴依赖情况（请粘贴在本代码块里）

运行日志或截图

# 请在此处粘贴运行日志（请粘贴在本代码块里）
```请问alpaca的框架可以直接运行huggingface中的llama_70B的原始权重模型吗，我运行的时候加载模型都没有问题，在推理的时候出现了
<img width="592" alt="1701313930035" src="https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/assets/61002778/c846fcb7-8fb7-42cc-9811-5be3ef1ed10c">

[Rainlv]

RuntimeError: shape '[1, 41, 64, 128]' is invalid for input of size 41984

[zhangjingxian1998]

用的什么模型，执行的什么推理代码，在何处报错，不能什么都没有硬问啊

[Rainlv]

用的chiinese-llama-alpaca2框架，执行的gradio_demo.py

[zhangjingxian1998]

不支持70B