Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 425 forks source link

运行generate脚本之后,在页面提问,很久没有产生回答,后台无报错 #247

Open mmmminyuhan opened 1 year ago

mmmminyuhan commented 1 year ago

如果你遇到问题需要我们帮助,你可以从以下角度描述你的信息,以便于我们可以理解或者复现你的错误(学会如何提问不仅是能帮助我们理解你,也是一个自查的过程): 1、你使用了哪个脚本、使用的什么命令 CUDA_VISIBLE_DEVICES=0,1,6,7 python generate.py 2、你的参数是什么(脚本参数、命令参数) parser.add_argument("--model_path", type=str, default="llama13b") parser.add_argument("--lora_path", type=str, default="Chinese-Vicuna-lora-13b-belle-and-guanaco") parser.add_argument("--use_typewriter", type=int, default=1) parser.add_argument("--use_local", type=int, default=1) 3、你是否修改过我们的代码 没有 4、你用的哪个数据集 用的提供的LoRA

然后你可以从环境的角度描述你的问题,这些问题我们在readme已经相关的问题及解决可能会有描述: 1、哪个操作系统 Ubuntu 2、使用的什么显卡、多少张 8张 3、python的版本 3.8 4、python各种库的版本 Package Version


absl-py 1.4.0 accelerate 0.20.0.dev0 aiofiles 23.1.0 aiohttp 3.8.5 aiosignal 1.3.1 altair 5.0.1 annotated-types 0.5.0 anyio 3.7.1 appdirs 1.4.4 async-timeout 4.0.2 attrs 23.1.0 bitsandbytes 0.39.0 cachetools 5.3.1 certifi 2023.7.22 charset-normalizer 3.2.0 click 8.1.6 cmake 3.27.0 contourpy 1.1.0 cycler 0.11.0 datasets 2.8.0 dill 0.3.6 docker-pycreds 0.4.0 einops 0.6.1 evaluate 0.4.0 exceptiongroup 1.1.2 fairscale 0.4.13 fastapi 0.100.0 ffmpy 0.3.1 filelock 3.12.2 fonttools 4.41.1 frozenlist 1.4.0 fsspec 2023.6.0 gitdb 4.0.10 GitPython 3.1.32 google-auth 2.22.0 google-auth-oauthlib 0.4.6 gradio 3.20.0 grpcio 1.56.2 h11 0.14.0 hjson 3.1.0 httpcore 0.17.3 httpx 0.24.1 huggingface-hub 0.16.4 idna 3.4 importlib-metadata 6.8.0 importlib-resources 6.0.0 Jinja2 3.1.2 jsonschema 4.18.4 jsonschema-specifications 2023.7.1 kiwisolver 1.4.4 linkify-it-py 2.0.2 lit 16.0.6 loralib 0.1.1 Markdown 3.4.3 markdown-it-py 2.2.0 MarkupSafe 2.1.3 matplotlib 3.7.2 mdit-py-plugins 0.3.3 mdurl 0.1.2 msgpack 1.0.5 multidict 6.0.4 multiprocess 0.70.14 networkx 3.1 ninja 1.11.1 numpy 1.24.4 nvidia-cublas-cu11 11.10.3.66 nvidia-cuda-nvrtc-cu11 11.7.99 nvidia-cuda-runtime-cu11 11.7.99 nvidia-cudnn-cu11 8.5.0.96 nvidia-ml-py 11.525.131 nvitop 1.0.0 oauthlib 3.2.2 orjson 3.9.2 packaging 23.1 pandas 2.0.3 pathtools 0.1.2 peft 0.4.0.dev0 Pillow 10.0.0 pip 23.1.2 pkgutil_resolve_name 1.3.10 protobuf 4.23.4 psutil 5.9.5 py-cpuinfo 9.0.0 pyarrow 12.0.1 pyasn1 0.5.0 pyasn1-modules 0.3.0 pycryptodome 3.18.0 pydantic 2.0.3 pydantic_core 2.3.0 pydub 0.25.1 Pygments 2.15.1 pyparsing 3.0.9 python-dateutil 2.8.2 python-multipart 0.0.6 pytz 2023.3 PyYAML 6.0.1 ray 2.6.1 referencing 0.30.0 regex 2023.6.3 requests 2.31.0 requests-oauthlib 1.3.1 responses 0.18.0 rich 13.4.2 rpds-py 0.9.2 rsa 4.9 safetensors 0.3.1 scipy 1.10.1 sentencepiece 0.1.96 sentry-sdk 1.28.1 setproctitle 1.3.2 setuptools 67.8.0 six 1.16.0 smmap 5.0.0 sniffio 1.3.0 starlette 0.27.0 tabulate 0.9.0 tensorboard 2.12.0 tensorboard-data-server 0.7.1 tensorboard-plugin-wit 1.8.1 termcolor 2.3.0 texttable 1.6.7 tokenizers 0.13.2 toolz 0.12.0 torch 1.13.1 torchtyping 0.1.4 torchvision 0.14.1 tqdm 4.65.0 transformers 4.28.0 triton 2.0.0 trlx 0.3.0 typeguard 4.0.0 typing_extensions 4.7.1 tzdata 2023.3 uc-micro-py 1.0.2 urllib3 1.26.16 uvicorn 0.23.1 wandb 0.13.10 websockets 11.0.3 Werkzeug 2.3.6 wheel 0.38.4 xxhash 3.2.0 yarl 1.9.2 zipp 3.16.2

然后你也可以从运行的角度来描述你的问题: 1、报错信息是什么,是哪个代码的报错(可以将完整的报错信息都发给我们) 运行generate脚本之后,在页面提问,很久没有产生回答,后台无报错。 2、GPU、CPU是否工作正常 正常

image

mmmminyuhan commented 1 year ago

F12看到predict接口报错,状态码422,返回信息是 { "detail": [ { "type": "missing", "loc": [ "body", "event_id" ], "msg": "Field required", "input": { "fn_index": 1, "data": [], "session_hash": "66buzydw0bs" }, "url": "https://errors.pydantic.dev/2.0.3/v/missing" } ] }

大佬可以帮忙解答一下嘛,才接触不是很熟悉,谢谢QAQ

96005900 commented 8 months ago

我也遇到了相同的问题,请问解决了吗