Test results

[iakRulan]

作者你好，我在训练两次得到不同的权重，但是测试结果是完全一样的，请问可能是什么原因造成的？

[zkh123456789]

兄弟 我跑的时候一直报错 AttributeError: DeepSpeedCPUAdam' object has no attribute 'ds opt adam 请问你遇到过这个问题没

[iakRulan]

兄弟 我跑的时候一直报错 AttributeError: DeepSpeedCPUAdam' object has no attribute 'ds opt adam 请问你遇到过这个问题没

我对这个DeepSpeed有印象，但是记得是不是一样的，是我在进行单卡训练的时候遇到的，后面直接换双卡训练就不报错了

[zkh123456789]

兄弟 我跑的时候一直报错 AttributeError: DeepSpeedCPUAdam' object has no attribute 'ds opt adam 请问你遇到过这个问题没

我对这个DeepSpeed有印象，但是记得是不是一样的，是我在进行单卡训练的时候遇到的，后面直接换双卡训练就不报错了

我是双卡直接训练的 但是还是一直抱这个错 兄弟可不可以把你的环境 发我一下

[iakRulan]

兄弟 我跑的时候一直报错 AttributeError: DeepSpeedCPUAdam' object has no attribute 'ds opt adam 请问你遇到过这个问题没

我对这个DeepSpeed有印象，但是记得是不是一样的，是我在进行单卡训练的时候遇到的，后面直接换双卡训练就不报错了

我是双卡直接训练的 但是还是一直抱这个错 兄弟可不可以把你的环境 发我一下

Package Version

---

accelerate 0.24.0 aiofiles 23.2.1 aiohttp 3.8.6 aiosignal 1.3.1 altair 5.1.2 anyio 3.7.1 appdirs 1.4.4 asttokens 2.4.0 async-timeout 4.0.3 attrs 23.1.0 av 10.0.0 backcall 0.2.0 certifi 2023.7.22 charset-normalizer 3.3.1 click 8.1.7 contourpy 1.1.1 cycler 0.12.1 decorator 5.1.1 deepspeed 0.9.3 docker-pycreds 0.4.0 easydict 1.10 einops 0.6.1 exceptiongroup 1.1.3 executing 2.0.0 fastapi 0.104.0 ffmpy 0.3.1 filelock 3.12.4 fonttools 4.43.1 frozenlist 1.4.0 fschat 0.1.10 fsspec 2023.10.0 ftfy 6.1.1 fvcore 0.1.5.post20221221 gitdb 4.0.11 GitPython 3.1.40 gradio 3.23.0 gradio_client 0.5.0 h11 0.14.0 h5py 3.9.0 hjson 3.1.0 httpcore 0.18.0 httpx 0.25.0 huggingface-hub 0.17.3 idna 3.4 imageio 2.31.6 importlib-metadata 6.8.0 importlib-resources 6.1.0 iopath 0.1.10 ipdb 0.13.13 ipython 8.16.1 jedi 0.19.1 Jinja2 3.1.2 joblib 1.3.2 jsonschema 4.19.1 jsonschema-specifications 2023.7.1 kiwisolver 1.4.5 kornia 0.7.0 latex2mathml 3.76.0 lazy_loader 0.3 linkify-it-py 2.0.2 Markdown 3.5 markdown-it-py 2.2.0 markdown2 2.4.10 MarkupSafe 2.1.3 matplotlib 3.7.2 matplotlib-inline 0.1.6 mdit-py-plugins 0.3.3 mdtex2html 1.2.0 mdurl 0.1.2 mpi4py 3.1.4 multidict 6.0.4 networkx 3.2 ninja 1.11.1.1 numpy 1.24.3 open3d-python 0.3.0.0 opencv-python 4.8.0.74 orjson 3.9.9 packaging 23.2 pandas 2.1.1 parameterized 0.9.0 parso 0.8.3 pathtools 0.1.2 peft 0.3.0 pexpect 4.8.0 pickleshare 0.7.5 Pillow 10.0.0 pip 23.3 portalocker 2.8.2 prompt-toolkit 3.0.39 protobuf 4.24.4 psutil 5.9.6 ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0 pydantic 1.10.13 pydub 0.25.1 Pygments 2.16.1 pyparsing 3.0.9 python-dateutil 2.8.2 python-multipart 0.0.6 pytorchvideo 0.1.5 pytz 2023.3.post1 PyYAML 6.0.1 referencing 0.30.2 regex 2022.10.31 requests 2.31.0 rich 13.6.0 rpds-py 0.10.6 safetensors 0.4.0 scikit-image 0.22.0 scikit-learn 1.3.0 scipy 1.11.3 semantic-version 2.10.0 sentencepiece 0.1.99 sentry-sdk 1.32.0 setproctitle 1.3.3 setuptools 68.0.0 six 1.16.0 smmap 5.0.1 sniffio 1.3.0 stack-data 0.6.3 starlette 0.27.0 svgwrite 1.4.3 tabulate 0.9.0 termcolor 2.3.0 threadpoolctl 3.2.0 tifffile 2023.9.26 timm 0.6.7 tokenizers 0.14.1 tomli 2.0.1 toolz 0.12.0 torch 1.13.1+cu117 torchaudio 0.13.1+cu117 torchvision 0.14.1+cu117 tqdm 4.64.1 traitlets 5.11.2 transformers 4.35.0.dev0 typing_extensions 4.8.0 tzdata 2023.3 uc-micro-py 1.0.2 urllib3 2.0.7 uvicorn 0.23.2 wandb 0.15.12 wavedrom 2.0.3.post3 wcwidth 0.2.8 websockets 11.0.3 wheel 0.41.2 yacs 0.1.8 yarl 1.9.2 zipp 3.17.0

[zkh123456789]

兄弟 我跑的时候一直报错 AttributeError: DeepSpeedCPUAdam' object has no attribute 'ds opt adam 请问你遇到过这个问题没

我对这个DeepSpeed有印象，但是记得是不是一样的，是我在进行单卡训练的时候遇到的，后面直接换双卡训练就不报错了

我是双卡直接训练的 但是还是一直抱这个错 兄弟可不可以把你的环境 发我一下

Package Version

accelerate 0.24.0 aiofiles 23.2.1 aiohttp 3.8.6 aiosignal 1.3.1 altair 5.1.2 anyio 3.7.1 appdirs 1.4.4 asttokens 2.4.0 async-timeout 4.0.3 attrs 23.1.0 av 10.0.0 backcall 0.2.0 certifi 2023.7.22 charset-normalizer 3.3.1 click 8.1.7 contourpy 1.1.1 cycler 0.12.1 decorator 5.1.1 deepspeed 0.9.3 docker-pycreds 0.4.0 easydict 1.10 einops 0.6.1 exceptiongroup 1.1.3 executing 2.0.0 fastapi 0.104.0 ffmpy 0.3.1 filelock 3.12.4 fonttools 4.43.1 frozenlist 1.4.0 fschat 0.1.10 fsspec 2023.10.0 ftfy 6.1.1 fvcore 0.1.5.post20221221 gitdb 4.0.11 GitPython 3.1.40 gradio 3.23.0 gradio_client 0.5.0 h11 0.14.0 h5py 3.9.0 hjson 3.1.0 httpcore 0.18.0 httpx 0.25.0 huggingface-hub 0.17.3 idna 3.4 imageio 2.31.6 importlib-metadata 6.8.0 importlib-resources 6.1.0 iopath 0.1.10 ipdb 0.13.13 ipython 8.16.1 jedi 0.19.1 Jinja2 3.1.2 joblib 1.3.2 jsonschema 4.19.1 jsonschema-specifications 2023.7.1 kiwisolver 1.4.5 kornia 0.7.0 latex2mathml 3.76.0 lazy_loader 0.3 linkify-it-py 2.0.2 Markdown 3.5 markdown-it-py 2.2.0 markdown2 2.4.10 MarkupSafe 2.1.3 matplotlib 3.7.2 matplotlib-inline 0.1.6 mdit-py-plugins 0.3.3 mdtex2html 1.2.0 mdurl 0.1.2 mpi4py 3.1.4 multidict 6.0.4 networkx 3.2 ninja 1.11.1.1 numpy 1.24.3 open3d-python 0.3.0.0 opencv-python 4.8.0.74 orjson 3.9.9 packaging 23.2 pandas 2.1.1 parameterized 0.9.0 parso 0.8.3 pathtools 0.1.2 peft 0.3.0 pexpect 4.8.0 pickleshare 0.7.5 Pillow 10.0.0 pip 23.3 portalocker 2.8.2 prompt-toolkit 3.0.39 protobuf 4.24.4 psutil 5.9.6 ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0 pydantic 1.10.13 pydub 0.25.1 Pygments 2.16.1 pyparsing 3.0.9 python-dateutil 2.8.2 python-multipart 0.0.6 pytorchvideo 0.1.5 pytz 2023.3.post1 PyYAML 6.0.1 referencing 0.30.2 regex 2022.10.31 requests 2.31.0 rich 13.6.0 rpds-py 0.10.6 safetensors 0.4.0 scikit-image 0.22.0 scikit-learn 1.3.0 scipy 1.11.3 semantic-version 2.10.0 sentencepiece 0.1.99 sentry-sdk 1.32.0 setproctitle 1.3.3 setuptools 68.0.0 six 1.16.0 smmap 5.0.1 sniffio 1.3.0 stack-data 0.6.3 starlette 0.27.0 svgwrite 1.4.3 tabulate 0.9.0 termcolor 2.3.0 threadpoolctl 3.2.0 tifffile 2023.9.26 timm 0.6.7 tokenizers 0.14.1 tomli 2.0.1 toolz 0.12.0 torch 1.13.1+cu117 torchaudio 0.13.1+cu117 torchvision 0.14.1+cu117 tqdm 4.64.1 traitlets 5.11.2 transformers 4.35.0.dev0 typing_extensions 4.8.0 tzdata 2023.3 uc-micro-py 1.0.2 urllib3 2.0.7 uvicorn 0.23.2 wandb 0.15.12 wavedrom 2.0.3.post3 wcwidth 0.2.8 websockets 11.0.3 wheel 0.41.2 yacs 0.1.8 yarl 1.9.2 zipp 3.17.0

感谢感谢！

[wangwang324]

你好，我想问一下python是下的哪个版本？

[iakRulan]

你好，我想问一下python是下的哪个版本？

3.8

[wangwang324]

你好，我想问一下python是下的哪个版本？

3.8

谢谢！

[Wangjinhong1998]

您已经复现出来了吗？请问我在尝试训练时候，遇到这个错误“Unable to find hostfile, will proceed with training with local resources only”，这个是什么意思呢

[iakRulan]

您已经复现出来了吗？请问我在尝试训练时候，遇到这个错误“Unable to find hostfile, will proceed with training with local resources only”，这个是什么意思呢

不好意思，我没有遇到这个问题，你是双卡训练吗，我按照作者写的来是没有问题的

[Wangjinhong1998]

您已经复现出来了吗？请问我在尝试训练时候，遇到这个错误“Unable to find hostfile, will proceed with training with local resources only”，这个是什么意思呢

不好意思，我没有遇到这个问题，你是双卡训练吗，我按照作者写的来是没有问题的

好吧，我就是放服务器上，全准备好后，按作者的步骤来的。这个好像是分布式训练方面的东西，现在卡住了不知道怎么弄，，，

[tenderzada]

您已经复现出来了吗？请问我在尝试训练时候，遇到这个错误“Unable to find hostfile, will proceed with training with local resources only”，这个是什么意思呢

不好意思，我没有遇到这个问题，你是双卡训练吗，我按照作者写的来是没有问题的

作者你好，我在训练两次得到不同的权重，但是测试结果是完全一样的，请问可能是什么原因造成的？

您好，可以给我转发一下Vicuna的权重吗。

[Fritzyuan]

遇到了相同的问题，不同的权重，相同的数据集吗，few shot的ROC分数的结果是完全相同的。请问你解决了吗？

[hxx-who]

decoder的权重是固定的吗？除了这个解释，好像没别的原因了。难道decoder和prompt learner是分开训的吗？代码里能体现出来这一点吗？

[IESSTTJP]

作者你好，我在训练两次得到不同的权重，但是测试结果是完全一样的，请问可能是什么原因造成的？

你好我也遇到这个问题了，请问你解决了吗

[gaobb]

hi, @iakRulan 遇到同样的问题，您后来有找到解决办法或复现论文结果吗？

作者你好，我在训练两次得到不同的权重，但是测试结果是完全一样的，请问可能是什么原因造成的？