Open qinzhenyi1314 opened 3 months ago
cuda-cudart 11.8.89 0 nvidia cuda-cupti 11.8.87 0 nvidia cuda-libraries 11.8.0 0 nvidia cuda-nvrtc 11.8.89 0 nvidia cuda-nvtx 11.8.86 0 nvidia cuda-runtime 11.8.0 0 nvidia swissarmytransformer 0.4.11 pypi_0 pypi tokenizers 0.19.1 pypi_0 pypi torchaudio 2.3.0 py310_cu118 pytorch torchelastic 0.2.2 pypi_0 pypi torchtriton 2.3.0 py310 pytorch torchvision 0.18.0 py310_cu118 pytorch transformers 4.40.2 pypi_0 pypi xformers 0.0.26.post1+cu118 pypi_0 pypi
No response
将batch size 设置为1连续运行3次，结果都一致 将batch size 设置为2连续运行3次，结果都一致，但是batch size 设置为2 和 batch size 设置为1结果有不同 将batch size继续更改设置，也是会有差异 下边是不同batch size的结果，出现差异的原因，是因为 padding吗？ 但是我看图像最后不是会都变为490*490 文本是同样的文本 按道理所有的数据长度不是一样的吗？
串行调用和并行调用存在差异
出现差异的原因
System Info / 系統信息
packages in environment at /opt/conda:
cuda-cudart 11.8.89 0 nvidia cuda-cupti 11.8.87 0 nvidia cuda-libraries 11.8.0 0 nvidia cuda-nvrtc 11.8.89 0 nvidia cuda-nvtx 11.8.86 0 nvidia cuda-runtime 11.8.0 0 nvidia swissarmytransformer 0.4.11 pypi_0 pypi tokenizers 0.19.1 pypi_0 pypi torchaudio 2.3.0 py310_cu118 pytorch torchelastic 0.2.2 pypi_0 pypi torchtriton 2.3.0 py310 pytorch torchvision 0.18.0 py310_cu118 pytorch transformers 4.40.2 pypi_0 pypi xformers 0.0.26.post1+cu118 pypi_0 pypi
Who can help? / 谁可以帮助到您？
No response
Information / 问题信息
Reproduction / 复现过程
将batch size 设置为1连续运行3次，结果都一致 将batch size 设置为2连续运行3次，结果都一致，但是batch size 设置为2 和 batch size 设置为1结果有不同 将batch size继续更改设置，也是会有差异 下边是不同batch size的结果，出现差异的原因，是因为 padding吗？ 但是我看图像最后不是会都变为490*490 文本是同样的文本 按道理所有的数据长度不是一样的吗？
串行调用和并行调用存在差异
Expected behavior / 期待表现
出现差异的原因