为什么完全的同一个模型在不同的GPU上推理结果有非常明显的差异？

PaddlePaddle / RocketQA

🚀 RocketQA, dense retrieval for information retrieval and question answering, including both Chinese and English state-of-the-art models.

Apache License 2.0

764 stars 130 forks source link

Closed suparek closed 1 year ago

suparek commented 1 year ago

在 A800上训练保存的一个cross encoder模型，在A800上推理和在V100上推理的结果有明显差异，A800上推理出的结果更好一些，这是怎么回事？是在不同的GPU上模型参数精度有什么差异吗？