Why results are much worse on V100?

[igroboy]

Why results of Saiga 2 are much worse on V100? I tried inference model on V100, and indeed results sucks. What's the reason? And can I somehow fix it?

[Andrew-MK]

• Это правда происходит из-за старой V100 архитектуры, так как LLaMA2 на A100 обучалась - т.е. проблемы могут быть еще и на 2080, T4..., в том числе с gglm версиями с офлодом на GPU и даже при запуске на CPU?
• По приведенной таблице Toloka в целом неясно, лучше ли Saiga2 вышла, чем первая Saiga: saiga7b vs saiga2_7b: 78-8-90 saiga13b vs saiga2_13b: 95-2-79 Т.е. 7b вышла лучше, а 13b хуже прежней Сайги (а что по середине цифра значит)? По моим замерам на своих промптах на не полном RussianSuperGlue Сайга2 всё же меньшие очки набирает, её поэтому пока нет в таблице https://github.com/IlyaGusev/rulm#rsg?

[IlyaGusev]

Answered here: https://huggingface.co/IlyaGusev/saiga2_7b_lora/discussions/1

Проблемы могут быть только при использовании LLM.int8 (load_in_8bits в transformers). Это никак не связано с обучением.

Цифра посередине - ничьи. При сравнении с gpt-3.5 вторая Сайга лучше первой. В лидерборде её нет без особенных причин.