search

ai-forever / MERA

MERA (Multimodal Evaluation for Russian-language Architectures) is a new open benchmark for the Russian language for evaluating fundamental models.
MIT License
49 stars 8 forks source link

Скоринг GGUF моделей #16

Closed konductor000 closed 3 months ago

konductor000 commented 3 months ago

Доброго времени суток.

Существуют ли примеры запуска скоринга с квантизованными моделями GGUF формата? Где запускать скоринг моделей, которые не являются transformers.PreTrainedModel или не лежат на hugging face? Например кастомная модель, сохранённая на диске.

Спасибо.

LSinev commented 3 months ago

Существуют ли примеры запуска скоринга с квантизованными моделями GGUF формата?

С нашей стороны нет. Поскольку код основан на EleutherAI/lm-evaluation-harness v0.3.0 можете поискать примеры в той версии кода. Мы готовим переход на новую версию lm-evaluation-harness, где точно заявлена поддержка gguf, но дата не гарантирована, следите за объявлениями https://github.com/ai-forever/MERA/issues/15

скоринг моделей, которые не являются transformers.PreTrainedModel или не лежат на hugging face

Для запуска иных моделей надежней сейчас сделать пуллреквест в EleutherAI/lm-evaluation-harness и добавить поддержку недостающего формата или api, тогда с переходом на новую кодовую базу больше шансов увидеть его поддержку в MERA.