search

open-compass / MixtralKit

A toolkit for inference and evaluation of 'mixtral-8x7b-32kseqlen' from Mistral AI
Apache License 2.0
765 stars 80 forks source link

Mistral 8x7B 32k 是一个预训练模型还是SFT模型？ #14

Closed Ezra-Yu closed 10 months ago

Ezra-Yu commented 10 months ago

从 https://klu.ai/glossary/mistral-8x7b 上的信息来看。Mistral 8x7B 32k 是一个sft模型。但目前的评测方式是有些数据集使用的预训练的评测方式。

image

我有一些困惑： Mistral 8x7B 32k 是一个预训练模型还是SFT模型？ 网站 上的信息是否正确？ 你们有这个模型的其他信息吗？

tonysy commented 10 months ago

Base: https://huggingface.co/mistralai/Mixtral-8x7B-v0.1 Chat: https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1

Ezra-Yu commented 10 months ago

Get that, Thanks. 👍