modelscope / data-juicer

A one-stop data processing system to make data higher-quality, juicier, and more digestible for (multimodal) LLMs! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷为大模型提供更高质量、更丰富、更易”消化“的数据!
Apache License 2.0
2.9k stars 175 forks source link

如何获取tool_quality_classifier模块中[chinese,code,gtp3]这3个模型的权重? #467

Open yaun248 opened 1 week ago

yaun248 commented 1 week ago

Before Asking 在提问之前

Search before asking 先搜索,再提问

Question

在使用tool_quality_classifier工具过程中如何获取到分类器模型的权重?我在/root/.cache/data_juicer/models/gpt3_quality_model这个路径下找了下存储大小只有4M,这应该不是一个模型的权重。

Additional 额外信息

No response

HYLcool commented 1 week ago

嗨 @yaun248 ,感谢你的关注与使用~

这三个模型均为spark的逻辑斯蒂回归分类器,你找到的那个路径中保存的就是模型的权重