issues
search
JayYip
/
m3tl
BERT for Multitask Learning
https://jayyip.github.io/m3tl/
Apache License 2.0
545
stars
125
forks
source link
讨论:大佬,这个框架怎么适配未训练大模型推理
#120
Open
EdwardChan5000
opened
11 months ago
EdwardChan5000
commented
11 months ago
推理中 predict_bert_multitask 依赖训练出模型的 params.json 参数?
有没有可能对,huggingface 中 llama2 不训练的模型,直接适配 predict_bert_multitask? (有一个api直接加载 pretrained_model, 生成 params.json ? )
现在支持 decoder-only 的模式吗?(encoder-decoder倒是看到有例子)
JayYip
commented
10 months ago
是的, 不过你可以尝试直接初始化一个params, 然后调用
to_json
方法来构造一个params.json
参考1, 对于encoder模型有可能可以
没有, 世界变化太快, 来不及更新了