可以用tigerbot-7b-sft进行继续pretrain吗

[calvinzhan]

假如我有某个领域的大量文本，可以拿着tigerbot-7b-sft去进行pretrain吗？这之后会不会丧失对话能力？我之前在chatglm上这么做过，发现没有对话能力了。

像有某个领域大量文本的这种情况，请问有比较有效到构建领域LLM的建议吗？十分感谢！

[chentigerye]

可以，但之后需要用指令数据再进行sft保证对话能力。建议是在base基础上预训练，然后用指令数据sft.