search

ssbuild / chatglm2_finetuning

chatglm2 6b finetuning and alpaca finetuning
Apache License 2.0
144 stars 17 forks source link

AssertionError: quantization ptv2 not support #32

Open anerg2046 opened 1 year ago

anerg2046 commented 1 year ago

我只是修改了constant_map.py最后为train_model_config = train_info_models['chatglm2-6b-32k-int4']

'chatglm2-6b-32k-int4': {
    'model_type': 'chatglm2',
    'model_name_or_path': '/data/ChatGLM/pre_model/chatglm2-6b-32k-int4',
    'config_name': '/data/ChatGLM/pre_model/chatglm2-6b-32k-int4/config.json',
    'tokenizer_name': '/data/ChatGLM/pre_model/chatglm2-6b-32k-int4',
},

相关配置是这样的。

最后报错：AssertionError: quantization ptv2 not support

ssbuild commented 1 year ago

您这个应该是使用量化后的权重进行lora训练，建议使用16精度权重，进行lora int4训练