是否支持自定义rkllm的模型量化？

[MosRat]

如题，请问如果我有一个Smooth Quant的 8bit 量化模型，怎么转化成rkllm格式的模型？

[waydong]

将量化后的模型导出为huggingface格式再进行rkllm转换，注意量化后模型结构要跟原来保持一致。

[MosRat]

那么量化好的Hugging Face模型使用rkllm SDK的时候，还需要设置量化吗？

do_quantization=True, #如何设置？
optimization_level=1,
quantized_dtype='w8a8',
 target_platform='rk3588')
if ret != 0:
 print('Build model failed!')

[waydong]

我理解错了，直接使用8bit的模型转换不了rkllm，你可以用Smooth Quant优化后float模型去转rkllm。