-
MNNConvert 版本:2.9.3
使用[ResNet34_LM](https://huggingface.co/Wespeaker/wespeaker-cnceleb-resnet34-LM/tree/main)后通过命令:
`python wespeaker/bin/export_onnx.py --config model/config.yaml --checkpoint model…
-
做了以下步骤:
1、克隆了最新代码
2、apk编译成功
3、git clone https://www.modelscope.cn/zhaode/Qwen-1_8B-Chat-MNN.git 把模型复制下来了
4、adb push ./Qwen-1_8B-Chat-MNN /data/local/tmp/mnn-llm/
5、然后运行选择这个文件夹闪退了,点加载以后闪退了
![ima…
-
感觉CPU环境下的部署还是用ONNX或者MNN比较好,
在Roadmap中没有看到相应的计划,
未来是否可以呢?
-
root@dsw-415928-84f5cf9545-jzswp:/mnt/workspace/hj# llmexport --path ./qwen2_1.5b_sft_with_wsg2 --export mnn --dst_path ./model/model --quant_bit 4 --quant_block 128
⠋ load pretrained model Special …
-
MNN 支持 INT16 量化吗?
此问题分为两个:
1. 是否支持将FP32 模型量化到 int16 ?
2. 是否支持 INT16 模型的推理?INT16 模型在CPU上推理相比 FP32 是否会有性能的大幅提升?
-
I get a "segmentation fault" when I try to convert the ONNX model in MNN model:
```
MNNConvert -f ONNX --modelFile voxceleb_resnet34.onnx --MNNModel model.mnn --bizCode MNN
```
```
The device…
-
cpu cotext-a7双核@1.2G
在端侧部署了实时流,单帧(16ms数据)推理耗时约20ms,也就是在这款设备上达不到实时流
1.当前设备20ms的推理时间是否正常
2.模型上还能否进一步裁剪的可能,业务上有没有优化的手段,比如输入的数据大一点,现在输入的是256的数据,也就是推理要小于16ms才有落地可能
-
Hello,
can you please provide MNN implementation like https://github.com/Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB have provided.
-
Using the latest MNNConvert, I am not able to convert my original TFLITE model to MNN.
![image](https://github.com/user-attachments/assets/937a003d-da3d-46e9-b502-826effae80b7)
I tried converting …
-
1. MNN版本:2.9.3
2. 编译与运行参考
https://mnn-docs.readthedocs.io/en/latest/transformers/diffusion.html
3. 编译MNN和MNN转换工具
cmake .. -DMNN_BUILD_DIFFUSION=ON -DMNN_BUILD_OPENCV=ON -DMNN_IMGCODECS=ON -DMNN_OP…