Open Achazwl opened 4 months ago
您好~ 我测完了,还是不行. 一样在Resampler.py中的self.attn, 回报了aten::_upsample_bilinear2d_aa算子不支持, 我也很想把它做出來~ 但不晓得改啥能绕开它...
我看你在面壁那边问了,他们有回应了吗?
一楼猫头像那位就是响应了呀
https://github.com/ggerganov/llama.cpp/pull/6919 我在支持 llama.cpp 的时候,实现方式是将子图固定缩放成 448x448,这样相关算子的形状可以固定,因此可以把算子 bilinear 的运算结果直接存到 checkpoint 里 比如这样。整体来说 onnx 不支持确实麻烦一点,可能可以参照类似的方式进行实现。
在 MiniCPM-V 的 2.0 版本中 openbmb/MiniCPM-V-2,修改后的 Resampler 避免了这个算子,不知道这个版本 ONNX 是否支持呢?