Closed Moxoo closed 8 months ago
这个模型没开源吧?有开源的消息嘛
这个模型没开源吧?有开源的消息嘛
https://huggingface.co/microsoft/phi-2 我也刚看到,应该是这个吧
ok 模型已下载 确实可用 我明天支持一下
这个实现的话要参考哪些资料,主要是源码里的modeling_xxx.py吗,模型的结构是怎么看的,求大佬指点一下
对 差不多你可以断点看一下具体的modeling代码 然后实现一个load函数基本就可以了
也可以直接print一下model就能看到具体的结构
对 差不多你可以断点看一下具体的modeling代码 然后实现一个load函数基本就可以了
也可以直接print一下model就能看到具体的结构
按照上面的方法确实看到了模型的结构,差不多把load函数写出来了,不过每个模型的past_kv_shape是怎么来的,还有block_dynamic_axes、model_dynamic_axes以及get_attention_mask和get_position_ids函数
@wangzhaode 大佬,phi支持是已经完成了吗 我拉了下最新的代码 跑不起来
master代码还不是完整版 现在模型在测试了
现在可以测试和导出了 但是onnx的计算不对
好的大佬。
我昨天断点调试phi源码,看到有个init_shapes是[1,长度,2,32,80],导出代码里的past_kv_shape应该就是由这个决定的吧?
但是block和model的动态轴以及get_attention_mask、get_position_ids、forward这几个函数是怎么确定的?
git_attention_mask 返回的值 对应phi-2里面的causal_mask,因为第一个词和后续词生成的规则不一样所以在外部传入保证到处后的onnx正确; get_position_ids 返回值是为了对q, kv加入位置编码;位置编码需要知道当前生成的是第几个token,这个信息需要从外部传入;
phi-2转到onnx目前应该没问题了,不过转mnn使用int4量化精度丢失太严重了
使用对称量化转换出来的目前可以用,onnx导出也没问题了
大佬,后续有支持microsoft/phi-2的打算吗,如果导出microsoft/phi-2需要MNN新版python库支持吗