search

joyycom / VNN

VNN是由欢聚集团(Joyy Inc.)推出的高性能、轻量级神经网络部署框架。目前已为Hago、VOO、VFly、马克相机等App提供20余种AI能力的支持，覆盖直播、短视频、视频编辑等泛娱乐场景和工程场景
Other
1k stars 206 forks source link

风格化效果求助 #35

Open hs-Sun-iOS opened 2 years ago

hs-Sun-iOS commented 2 years ago

1、使用迪士尼和3Dgame的效果时会裁掉一部分头发的区域，怎么扩展处理的区域？如果使用人脸mask，整体会不太协调，因为只处理的人脸的部分，头发、脖子等未处理。 2、怎么提升输出效果的清晰度？

PYNing commented 2 years ago

@hs-Sun-iOS

1、2，受模型限制，暂不支持人脸以外部分的生成，且生成分辨率固定为512x512；

3，出于保证视频流应用的实时性考虑，部分SDK采用了“跳帧”、“跟踪”等优化设计。为避免单张、静态图像应用受此影响： 对于静态图像的应用，需要把 mode_fmt 设置为 VNN_MODE_FMT_PICTURE 对于视频流的应用，需要把 mode_fmt 设置为 VNN_MODE_FMT_VIDEO

关于VNNImage的各项属性，详见 https://github.com/joyycom/VNN/blob/master/doc/how_to_use_vnn_image.md#调用模式的描述-mode_fmt-及其类型-vnn_mode_fmt

hs-Sun-iOS commented 2 years ago

感谢回复，还有一个问题，VNN_FaceFrameData的faceYaw这个参数一直是0，怎么能开启这个参数的检测？

PYNing commented 2 years ago

@hs-Sun-iOS

需要补充设置，参考： https://github.com/joyycom/VNN/issues/21

PYNing commented 2 years ago

补充：faceYaw的数值代表头部向左偏或向右偏的程度，不是准确的角度，仅作为参考。

hs-Sun-iOS commented 2 years ago

如果想知道具体偏移的角度有办法获取吗

PYNing commented 2 years ago

偏转程度是通过关键点的相对位置估计的，没有使用专门的模型预测，所以SDK暂时不能获取具体角度。