search

hughfenghen / hughfenghen.github.io

blog
https://hughfenghen.github.io/
42 stars 2 forks source link

[Post]Web 音视频（二）在浏览器中解析视频 #173

Open hughfenghen opened 11 months ago

hughfenghen commented 11 months ago

https://hughfenghen.github.io/posts/2023/07/23/webav-2-parse-video/

whi-sper commented 10 months ago

你好，请问MP4Box解封装后的sample数据的完整数据类型 和 sample转换成EncodedVideoChunk的规则 这部分有参考文档吗？

hughfenghen commented 10 months ago

@whi-sper

你好，请问MP4Box解封装后的sample数据的完整数据类型 和 sample转换成EncodedVideoChunk的规则 这部分有参考文档吗？

你可以运行demo代码断点，或查看源码了解完整类型；转换规则参考本系列文章。

artosynTec commented 10 months ago

可以解析H264的裸流吗

hughfenghen commented 10 months ago

@artosynTec

可以解析H264的裸流吗

可以的，我写一个往H264流中添加SEI然后封装的例子， https://github.com/hughfenghen/hughfenghen.github.io/issues/112；

解析H264的裸流，应该把数据给 VideoDecorder 就行了。

hd996 commented 7 months ago

你好，如果针对指定位置播放和指定位置停止这种场景，有好的解决思路吗？因为videoFrame会关闭，我无法对videoFrame做存储，也不太好进行帧还原

hughfenghen commented 7 months ago

@hd996

你好，如果针对指定位置播放和指定位置停止这种场景，有好的解决思路吗？因为videoFrame会关闭，我无法对videoFrame做存储，也不太好进行帧还原

VideoFrame 引用的图像数据在 GPU 内存中，会占用大量空间，所以必须及时 close。 VideoFrame 可以绘制到 canvas 转换小的缩略图，或编码成EncodedVideoChunk 临时存储内存，或持久化存储（OPFS）在本地磁盘。