Open yaol7 opened 2 years ago
提出基于GStreamer + Pravega + Flink 实时视频处理分析的解决方案，实现视频数据的实时和历史数据分析处理，并应用到芯片生产制造上，以提高芯片生产的质量和效率。
在工业制造流水线上，对于产品的品控监测是非常重要的环节。在传统工业制造中，都是通过人工检测，有以下几种局限：
目前常用的自动检测解决方案是视频拍摄+计算机算法识别的方法。但是都需要从视频采集，存储，分析等一步步从0搭建起来，技术难度和成本都比较大。基于以上的种种局限性，提出一种新的基于gstreamer+pravega+flink实时视频分析处理的解决方案，该解决方案不仅能够解决工业制造流水线上的问题，让每个公司只需要关注自己产品的质量检测方法，而不用考虑其他技术细节。此外，该解决方案既支持对于产品的实时检测和预警，又能对于历史数据提供自动化报表进行统计和管理，实现流批一体。
此外，该解决方案还可以推广到任何需要实时视频处理分析的行业，如：交通流量疏导，银行的欺诈检测，医疗诊断，警察刑侦等。
该解决方案的整体架构图如上图所示，整体架构涉及的技术包括：GStreamer，Pravega, Flink和ElasticSearch，数据处理分成edge端和data center.
在每个工厂部署一批摄像头，负责拍摄主板生产的视频（样例的视频如下图所示），Eedge端详细的架构图如下图2所示， GStreamer负责接入视频流数据然后sink到Pravega stream，以保存视频raw data, 利用NVIDIA的机器学习算法对视频数据进行检测分析，识别出有问题的主板针脚信息，有问题的针脚会以红色标记出来，标记出来的结果以视频形式保存到结果视频stream里，即video result stream， 另一方面，detection的结果即metadata数据还以json的格式被sink到Pravega metadata stream， 通过Pravega的flink source connector接入Flink，Flink对metadata进行如下处理：
在数据中心，部署Flink, ElasticSearch(简称：ES)集群，主要进行如下处理：
项目简述
提出基于GStreamer + Pravega + Flink 实时视频处理分析的解决方案，实现视频数据的实时和历史数据分析处理，并应用到芯片生产制造上，以提高芯片生产的质量和效率。
背景
在工业制造流水线上，对于产品的品控监测是非常重要的环节。在传统工业制造中，都是通过人工检测，有以下几种局限：
目前常用的自动检测解决方案是视频拍摄+计算机算法识别的方法。但是都需要从视频采集，存储，分析等一步步从0搭建起来，技术难度和成本都比较大。基于以上的种种局限性，提出一种新的基于gstreamer+pravega+flink实时视频分析处理的解决方案，该解决方案不仅能够解决工业制造流水线上的问题，让每个公司只需要关注自己产品的质量检测方法，而不用考虑其他技术细节。此外，该解决方案既支持对于产品的实时检测和预警，又能对于历史数据提供自动化报表进行统计和管理，实现流批一体。
此外，该解决方案还可以推广到任何需要实时视频处理分析的行业，如：交通流量疏导，银行的欺诈检测，医疗诊断，警察刑侦等。
目标
实施方案
该解决方案的整体架构图如上图所示，整体架构涉及的技术包括：GStreamer，Pravega, Flink和ElasticSearch，数据处理分成edge端和data center.
1. Edge端
在每个工厂部署一批摄像头，负责拍摄主板生产的视频（样例的视频如下图所示），Eedge端详细的架构图如下图2所示， GStreamer负责接入视频流数据然后sink到Pravega stream，以保存视频raw data, 利用NVIDIA的机器学习算法对视频数据进行检测分析，识别出有问题的主板针脚信息，有问题的针脚会以红色标记出来，标记出来的结果以视频形式保存到结果视频stream里，即video result stream， 另一方面，detection的结果即metadata数据还以json的格式被sink到Pravega metadata stream， 通过Pravega的flink source connector接入Flink，Flink对metadata进行如下处理：
2. Data Center
在数据中心，部署Flink, ElasticSearch(简称：ES)集群，主要进行如下处理：
成员介绍