[参赛项目] 基于Flink + Pravega的数据流处理的实时工厂水果品质分类

[zien2017]

项目简述

工厂自动化的背景下对水果品质的自动分类提出了需求，本项目以芒果为例，基于Flink和Pravega架构，对不同品质的芒果图像进行训练， 实时根据芒果影像判断芒果品质。

背景

如今产业中针对水果工厂加工的技术主要集中在水果处理上（去皮、去核、分割），然而水果品质等级分类捡收工作主要还是通过人工筛选流水线处理。如今的产业现状也造成了人工捡收筛选效率低下、人力资源消耗庞大等现象。为了解决目前的产业问题，急需一项解放人工、高效捡收的处理技术。

1. 顺应国家政策进行转型升级 近年来国家多项政策部署，如农业农村部下发的《关于开展“互联网+”农产品出村进城工程试点工作的通知》中提到——以运营主体为核心打造优质特色农产品供应链，建设提升农产品生产加工和仓储物流基础设施。其中在农产品生产加工基础设施的环节中，我国多数水果品质等级分类捡收工作主要还是通过人工筛选流水线处理，但在互联网及云计算等智能技术设备走进农产品产业加工的背景下，单纯依靠人工捡收筛选难免陷入效率低下且人工成本昂贵的瓶颈。如今国家正在大力推进农产品产业的转型升级，在这一背景下，水果加工产业则可以应势借力，借助计算机技术实现自动化分拣技术。

2. 保障新冠疫情背景下的企业经济效益 如今我国正处于疫情防控常态化的背景下，人工进行水果筛选面对的大挑战是——倘若加工产地发生疫情，人工流水线极有可能出现停工停产状态，而自动化水果分拣技术可以有效避免这种情况，从而在一定程度上减少企业受到新冠疫情的经济影响和冲击。

3. 释放劳动力，平衡岗位分配 当自动化分拣技术进入水果筛选产业链后，会有一大批分拣工人从原有岗位转移出来，但这并不意味着下岗失业，他们可以利用自身的分拣经验分配到其他相关部门，譬如宣传部门——对前来招商引资的客户进行宣传讲解、利用互联网直播带货或客制化宣传服务等等。此外，在水果淡季的月份也能够减少劳动成本。

4. 从消费者心理角度来看，自动分拣技术更加青睐 水果等农产品加工作为作为进入市场流通前的重要一环，人们更多关注的是加工过程中的处理技术以及水果质量的安全保障系数，利用自动化分拣技术可以避免人工失误或卫生问题，更符合消费者的心理诉求。

目标

1. 基于Pravega、Flink与计算机视觉实现实时芒果影像分析，实现工厂自动化芒果品质分类捡收。
2. 通过降低生产成本，将工人从低效重复劳动中解脱出来，并为人们提供更加便宜，质量更好的水果。
3. 响应国家发展智慧农业，建立健全智能化、网络化的农业生产经营服务体系号召。
4. 响应国家实干兴邦的政策，助力工业4.0，提高农产品加工数字化智能化水平。

实施方案

1. 利用大量带有不同芒果品质等级标签的芒果图片训练集通过Flink练建构CNN卷积神经网络模型。
2. 利用摄像头实时输入水果影像，
3. 用YOLO技术实时检测水果目标区域，
4. 读取Pravega中的实时数据，
5. 通过Flink和ai-flow训练好的CNN模型统计分类图像中的水果品质等级，
6. Pravega对预测结果进行保存。

成员介绍

• 天池id: brandon233， 杜克大学 ECE项目 研一， 学生，长达17年学生经历。
• 天池id: haochibaiduke 杜克大学 ECE项目 研一， 软件 / 硬件工程师。
• 天池id: 阿东阿东阿东，杜克大学 ECE项目 研一， 资深菜狗子，十多年学生经历。