wanghaisheng / awesome-ocr

A curated list of promising OCR resources
http://wanghaisheng.github.io/ocr-arxiv-daily/
MIT License
1.66k stars 351 forks source link

工业制造——Workplace of automated control of vibration output circular trays #110

Closed wanghaisheng closed 6 years ago

wanghaisheng commented 6 years ago

https://dspace.cvut.cz/bitstream/handle/10467/68132/F2-DP-2017-Lojik-Tomas-DP.pdf?sequence=-1&isAllowed=y

捷克

The thesis is focused on the design, creation and implementation of a system that can replace the human factor in the outsourcing control department of the company that focuses on the custom production of vibrating devices. These devices also include vibratory circular trays that deliver components through vibrations to the machine's output in a precisely defined rotation using mechanical or sensory aids. The reliability of this solution must be thoroughly controlled before the machine is passed on to the customer. My system should automatically check the reliability of the individual devices by monitoring the output of the device and evaluating the orientation of all parts coming out of the machine. At the same time, he should document possible video issues. The whole system will be programmed using Python with the OpenCV library and will be operated on a computer with a connected camera.

本论文的重点是设计,创建和实施一个系统,该系统可以取代公司外包控制部门中关注振动设备定制生产的人为因素。 这些设备还包括振动圆盘,通过振动将部件以精确定义的旋转方式传送至机器的输出端,使用机械或感应辅助设备。 在将机器传递给客户之前,必须彻底控制此解决方案的可靠性。 我的系统应该通过监控设备的输出并评估机器中所有部件的方向来自动检查各个设备的可靠性。 同时,他应该记录可能的视频问题。 整个系统将使用Python和OpenCV库进行编程,并将在具有连接摄像头的计算机上运行。

wanghaisheng commented 6 years ago

作为解决这种复杂情况的解决方案,输出控制显示了创建一个自定义或购买可以直接用于这类任务的工业系统,并且他可以用更可靠的自动化系统取代不可靠的人为因素。该系统可能会由PC软件提供服务。相机连接到计算机将能够跟踪输送机运动,评估它,并对其进行计数通过性,最重要的是检查NOK是否出现在输出端并最终记录检测到假阳性的整个情况 - 以确定故障原因。由于使用的组件种类繁多,系统中必须有大量的设置的所有重要变量,并且这些变量在图形界面中应该很容易改变程序。功能系统可以在未来节省很多小时的测试时间,使其更容易在这项活动中进行实时工作并简化本部门人员的工作。保持现有的一名员工在培训后将能够在未来检查一次以上一台机器,这将为整个生产过程带来更多的效率。

在本章中,我将重点讨论如何处理这个问题。 如最明显的似乎是2种选择,即选择一些现成的解决方案或使用在免费提供的图书馆和工具的帮助下,自己的系统将更加苛刻发展,但将完全符合要求

2.1. Using a ready-made solution from a specialized company

使用专业公司现成的解决方案作为最有效的解决方案,起初,选择合适的工业产品似乎是合适的将适合我们的操作条件并将其应用于测试室。但是,条件是完全自主和解决方案的可编辑性,而无需任何其他协作干预公司和尽可能低的购置成本。市场调查后,我达到了3解决方案在3个价格类别。

2.1.1。Variant I - sensory

第一种方案仅包含光学和电感式传感器,并以我的工作为基础在项目3中[1]。以相对较低的成本,我们会建议一个通用的立场放置在输出端并将各个传感器安装到其中。连接到一个PLC和一个通过创建合适的算法,我们可以识别各个部分并跟踪整体摄像机处理。原则上,这将是连续扫描,但如果它发生警告灯亮起。视频只能监视正在运行的灯光来自PLC。

这个变体的优点是成本非常低,而且非常易于部署操作。 然而,缺点仍然存在,因为该活动并非完全自动化,并且最重要的是对于其他应用程序不太可修改。 对于每种类型的组件我们都必须生产一个新的机架和每个组件都必须有自己的PLC指令。 这可能会在未来发生导致其他工人的进一步使用并且耗费同样的时间。 由于这些原因,我是该选项已被描述为适用但不足。

2.1.2。 变体II - 闭路电视系统

作为第二种选择,下一个选项是找到一个包含它的变体来自CCTV系统的图像处理系统。 今天这种系统非常多例如,作为生产线输出或质量控制的扩展和使用连续生产控制。 它的实施也将取决于速度非常快解决方案厂商 捷克市场上该解决方案的供应商包括JHV -ENGINEERING s.r.o.[3],Hönigsberg&DüvelDatentechnik Czech s.r.o. [4]或DFC设计,有限公司[5]机器可以工作的位置。 然而,这种解决方案的缺点是购买量过高价格因供应商而异,但可能超过最终价格如果我们通过训练和所有设备来统计整个系统,则需要10万冠。其他该解决方案的缺点是大多数系统在计算生产过程中的重点在一个应用程序中部署长期使用的系统。 在这方面,这是为我们的目的这个选项是适用的,但在经济上不利,尺寸过大因此不合适

default

2.1.3。 选项III - 相机传感器 我在搜索过程中遇到的特殊群体是相机传感器。该结合前两个小组的优点,如成本低,易于使用实施投入生产,对新型部件具有良好的适应性。 相机传感器非常棒一个小的耐用装置,可以连接到任何支架,然后可以连接到可以使用专用软件检测组件的计算机只连接一台PLC,例如,可以停止运行堆栈触发警告信号。 总的来说,我们使用的SW设置范围似乎令人满意没有软件的相机成本约为2万克朗[6],这将是一个很好的解决方案满足我们的需求。 这些设施的重要供应商是捷克共和国的SICKSPOL。 s r.o. [7]或Ifm电子spol。 s r.o. [8]

default

但是这个解决方案也有其不足之处。在咨询供应商后,我们达到了两个当前传感器配置无法轻松解决的障碍。最大问题在于零件的运输紧挨着后面,有时甚至差不多零空间。然而,在振动输送机的情况下,这种现象非常普遍,有时甚至是期望。但是,相机无法记录组件的确切轮廓,因此不能记录也可以定义组件是否正确定位。另一个因素是运动。如果该部件将停在检测点处,可以检测和验证该部件,但在移动过程中不可能识别任何参考点,因此它是一个较大的参考点这是一个在检测到时可能导致很大不准确的问题。另一个缺点是不可能为传感器软件添加特殊功能,所以我们也是如此可能性大大受限于程序内的预配置功能。如果我们将来会有特别的要求,我们可能不得不这样做联系供应商,甚至使用第三方解决方案。

default

2.2 开源解决方案

在上一小节之后,我可以说我无法完全发现自己这是一个令人满意的解决方案,特别是在以下两个方面:通用相机设计用于一般的工业跟踪和组件分类在传送带上移动的零件工作很差间距很小。如果有可能找到一些功能性和可靠性的解决方案,则主要是非常有效的财务要求很高的机器。所以我决定创建第四个变体,与以前的变体不同没有外部承包商的协助并在提交人的完全控制下。

2.2.1。 解决方案描述作为进一步的选择,它将成为开发和设计软件的一种方式使用与OpenCV库一起使用的Python编程语言处理和评估使用连接到计算机的普通相机拍摄的图像。 它是以前所有3种变体的组合,但是,与上面提到的不同,它可以是系统,完全定制,并为我们的特定应用做好准备。 在你自己的情况下软件作为作者,我将完全控制系统管理和微小的修改不需要外部承包商解决。 该系统可以根据需要进一步开发输出控制,最终还可以作为一个监督系统来证明如果输出不能,则直接在振动盘的工作过程中更换传感器否则控制。

default

整个系统将根据机器视觉的原则进行工作,并会识别移动堆栈中的对象。控制区域将位于执行检查的图像中组件的相似性。在那里,系统根据预填充模式准备是否不合格部分,或者如果先前的检测是正确的并且只有正在扫描的部分。系统将比较物体的内部轮廓,并不会受到问题的影响组件通过紧密铰链。如果系统检测到NOK组件或者它发生突然出现部件不会离开堆叠并堵塞系统的情况识别问题并将其记录在特殊的视频文件中。如果发生卡纸组件也会通知操作员。系统将因此能够不断控制它堆积几个小时,并在极端情况下持续几天。这个测试的结果是操作员查看的视频文件文件夹,并为技术人员创建消息负责纠正所发现的缺陷。如果有必要,它将是连续的视频录制,增加了整个过程的可视化。

2.2.2。 解决方案的优点和缺点解决方案的主要优势是: a)针对特定活动的独家设计解决方案 b)未来增强空间和易于编辑的空间。 c)该解决方案价格适中,所有投资仅限于应用程序的开发购买硬件设备。 d)使用现有的硬件。 e)解决方案将在连续移动组件时起作用。 但即使在这种情况下,负面影响依然存在: a)该软件没有任何支持。 b)解决方案的可靠性在此并不完全得到保证。 c)可能发生开发问题。 d)将来,应用程序需要进行翻新和维护

2.2.3。 适合的硬件

在设计系统时,我要指望工作站上有一台摄像机可调节支架和一台台式或笔记本电脑。 整个组件将位于受控设备。 如果您需要长期测试,需要更长时间比控制部门员工的转移,有必要提供一台电脑将适合24/7运行,例如专用服务器。

default

在特殊情况下,可能会出现计算机将无法到达的情况的振动容器。 在这种情况下,可以使用它包含的IP摄像头以太网端口并可以连接到公司计算机网络。 那我们可以例如,从办公室远程进行测试,以持续检查检查状态,并且不必留在机器上。 在同一时间测试多台机器的情况下有必要使用更多的计算机,以便它们的数量与测试机器的数量相对应。

2.3评估并选择正确的解决方案

在本章描述的所有变体中,实际上只能实现两个变体他们可以长时间可靠地工作而不会出现更大的问题,也不会太多昂贵的。这是我应该有的第一批相机传感器解决连续移动多个部件的问题,其次,设计您自己的软件解决方案。因为相机传感器软件并不完全适用于应用程序编译时我会得到一些妥协,我决定为我自己一个将根据具体要求量身定制的提案。在未来,这将是当有空间时,该系统也可以作为替换堆栈中的方向的基础传感器使用这种图像识别系统。这是我做这件事的原因之一决定了这个选项,我将在后面的章节中详细介绍。在T2表中,您可以详细说明每个解决方案在最关键的方面的适用性决定区域(10个标记最好,0个不恰当)。

default

3.机器视觉及其在实践中的使用 几乎所有的行业都可以找到机器(如果你想要电脑的话)自动化和替代人力的行业发挥作用。 如何自己做 技术正在改进,它进入了其他领域,如汽车行业和汽车行业独自驾驶。 这表明我们已经生活在一个可以加工的时代视觉已经取得比人类视觉更好,更可靠的结果。 机器视觉是如此往往与他在下一次工业革命即将到来的所谓“工业4.0”中的主要角色有关。

3.1 机器视觉简介 机器视觉并不是新鲜事物,它的使用在世纪之交十分普遍千禧年以及在二十世纪七十年代和八十年代初期已经出现对这个问题的初步提及世纪。 非常普遍的主要是表面检测,自动化装配活动,非接触式测量或批量生产生产鉴定[9],[10]图像识别(OCR)甚至在20世纪30年代初出现20世纪30年后进入电脑领域。[11]

2.3 图像分析和物体检测的方法

获得原始图像后,通常需要执行基本处理,如消除噪音,调整亮度和对比度或裁剪。 命中的大小与质量成正比镜头和曝光过程中的照明条件。 一旦我们有图像预处理,我们可以转到下一步,这是分段。 有许多图像分割方法和它们都会导致类似的结果,在图像中找到基本的轮廓和形状这可以进一步工作。 我们来看看其中的一些。

3.3 OpenCV - 介绍和使用的方法

3.3.1。 基本的视频和照片处理 3.3.2。 先进的图像处理方法 3.3.3。 视频处理 3.3.4。 对象检测 3.4 Python - 使用编程语言............................................. ............................................. 32 3.4.1。用于Python的GUI .................................................. ............................... 33 3.4.2。安装其他模块............................................... .................................................. ............ 35 4.选定变量的发展............................................. .............................. 36 4.1校准部分和用户界面............................................. .................................................. 0.37 4.2图像阅读原理................................................ .................................................. ......................... 40 4.3跟踪对象移动............................................. .................................................. ... 42 4.4了解组件的方向.............................................. .................................................. ..... 44 4.5输出到视频文件和跟踪协议............................................ .................................... 46 4.6识别靠近的物体........... ....................................... 49 4.7确保计划环境............................................. ................................................. 52 5.测试操作介绍............................................ ................... 54 5.1相机和支架............................................... .................................................. ................... 54 5.2测试................................................ .................................................. .............................. 55 5.3来自测试的更正和知识。 6.未来应用程序的开发............................................. ................................................ 59 7.最终评估................................................................................................62 8.用过的文献................................................................................................ ....... 63 9.数字清单................................................................................................ ............ 65 10.表格清单..........................

wanghaisheng commented 6 years ago

[1] T. Lojík, "Project III - Recognition of Sensor Orientation of the Component" 20-Jun-2016. [2] "ROX.cz >> Download." [Online] Available from: http://rox.cz/kestazeni_003kz200.php. [Seen: 22-Nov-2016]. [3] "Camera systems" JHV. "[Online] Available from: http://www.jhv.cz/jednoucelovystory/kamerove-systemy. [Seen: 20-Nov-2016]. [4] "Machine vision options - H & D International Group." [Online] Available from: https://www.hud.cz/moznosti-strojoveho-videni/. [Seen: 20-Nov-2016]. [5] "Image processing from CCTV systems." [Online] Available from: http://www.dfcdesign.cz/cz/sluzby/procedovani-obrazu-kamerovych-systému. [Seen: 20-lis-2016]. [6] "Industrial Vision" :: Camera Sensors :: Sensors for Object Recognition :: Design- type :: Quadrant. [Online] Available from:https://www.ifm.com/ifmcz/web/pmain/020_010_030_020_010_060.html. [Seen: 22-lis-2016]. [7] "2D Vision / SICK" [Online]. Available from: https://www.sick.com/en/cs/productportfolio/vision/2d-vision/c/g114859.[Seen: 22-Nov-2016]. [8] "Industrial Vision" :: Camera Sensors :: Sensors for Object Recognition :: Design- type: "Klára". [Online] Available from: http://www.ifm.com/obj/kamerove-senzoryifm.pdf.[Seen: 22-Nov-2016]. [9] D. H. Ballard and C. M. Brown, Computer vision. Englewood Cliffs, N.J.: Prentice-Hall, 1982. [10] G. Holub, "Industrial Image Processing in Automation - Magazine Light - Expert magazines ", Odbornecasopisy.cz. [Online]. Available from:http://www.odbornecasopisy.cz/svetlo/casopis/tema/prumyslove-pracovani-obraz-vautomatizaci--16974.[Seen: 26-Nov-2016]. [11] H. F. Schantz, The history of OCR, optical character recognition. Manchester Center, Vt .: Recognition Technologies Users Association, 1982. [12] "OCR Technology", Q-Free [Online] Available from: https://www.qfree.com/product/ocr-technology/.[Seen: 28-Nov-2016]. [13] "Object recognition methods in image.pdf | Faculty of Biomedical Engineering ".[Online]. Available from:http://www.fbmi.cvut.cz/files/predmety/3528/public/Metody%20rozpozn%C3%A1n%C3% AD% 20object% C5% AF% 20v% 20picture.pdf. [Seen: 26-Nov-2016]. [14] "Moving Face 3D Reconstruction - Hum3D Blog", Humster3D Store [Online] from: https://hum3d.com/blog/moving-face-3d-reconstruction/. [Seen: 28-Nov-2016]. [15] J. Condliffe, "Google's Image Recognition Software Now Can Describe Entire Scenes", Gizmodo. [Online]. Available from: http://gizmodo.com/googles-image-recognitionsoftware-can-now-describe-ent-1660033808.[Seen: 28-Nov-2016]. [16] "Vision API - Image Content Analysis", Google Cloud Platform [Online] Available from: https://cloud.google.com/vision/. [Seen: 26-Nov-2016]. [17] "File: HSV color solid cylinder.png - Control Systems Technology Group." [Online]. Available from: http://cstwiki.wtb.tue.nl/index.php?title=File:HSV_color_solid_cylinder.png. [Seen: 28-Nov-2016]. [18] "Edge detection." [Online] Available from: http://www.nada.kth.se/~tony/cernreview/cern-html/node12.html.[Seen: 29-Nov-2016]. [19] "Welcome to OpenCV-Python Tutorials's documentation! - OpenCV-Python Tutorials 1 documentation. "[Online] Available from: http://opencv-pythontutroals.readthedocs.io/en/latest/index.html.[S sebou: 03-pro-2016].CTU in Prague Institute of Instrumentation Faculty of Mechanical Engineering and Control Engineering Automated control of output of vibratory circular bins 64 [20] "YOLO: Real-Time Object Detection." [Available]http://pjreddie.com/darknet/yolo/. [Seen: 29-Nov-2016]. [21] J. Dalal and S. Patel, Instant OpenCV starter: Get started with OpenCV using practical, hands-on projects. Birmingham: Packt Pub., 2013. [22] "PyPy - Welcome to PyPy" [Online] Available from: http://pypy.org/index.html [Seen: 05-for-2016]. [23] "TIOBE Index" TIOBE - The Software Quality Company. "[Online] Available from: http://www.tiobe.com/tiobe-index//. [Seen: 07-for-2016]. [24] "GuiProgramming - Python Wiki." [Available] https://wiki.python.org/moin/GuiProgramming. [Seen: 07-for-2016]. [25] "Define GUI in a Class: UI Class" GUI Tk "Python" [Online] Available from: http://www.java2s.com/Code/Python/GUI-Tk/DefineGUIinaclass.htm. [Seen: 17-pro2016]. [26] "Kivas: Python Framework for NUI Cross-platform." [Online] Available from: http://kivy.org/. [Seen: 08-for-2016]. [27] D. Marr, Vision: a computational investigation into human representation and processing of visual information. Cambridge, Mass: MIT Press, 2010. [28] V. Mařík, O. Štěpánková, and J. Lažanský, Artificial Intelligence. Prague: Academia, 1993. [29] "HD Webcam C270 - Logitech Support" [Online] Available from: http://support.logitech.com/en_in/product/hd-webcam-c270. [Seen: 02-Jan-2017]

wanghaisheng commented 6 years ago
default default default default default default default default default default default default default default default default