DennisLiu1993 / Fastest_Image_Pattern_Matching

C++ implementation of a ScienceDirect paper "An accelerating cpu-based correlation-based image alignment for real-time automatic optical inspection"
BSD 2-Clause "Simplified" License
801 stars 197 forks source link

关于论文中,咨询亚像素处理 #16

Closed cheny00 closed 1 year ago

cheny00 commented 2 years ago

您好,博主发的论文目前看了摘要和第五章亚像素部分。其中,对亚像素原理与实现过程有一些疑惑。希望能博主和大家讨论一下。 抛物面拟合>>3D点云曲面?

1 对于亚像素结果,源于检测图像”0层金字塔“的初始变换矩阵信息。 问:检测图像”0层金字塔“是原图预处理后的图像?是否有缩放、滤波等处理过程?如果有,采用的哪些方式,采用该方案优势/不足在哪里?

2 获得细化的亚像素结果,在初始变换信息参数的前提下,通过facet模型原理在333的邻域内对NCC相似度系数/得分(x,y,angle)进行二项式插值。 问: 1)facet模型指什么,在这里的作用&效果是什么; 2)333是指的(x,y,angle)吗?如果是,那如何通过相似度系数/得分参数使得(x,y,angle)实现亚像素处理? 3)二项式插值如何实现(x,y,angle)精度提升?我之前理解的是对得分较高的前几个(x,y,angle)进行二项式插值处理,但是由于模板angle的变化存在波动导致(x,y)相应变化,最终会出现某组参数偏差过大,无法实现更高精度的效果。

3 (x,y,angle)与相似度系数/得分的一般方程,为二项式方程,确定10个参数。系数z的求解采用最小二乘回归,再求解(x,y,angle)参数的最大值,从而确定亚像素的结果。 问: 1)(x,y,angle)与相似度系数/得分 的参数至少需要多少组,如何确定与筛选?(类似2.3问) 2)icp/svd回归求解,是如何优化的? 3)前文”The iterative closest point (ICP) is further employed to optimize the pose estimation in [17], but theICP is impractical for the real-time application.“提到icp不适合实时应用,这里也是采用icp回归求解,是否需要增加其他功能任务?如果是,那需要增加什么功能任务才能更加适合实时应用呢?

DennisLiu1993 commented 2 years ago

1.我的0層是用原圖

  1. 2-1facet: image 我也不知哪來的 2-2 是x, y, angle, 論文的實現可以看代碼中的 SubPixelEstimation () 2-3 看不懂你的敘述,想像中如果是X-Y-Score三個維度可以畫出一個立體的海浪圖,facet就是用來求海浪的真實頂點,但是現在多了一個維度Angle,我也不知道物理上的意義怎麼想像了@@

3-1 以s矩陣來看是用27組參數,在我的代碼裡,每往上一層都會搜索Angle +- AngleStep(共三個Angle),每個Angle的matResult,取包含最大值與其周圍的共九點,所以會有3X9=27組 image 3-2 我沒優化,直接用矩陣運算解K而已 3-3 這邊應該是在講Gradient NCC,類似ShapeMatching邊緣點數量不固定,normal NCC只要求解Az=s, 矩陣尺寸分別為 27X10, 10X1, 27X1,不會有慢不慢的問題

cheny00 commented 2 years ago

感谢回复,后续会继续跟进 2.3 是目前对(x,y,angle)没有确切的物理关系,那对于模板匹配效果的评价指标,该如何界定呢。就比如说,HALCON、Cognex与您的方案对比,如何评价定位配准的效果? 3.1 构建27个参数,那角度的步长如何设定,设定的依据与原理是什么呢?

DennisLiu1993 commented 2 years ago

很難評價,我是用Cognex當標準答案

步長看這