模版匹配历劫之路1-匹配点太多如何解决

1测试图片

在这里插入图片描述

2初步推测是否是提取的点太多而导致匹配时间很长

2.1通过canny的算法来提取检测点

import numpy as np
import cv2
import time
import matplotlib.pyplot as pltclass GeoMatch:def __init__(self):self.noOfCordinates=0   # 坐标数组中元素的个数self.cordinates = []   # 坐标数组存储模型点self.modelHeight=0   # 模型高self.modelWidth=0   # 模型宽self.edgeMagnitude = []  # 梯度大小self.edgeDerivativeX = []  # 在X方向的梯度self.edgeDerivativeY = []  # 在Y方向的梯度self.centerOfGravity  = []  # 模板重心self.modelDefined=0# 创建模版maxContrast,minContrast为滞后处理的阈值。def CreateGeoMatchModel(self, templateArr, maxContrast, minContrast):Ssize = []src = templateArr.copy()# 设置宽和高Ssize.append(src.shape[1])  # 宽Ssize.append(src.shape[0])  # 高self.modelHeight = src.shape[0]  # 存储模板的高self.modelWidth = src.shape[1]  # 存储模板的宽self.noOfCordinates = 0  # 初始化self.cordinates = [] #self.modelWidth * self.modelHeight  # 为模板图像中选定点的联合分配内存self.edgeMagnitude = []  # 为选定点的边缘幅度分配内存self.edgeDerivativeX = []  # 为选定点的边缘X导数分配内存self.edgeDerivativeY = []  # 为选定点的边缘Y导数分配内存## 计算模板的梯度gx = cv2.Sobel(src, cv2.CV_32F, 1, 0, 3)gy = cv2.Sobel(src, cv2.CV_32F, 0, 1, 3)MaxGradient = -99999.99orients = []nmsEdges = np.zeros((Ssize[1], Ssize[0]))magMat = np.zeros((Ssize[1], Ssize[0]))# 该for循环可以得到 1、梯度图magMat 2、方向列表orientsfor i in range(1, Ssize[1]-1):for j in range(1, Ssize[0]-1):fdx = gx[i][j]  # 读x, y的导数值fdy = gy[i][j]MagG = (float(fdx*fdx) + float(fdy * fdy))**(1/2.0)  # Magnitude = Sqrt(gx^2 +gy^2)direction = cv2.fastAtan2(float(fdy), float(fdx))  # Direction = invtan (Gy / Gx)magMat[i][j] = MagG  # 把梯度放在图像对应位置if MagG > MaxGradient:MaxGradient = MagG  # 获得最大梯度值进行归一化。# 从0,45,90,135得到最近的角if (direction > 0 and direction < 22.5) or (direction > 157.5 and direction < 202.5) or (direction > 337.5 and direction < 360):direction = 0elif (direction > 22.5 and direction < 67.5) or (direction >202.5 and direction <247.5):direction = 45elif (direction >67.5 and direction < 112.5) or (direction>247.5 and direction<292.5):direction = 90elif (direction >112.5 and direction < 157.5) or (direction>292.5 and direction<337.5):direction = 135else:direction = 0orients.append(int(direction))  # 存储方向信息count = 0 # 初始化count# 非最大抑制 # 这个for循环可以保留边缘点# 请问什么是图像的梯度?这里的图像梯度来自于gx和gy的矢量相加。for i in range(1, Ssize[1]-1):  # 图像边缘像素点没有包含在内for j in range(1, Ssize[0]-1):if orients[count] == 0:leftPixel = magMat[i][j-1]rightPixel = magMat[i][j+1]elif orients[count] == 45:leftPixel = magMat[i - 1][j + 1]rightPixel = magMat[i+1][j - 1]elif orients[count] == 90:leftPixel = magMat[i - 1][j]rightPixel = magMat[i+1][j]elif orients[count] == 135:leftPixel = magMat[i - 1][j-1]rightPixel = magMat[i+1][j+1]if (magMat[i][j] < leftPixel) or (magMat[i][j] < rightPixel):nmsEdges[i][j] = 0else:nmsEdges[i][j] = int(magMat[i][j]/MaxGradient*255)count = count + 1RSum = 0CSum = 0flag = 1# 做滞后阈值# 将阈值再筛选一遍for i in range(1, Ssize[1]-1):for j in range(1, Ssize[0]-1):fdx = gx[i][j]fdy = gy[i][j]MagG = (fdx*fdx + fdy*fdy)**(1/2)   # Magnitude = Sqrt(gx^2 +gy^2)DirG = cv2.fastAtan2(float(fdy), float(fdx))  # Direction = tan(y/x)flag = 1if float(nmsEdges[i][j]) < maxContrast:  # 边缘小于最大阈值if float(nmsEdges[i][j]) < minContrast:  # 边缘小于最小阈值nmsEdges[i][j] = 0flag = 0else: # 如果8个相邻像素中的任何一个不大于maxContrast,则从边缘删除if float(nmsEdges[i-1][j-1]) < maxContrast and \float(nmsEdges[i-1][j]) < maxContrast and \float(nmsEdges[i-1][j+1]) < maxContrast and \float(nmsEdges[i][j-1]) < maxContrast and \float(nmsEdges[i][j+1]) < maxContrast and \float(nmsEdges[i+1][j-1]) < maxContrast and \float(nmsEdges[i+1][j]) < maxContrast and \float(nmsEdges[i+1][j+1]) < maxContrast:nmsEdges[i][j] = 0flag = 0# 保存选中的边缘信息curX = i  # 坐标值curY = jif(flag != 0):  # float(nmsEdges[i][j]) > maxContrastif fdx != 0 or fdy != 0: # 所有有效的梯度值RSum = RSum+curX  # 重心的行和和列和;为了求取重心CSum = CSum+curYself.cordinates.append([curX, curY])  # 边缘点的坐标列表self.edgeDerivativeX.append(fdx)self.edgeDerivativeY.append(fdy)# handle divide by zero 归一化if MagG != 0:self.edgeMagnitude.append(1/MagG)  # 建立归一化后的梯度向量else:self.edgeMagnitude.append(0)self.noOfCordinates = self.noOfCordinates+1  # 记录梯度向量的个数self.centerOfGravity.append(RSum//self.noOfCordinates)  # 重心 = 边缘坐标值累加//总边缘点数self.centerOfGravity.append(CSum // self.noOfCordinates)  # 重心# 改变坐标以反映重心  这里将边缘点坐标变成了相对于重心的坐标。for m in range(0, self.noOfCordinates):temp = 0temp = self.cordinates[m][0]self.cordinates[m][0] = temp - self.centerOfGravity[0]temp = self.cordinates[m][1]self.cordinates[m][1] = temp - self.centerOfGravity[1]self.modelDefined = Truereturn 1# 模版匹配 srcarr图像 minScore最小分数def FindGeoMatchModel(self, srcarr, minScore, greediness):Ssize = []Sdx = []Sdy = []resultScore = 0partialSum = 0sumOfCoords = 0resultPoint = []src = srcarr.copy()if not self.modelDefined:return 0Ssize.append(src.shape[1])  # 高Ssize.append(src.shape[0])  # 宽matGradMag = np.zeros((Ssize[1], Ssize[0]))Sdx = cv2.Sobel(src, cv2.CV_32F, 1, 0, 3)  # 找到X导数Sdy = cv2.Sobel(src, cv2.CV_32F, 0, 1, 3)  # 找到Y导数normMinScore = minScore/ self.noOfCordinates  # 预计算minScorenormGreediness = ((1- greediness*minScore)/(1-greediness)) / self.noOfCordinates  # 预计算greedinessfor i in range(0, Ssize[1]):for j in range(0, Ssize[0]):iSx = Sdx[i][j]  # 搜索图像的X梯度iSy = Sdy[i][j]  # 搜索图像的Y梯度gradMag = ((iSx*iSx)+(iSy*iSy))**(1/2)  # Magnitude = Sqrt(dx^2 +dy^2)if gradMag != 0:matGradMag[i][j] = 1/gradMag  # 1/Sqrt(dx^2 +dy^2)else:matGradMag[i][j] = 0height = Ssize[1]wight = Ssize[0]Nof = self.noOfCordinates   # 模版边缘点的总数for i in range(0, height):for j in range(0, wight):partialSum = 0  # 初始化partialSumfor m in range(0, Nof):curX = i + self.cordinates[m][0]  # 模板X坐标  从模版坐标推导出待测图像的坐标curY = j + self.cordinates[m][1]  # 模板Y坐标iTx = self.edgeDerivativeX[m]  # 模板X的导数iTy = self.edgeDerivativeY[m]  # 模板Y的导数if curX < 0 or curY < 0 or curX > Ssize[1] - 1 or curY > Ssize[0] - 1:continueiSx = Sdx[curX][curY]  # 从源图像得到相应的X导数iSy = Sdy[curX][curY]  # 从源图像得到相应的Y导数if (iSx != 0 or iSy != 0) and (iTx != 0 or iTy != 0):# //partial Sum  = Sum of(((Source X derivative* Template X drivative) + Source Y derivative * Template Y derivative)) / Edge magnitude of(Template)* edge magnitude of(Source))# self.edgeMagnitude(列表)归一化之后的梯度# 这里matGradMag表示待测图片的梯度图# 求解相似度度量partialSum = partialSum + ((iSx*iTx)+(iSy*iTy))*(self.edgeMagnitude[m] * matGradMag[curX][curY])sumOfCoords = m+1partialScore = partialSum/sumOfCoords  # 求解相似度量的平均值# 检查终止条件# 如果部分得分小于该位置所需的得分# 在那个坐标中断serching。# 此处使用了贪心算法if partialScore < min((minScore - 1) + normGreediness*sumOfCoords, normMinScore*sumOfCoords):breakif partialScore > resultScore:resultPoint = []resultScore = partialScore  # 匹配分;匹配分会随着匹配个数,慢慢变化,得到最后的匹配分。但不是一直在增大resultPoint.append(i)  # 结果X坐标resultPoint.append(j)  # 结果Y坐标return resultPoint, resultScoredef DrawContours(self, source, color, lineWidth):for i in range(0, self.noOfCordinates):point = []point.append(self.cordinates[i][1] + self.centerOfGravity[1])point.append(self.cordinates[i][0] + self.centerOfGravity[0])point = map(int, point)point = tuple(point)cv2.line(source, point, point, color, lineWidth)def DrawSourceContours(self, source, COG, color, lineWidth):for i in range(0, self.noOfCordinates):point = [0, 0]point[1] = self.cordinates[i][0] + COG[0]point[0] = self.cordinates[i][1] + COG[1]point = map(int, point)point = tuple(point)cv2.line(source, point, point, color, lineWidth)
if __name__ == '__main__':GM = GeoMatch()lowThreshold = 10  # deafult valuehighThreashold = 100  # deafult valueminScore = 0.4  # deafult valuegreediness = 0.8  # deafult valuetotal_time = 0  # deafult valuescore = 0  # deafult valuetemplateImage = cv2.imread("Template.jpg")  # 读取模板图像searchImage = cv2.imread("Search2.jpg")  # 读取待搜索图片templateImage = np.uint8(templateImage)searchImage = np.uint8(searchImage)# ------------------创建基于边缘的模板模型------------------------#if templateImage.shape[-1] == 3:grayTemplateImg = cv2.cvtColor(templateImage, cv2.COLOR_BGR2GRAY)else:grayTemplateImg = templateImage.copy()print("\nEdge Based Template Matching Program")print("--------------------------------------------------------")print(len(GM.cordinates))if not GM.CreateGeoMatchModel(grayTemplateImg, lowThreshold, highThreashold):print("ERROR: could not create model...")assert 0GM.DrawContours(templateImage, (255, 0, 0), 1)print("Shape model created..with Low Threshold = {} High Threshold = {}".format(lowThreshold, highThreashold))# ------------------找到基于边缘的模板模型------------------------## 转换彩色图像为灰色图像。if searchImage.shape[-1] == 3:graySearchImg = cv2.cvtColor(searchImage, cv2.COLOR_BGR2GRAY)else:graySearchImg = searchImage.copy()print("Finding Shape Model..Minumum Score = {} Greediness = {}".format(minScore, greediness))print("--------------------------------------------------------")start_time1 = time.time()result, score = GM.FindGeoMatchModel(graySearchImg, minScore, greediness)finish_time1 = time.time()total_time = finish_time1 - start_time1if score > minScore:print("Found at [{}, {}]\nScore =  {} \nSearching Time = {} s".format(result[0], result[1], score, total_time))GM.DrawSourceContours(searchImage, result, (0, 255, 0), 1)else:print("Object Not found")plt.figure("template Image")plt.imshow(templateImage)plt.figure("search Image")plt.imshow(searchImage)plt.show()

在这里插入图片描述
在这里插入图片描述

也就是说,canny的提取检测点的办法找出了582个点。时间上可以看出用了80s的时间才匹配到了模版对吧。

利用角点检测检测轮廓点

#include<opencv2/opencv.hpp>
#include<iostream>using namespace std;
using namespace cv;int main(int agrc, char** argv) {Mat src = imread("E:/Template Matching/Template.jpg");imshow("input", src);Mat gray;cvtColor(src, gray, COLOR_RGB2GRAY);vector<Point>corners;goodFeaturesToTrack(gray, corners, 50, 0.015, 5);for (size_t t = 0; t < corners.size(); t++){circle(src, corners[t], 2, Scalar(0, 0, 255), 2, 8, 0);}imshow("角点检测", src);waitKey(0);return 0;}

这里可以看到角点50个边缘的效果就挺好的。
在这里插入图片描述

利用关键点检测检测轮廓点

#include<opencv2/opencv.hpp>
#include<iostream>using namespace std;
using namespace cv;int main(int agrc, char** argv) {Mat src = imread("E:/Template Matching/Template.jpg");imshow("input", src);auto orb = ORB::create(100);Mat result;vector<KeyPoint>kypts;orb->detect(src, kypts);drawKeypoints(src, kypts, result, Scalar::all(-1), DrawMatchesFlags::DEFAULT);imshow("关键点检测", result);waitKey(0);return 0;

在这里插入图片描述
可以看到关键点的检测和轮廓确实不一样。

halcon提取出模版是什么样子的。

点超级多呀,真的是需要这么多点吗?
在这里插入图片描述

visionpro提取的模版是什么样子的。

这个点就不会特别多了,有点类似关键点。所以猜想是不是曲线拟合了一下,然后提取出来了轮廓,外加关键点。
在这里插入图片描述

总结

看了一些资料,个人感觉匹配的点不是最主要的。如果我们的主要矛盾在于解决匹配的速度和精度,那么最先要解决的主要矛盾应该是金字塔结构。如果主要矛盾是旋转匹配,那就解决旋转匹配的问题。再之后尝试解决匹配点,并且可能和轮廓拟合存在一定关系,拟合不好轮廓梯度是会发生变化的。
在一篇论文中提到的一种改进思路:
1、边缘点稀疏通过等距采样边缘点减少模板的匹配运算量。
2、逐层重叠筛选通过对每一层候选对象进行非极大值筛选来排除无效区域。
3、并行算法使用SSE指令优化了亚像素点梯度的插值计算方法,使用PPL并行库实现了多模版的并行匹配。
4、针对传统形状匹配算法位姿匹配精度不高的问题,提出了结合小批量梯度下降法的位姿逼近算法。该方法使用基于二次曲面拟合改进的Canny算法获得亚像素精度的边缘点,提高了形状模版的精度。通过最小化边缘点与对应边缘切线的距离,将位姿逼近问题转化为非线性最小二乘问题来逐步求解,获取更高精度的位姿参数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/2661970.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

ArcGIS批量计算shp面积并导出shp数据总面积(建模法)

在处理shp数据时&#xff0c; 又是我们需要知道许多个shp字段的批量计算&#xff0c;例如计算shp的总面积、面积平均值等&#xff0c;但是单个查看shp文件的属性进行汇总过于繁琐&#xff0c;因此可以借助建模批处理来计算。 首先准备数据&#xff1a;一个含有多个shp的文件夹。…

C++ Qt开发:SqlRelationalTable关联表组件

Qt 是一个跨平台C图形界面开发库&#xff0c;利用Qt可以快速开发跨平台窗体应用程序&#xff0c;在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置&#xff0c;实现图形化开发极大的方便了开发效率&#xff0c;本章将重点介绍SqlRelationalTable关联表组件的常用方法及灵…

想畅游在全球顶级金融学识的海洋——人民大学与加拿大女王大学金融硕士

金融职场的你是否想象过有朝一日能够畅游在全球顶级金融学识的海洋中呢&#xff1f;在那里&#xff0c;你可以尽情探索和领略全球顶尖的金融学识的魅力与深度&#xff0c;与来自世界各地的专业人士共同交流和分享经验。这样的场景让人感到兴奋和向往&#xff0c;准备好了吗&…

Goal-Auxiliary Actor-Critic for 6D Robotic Grasping with Point Clouds

题目&#xff1a;基于点云的 6D 机器人抓取目标-辅助行为-评价 摘要&#xff1a;6D 机 器 人 抓 取超 越 自上 而 下捡 垃 圾桶 场 景是 一 项具 有 挑战 性 的任 务 。 以往基于 6 D 抓 取综 合和 机器 人运 动 规划 的解 决方 案 通常 在开 环设 置下 运 行&#xff0c; 对抓…

轻松实现电脑对iPhone应用管理

目录 摘要 引言 用户登录工具和连接设备 电脑可对手机应用程序批量操作 运行APP和查看APP日志 IPA包安装测试 摘要 本文介绍了如何使用克魔助手工具实现电脑对手机应用的管理操作。通过简单的步骤&#xff0c;用户可以批量操作手机应用、运行应用、查看应用日志以及安装测…

企业如何做好内容?媒介盒子分享

在个性化算法的支持下&#xff0c;企业通过创作优质内容使消费者主动选择企业的时代已经来临&#xff0c;对于中小企业来说&#xff0c;这是能够低成本进行营销的好机会。但是有许多企业对内容的理解依旧是片面的&#xff0c;今天媒介盒子就来和大家聊聊&#xff1a;企业如何做…

autosar SJBWY 开发

第一天&#xff1a; 解决tasking 增加任意目录源文件的问题&#xff1b; 展开 Advanced 下面 Browse...选你的源文件目录就好了&#xff1b;

彭涛:2023年终复盘,工作,团队,个人!

眨眼2023即将结束&#xff0c;2024即将开启&#xff0c;每年这个时候&#xff0c;都会简单总结下自己这一年&#xff0c;既是对今年的一个复盘和回顾&#xff0c;也是对新一年的向往和期待。 我的2023年&#xff0c;大概分为 「个人」&#xff0c;「家庭」&#xff0c;「团队」…

第二证券:道指再创历史新高,国际油价大跌超2.5%

当地时间周四&#xff0c;美股收盘涨跌不一&#xff0c;道指再创前史新高&#xff0c;标普500指数进一步迫临前史纪录。到收盘&#xff0c;道指涨53.58点&#xff0c;涨幅为0.14%&#xff0c;报37710.10点&#xff1b;标普500指数涨1.77点&#xff0c;涨幅为0.04%&#xff0c;报…

99. 恢复二叉搜索树

#中序遍历&#xff0c;寻找插值位置并交换 # Definition for a binary tree node. # class TreeNode: # def __init__(self, val0, leftNone, rightNone): # self.val val # self.left left # self.right right class Solution:def recoverTree…

啥是构造器?

当我们new一个对象时就是在引用构造器 构造器又叫做构造函数 构造函数一般分为无参构造函数与有参构造函数 假设我们创建一个pet类&#xff0c;这个类里面就会有一个看不见的自动生成的无参构造函数 如果pet类里没有这个隐形的无参构造&#xff0c;我们new一个对象时就会报错…

ArcGIS高程点生成等高线

基本步骤&#xff1a;数据清洗→创建TIN→TIN转栅格→等值线→平滑线。 1.&#xff08;重要&#xff09;数据清理&#xff1a;删除高程点中的高程异常值数据。 2.创建TIN:系统工具→3D Analyst Tools→数据管理→TIN→创建TIN&#xff08;可直接搜索工具TIN&#xff09;。 单击…

铂炭催化剂,2026年市场预计将以6.5%左右的复合年增长率增长

铂碳催化剂广泛用于各种工业应用&#xff0c;包括化学、制药和汽车领域。在对清洁能源的需求不断增加和环境问题意识不断提高的推动下&#xff0c;铂碳催化剂市场正在稳步增长。本次分析&#xff0c;我们将从全球市场和中国市场分别考察铂碳催化剂市场的发展趋势。 全球市场分析…

OSPF ROUTER-ID-新版(15)

目录 整体拓扑 操作步骤 1.INT 验证Router-ID选举规则 1.1 查看路由器Router-ID 1.2 配置R1地址 1.3 查看R1接口信息 1.4 查看R1Router-ID 1.5 删除接口IP并查看Router-ID 1.6 手工配置Router-ID 2.基本配置 2.1 配置R1的IP 2.2 配置R2的IP 2.3 配置R3的IP 2.4 配…

winserver2008 r2服务器iis配置支持flv,f4v,mp4格式视频

很多政府单位网站一直在使用WIN服务器&#xff0c;大部分网站都使用多年基本使用.NET或者CMS系统建站&#xff0c;系统环境也一直是老版本&#xff0c;今天在维护过程中又出现了新问题&#xff0c;上传的MP4文件不支持网站上播放&#xff0c;顺便也分享下解决过程。当我们架设的…

在VMware安装CentOS 7:详细教程

安装准备工作 本地虚拟机&#xff1a;我这里使用的是VMware Workstation 17 Pro centos7系统ISO镜像&#xff1a;我这里使用的是CentOS-7-x86_64-DVD-2009.iso&#xff0c;具体的下载地址是在阿里云官方镜像站&#xff1a;centos-7.9.2009-isos-x86_64安装包下载_开源镜像站-阿…

Springboot启动流程-持续记录中

注:转载请携带本文链接及公众号信息 公众号&#xff1a;codelike 基于springboot2.6.x 源码 Springboot启动之第一篇 SpringApplication构造器 启动入口方法是new SpringApplication.run(),一切的开始都从这里 这里做了什么呢 分为初始化SpringApplication实体、执行run()…

QLayout布局器QObject子节点遍历

遍历QObject的子节点 #include <QObject> #include <QDebug>void printObjectTree(const QObject *object, int level 0) {if (!object) return;// 创建缩进字符串&#xff0c;用于表示层级QString indent(level * 2, ); // 打印对象的类名和对象名qDebug() <…

使用 pytest 相关特性重构 appium_helloworld

一、前置说明 在 pytest 基础讲解 章节,介绍了 pytest 的特性和基本用法,现在我们可以使用 pytest 的一些机制,来重构 appium_helloworld 。 appium_helloworld 链接: 编写第一个APP自动化脚本 appium_helloworld ,将脚本跑起来 代码目录结构: pytest.ini 设置: [pyt…

基于ssm社区生鲜电商平台论文

目 录 摘 要 I Abstract II 1 绪论 1 1.1研究背景 1 1.2研究现状 1 1.3研究内容 2 2 相关技术简介 3 2.1 B/S结构 3 2.2 MYSQL数据库 3 2.3 Java简介 4 2.4 SSM框架简介 5 3 系统分析 7 3.1 可行性分析 7 3.1.1 技术可行性 7 3.1.2 经济可行性 7 3.1.3 操作可行性 7 3.1.3 法律…