Research on colorless silicone oil injection measurement system for neutral pen-refill
-
摘要:
针对中性透明笔芯和无色硅油灰度差异小所导致的硅油注入量检测困难等问题,提出并设计一种基于机器视觉的无色硅油注入量检测方法与系统。该系统硬件部分主要包括图像采集单元和外部光源控制单元等,通过调节外部光源照射角度实现无色硅油区域灰度差异的增强;软件与算法部分运用一种灰度区域直方图算法,在搭建的人工交互界面上选取相应的感兴趣区域(ROI)及参数,实时显示长度检测结果。试验结果表明,该系统能准确检测硅油连续长度,系统的实时性及稳定性较好,准确率高,具有一定的推广应用价值。
Abstract:Aiming at the difficulty in detecting the amount of silicone oil injection caused by the small gray difference between the neutral transparent refill and the colorless silicone oil, a new method and system for detecting the injection amount of colorless silicone oil based on machine vision was proposed and designed. An image acquisition unit and an external light source control unit were the main hardware part of the system. By adjusting the illumination angle of the external light source, the enhancement of the gray difference in the colorless silicone oil area can be realized. In the part of software and algorithm, a gray region histogram algorithm was used to select the corresponding region of interest (ROI) and parameters on the constructed human interaction interface, and the length detection results were displayed in real time. The experimental results show that the system can accurately detect the continuous length of silicone oil, the system has good real-time performance and stability, high accuracy, and has a certain value of promotion and application.
-
Key words:
- colorless silicone oil /
- pen-refill /
- image filtering /
- grayscale difference /
- machine vision
-
笔芯尾部硅油既可防止笔芯中墨水挥发和溢出,又给墨水提供一个相对的真空环境,以借助外界大气压强使墨水连续下降,保持书写流畅性. 作为笔芯生产的重要环节,硅油注入量多少及连续性直接影响着成品笔的质量[1- 2]. 当前制笔所采用的无色硅油与透明笔芯灰度差异较小,导致传统人工目测和一般机器检测存在误检率高、检测精度低等不能满足现代生产要求的问题. 据测算,人工目测的差错率在15 %左右.
机器视觉作为人工智能领域的一个重要分支,已广泛应用于缺陷检测、图像识别与分类、精密控制等多个领域[3-10]. 张晓等[11-12]采用基于Canny算子的检测方法,通过设定不同阈值分步实现边缘分割,有效提高了透明胶囊缺陷的检测效率和准确性;关日钊等[13]以机器视觉为基础,使用基于SVM和Faster R-CNN的深度学习方法对透明塑料件进行缺陷的定位和识别,有效地提高了检测的准确率;付兴勇等[14]采用模板匹配的方法,设计去除字符与图案边缘效应干扰的算法及透明盒缺陷检测算法,实现对透明盒缺陷快速、精确的自动化检测. 然而,在轻工制笔领域,尤其涉及透明笔芯相关检测,尚未有成熟的方法既可满足高精度检测,又可实现高效快速同步生产.
本研究从硅油无色特征出发,结合光源照射方位角,设计一种中性笔芯无色硅油注入量检测方法与系统. 首先介绍笔芯硅油注入量检测需求及系统架构;接着论述区域灰度直方图长度检测方法,尤其涉及光源在不同方位角照射时,硅油所显示的灰度差异变化趋势;最后结合生产实际对测试结果进行客观量化分析. 结果表明,本系统具有稳定性强、精度高等优点,能够实现硅油长度检测自动化和检测结果的实时评估.
1. 需求分析及检测系统架构
1.1 笔芯硅油注入量检测需求分析
目前笔芯生产所用硅油以无色硅油为主,一般在笔芯中注入定量墨水后再注入适量硅油,硅油注入量在笔芯中的长度约为6~10 mm,考虑后续离心等工序要求,笔芯中硅油必须有3 mm及以上连续长度,硅油未注入及连续长度小于3 mm的产品判为缺陷样品. 图1为自然光照下所采集的硅油区域原始灰度图. 由图可见,无色硅油与透明笔芯在颜色上具有极大的相似性,肉眼或传统方法很难准确判断硅油的注入量.
1.2 基于机器视觉的无色硅油注入量检测系统架构
机器视觉系统通过图像摄取装置将被摄目标转换为图像信号,传送给专用的图像处理系统,得到被摄目标的形态信息,根据像素分布、亮度和颜色等信息转变成数字信号;对这些信号进行各种运算提取目标特征,再根据判别结果来控制现场设备的动作. 在工业应用领域,最重要的方式是将图像二值化处理. 本研究中,光源是不可忽略的一个重要因素,直接影响输入图像的质量和至少30%的应用效果. 同时,不同类型的光源和照射方式所形成的照射效果不同,使用合适的光源和照射方式能极大提高所摄取信息的有效性.
图2为基于机器视觉的无色硅油注入量检测系统硬件架构,包括工业相机、光源控制器、均匀辐射平板光源、工控机、图像采集卡和PLC控制器等. 其中,工业相机采用大恒MER-500-14GM工业CCD相机,这种相机具有高分辨率、高清晰度、高精度、低噪声等特点,支持连续采集、软触发采集和外触发采集3种工作方式,适合笔芯生产线的复杂环境. 平板光源及其光源控制器构成光源系统,该系统可有效调节光源亮度、照射方位角等参数,以达到采集到最佳图像状态.
2. 区域灰度直方图长度检测方法
根据笔芯生产的检测要求和人工检测现状,本研究提出基于机器视觉的硅油长度检测算法流程,如图3所示. 首先,采集原始灰度图像并对其进行高斯滤波处理,减小图片噪声;其次,调整外部光源照射角,使无色硅油区域和周围区域对比度差异变大;最后,选择硅油检测区域,根据区域内像素值设置灰度范围,保证所选区域的灰度值在范围内. 通过求取检测区域最小外接矩形面积得出硅油注入量.
2.1 图像采集与预处理
图像采集是机器视觉检测的第一步,采用CCD相机对笔芯硅油进行拍摄,实现清晰图像的采集,在获取大量笔芯样本后再对图像进行分析和处理. CCD相机拍摄好笔芯硅油图像之后,经过图像采集处理可以在计算机上得到笔芯硅油原始图像. 一定数量的优质笔芯硅油原始图片是决定后续图像处理和检测工作成败的关键.
通过CCD相机直接拍摄的笔芯图像为RGB真彩图像,由于它包含的无用信息较多且不利于对图像进行处理运算,必须先将其转换为灰度图像. 根据红、绿、蓝3个颜色对笔芯灰度的影响情况,采用加权平均算法进行分配,规定笔芯图像的灰度为
Y=0.25R+0.65G+0.1B ,通过将RGB图像进行灰度变换可以有效降低图像处理的运算量.处理后的原始灰度图像中不可避免地会存在噪声,因此需要对图像进行滤波处理. 本研究采用一种广泛应用于图像处理领域的类视觉生理学的数学模型LOG算子[15]. 该算法首先通过高斯卷积滤波抑制图像噪声,然后利用拉普拉斯算子检测图像的边界. 其特点是使用高斯滤波器对图像进行卷积平滑处理,消除图像中的孤立噪声和小结构. 二维高斯函数平滑算子
Gσ(x,y) 表达式为Gσ(x,y)=1√2πσexp(−x2+y22σ2) (1) 式中:x和y为图像像素坐标;σ为高斯函数概率分布的标准偏差,也是高斯滤波器的唯一可变参数. 像素距算子中心越远,对LOG算子作用越小;当像素距中心距离大于3σ时,其作用可以忽略. 拉普拉斯算子为二阶微分算子,对于图像f (x, y),拉普拉斯算子可定义为
∇2f(x,y)=∂2f(x,y)∂x2+∂2f(x,y)∂y2 (2) 因此,经过LOG算子平滑后的图像可表示为
∇2[Gσ(x,y)∗f(x,y)] . 其中,*为卷积.根据算子的线性特性,可以交换微分运算和卷积运算的顺序. 因此可提前计算高斯算子
∇2G 的导数来降低复合运算的复杂度,公式为∇2[Gσ(x,y)∗f(x,y)]=[∇2Gσ(x,y)]∗f(x,y)=LoG∗f(x,y) (4) 其中,
∇2G 为LOG滤波器,定义为∇2Gσ(x,y)=∂2∂x2Gσ(x,y)+∂2∂y2Gσ(x,y) = x2+y2−2σ2σ4exp(−(x2+y2)2σ2) (5) 唯一可调变量σ决定LOG算子的滤波和增强特征区域的效果,合适的σ值可以抑制周围的干扰信息,同时有效提高特征区域的差异度. 这里选择σ值为0.4,滤波模板尺寸为5 × 5.
2.2 区域灰度对比度
为得到灰度值差异明显的图片,选用均匀辐射平板光源置于笔芯斜下方,调整光源倾斜照射角度分别为15°、30°、45°和60°,得到感兴趣区域(Region of Interest,ROI)如图4所示. 由图可见,光源照射角不同时,硅油区域的亮度有明显变化. 尽管周围区域的亮度也有所增强,但其增强程度较低. 随着照射角的逐渐变大,硅油的亮度先由暗到亮,再由亮到暗;当照射角度为45°左右时,硅油区域亮度最亮且与周围环境差异最明显.
获得灰度值差异较明显的图片后,要精确测得硅油长度,需要选取适当的ROI. 由于硅油形状为圆柱体,在测其长度时只需选取上凹液面和下凹液面之间的距离即可. 因此选取ROI时只需选取硅油偏中间的区域,这部分像素的灰度值与周围像素的灰度值差异最大.
2.3 区域灰度直方图算法
在原始硅油区域灰度图中,硅油和透明笔芯的对比度不明显. 图5为原始硅油区域灰度图的区域灰度直方图. 原始图的灰度值整体比较接近,主要集中在灰度区间[90, 160],区间范围较大且包含的像素点数较多,说明整体灰度值处于中间区域,没有表现出“明”和“暗”的明显差别,很难设定一个特定的灰度值范围将硅油区域全部概括,不能简单地通过灰度值差异区别硅油区域和非硅油区域.
图6为不同照射角所得到的ROI灰度直方图. 由图可见,外部增加光源后,图像整体的灰度值有明显增大,灰度值为255的像素点数最多,这是由于凹液面处的灰度值造成的,并不影响连续硅油区域灰度值. 图中还可以看出整体灰度直方图向右移,灰度值整体增大. 当照射角度为15°时(图6(a)),整体灰度值大部分落在[210, 255],灰度值跨度相比原始图的灰度直方图整体减小;当照射角度为30°时(图6(b)),图像整体灰度值跨度与照射角度为15°时相比没有明显变化,但图像像素点数的峰值右移,表明图像ROI整体灰度值变大;当照射角度为45°时(图6 (c)),图像整体灰度值跨度变小,同时灰度值峰值为255,即最大灰度值,此时硅油部分的灰度值与其余部分区别明显;当照射角度为60°时(图6 (d)),此时图像整体灰度值跨度变大,硅油部分的灰度值与其余部分灰度值差异变得不明显.
由上述分析可知,增加外部光源照射后,随着照射角度的变化,硅油区域灰度值峰值变大,照射角度为45°时达到峰值,此时区域灰度的跨度变小,灰度值分布更加集中,这样设置灰度值的范围更小,检测误差也更小. 在实际应用中,光源照射角处于45°到60°之间的某个角度时,灰度值差异会达到最佳效果.
3. 结果与分析
3.1 软件界面
根据上述软件框架及算法,利用Qt5.11.0 MSVC2015和Halcon库设计硅油长度检测系统界面. 界面的主要作用是实现人机交互,为用户提供简单、直接、方便的操作系统. 界面主要包括参数设置模块、图像和检测结果显示模块. 参数设置模块:在硅油长度检测之前,需要在此模块中设置保存路径、硅油长度参数、检测区域规格等参数,用于保存图像及计算指标等. 图像和检测结果显示模块:主要实现实时检测,实时显示当前所拍摄图像和检测区域的长度数值及判断结果.
3.2 硅油长度检测结果
图7为本研究检测系统在设计界面上的检测结果. 试验之前已设置好灰度值范围[240,255]以及相应的长度范围(单位为像素). 图7(a)为检测合格的结果图;图7(b)为检测到第1个检测工位没有笔芯,显示结果为0;图7(c)为缺陷样品检测图,其最右端注入量不在误差允许范围内,标记为红色.
为定量分析检测系统的检测精度,将本研究提出的检测方法与人工检测法进行比较试验. 采用混合矩阵评价检测效果,见表1.
表 1 混合矩阵评价指标Table 1. Evaluation index of hybrid matrix混合矩阵 检测样品 合格数量 缺陷数量 合格数量 TP FN 缺陷数量 FP TN 表中:TP为合格样品被识别为合格的数量;FP为缺陷样品被识别为合格的数量;FN为合格样品被识别为缺陷的数量;TN为缺陷样品被识别为缺陷的数量. 根据表1 的混合矩阵,采用真正率(
Pse )、真负率(Psp )和准确率(Pac )作为评价标准,其定义为Pse=TPTP+FN×100% (6) Psp=TNTN+FP×100% (7) Pac=TP+TNTP+FN+FP+TN×100% (8) 式中:
Pse 为合格样品被检测为合格的比率;Psp 为缺陷样品被检测为缺陷的比率;Pac 为样品检测总的准确率. 试验共获取图像400张,其中合格图像300张,缺陷图像100张,分别比较本文检测方法和人工检测方法结果,得到混合矩阵见表2.表 2 不同检测方法的混合矩阵Table 2. Hybrid matrix of different detection methods支 产品类别 本研究检测方法 人工检测方法 合格数量 缺陷数量 合格数量 缺陷数量 合格数量 298 2 283 17 缺陷数量 4 96 12 88 由表2和式(5)至(7)计算可得两者的真正率、真负率和准确率,结果见表3. 由表可见,本研究检测方法结果相较于传统的人工检测方法有很大提高,真正率、真负率、准确率分别提高5.00%、8.00%、5.75%. 这是由于人工检测方法的局限性,检测时间越久,人眼对目标的检测准确性会降低.
表 3 不同检测方法的真正率、真负率和准确率Table 3. True rate, true negative rate and accuracy rate of different detection methods% 不同方法 真正率 真负率 准确率 本研究检测方法 99.30 96.00 98.50 人工检测方法 94.30 88.00 92.75 3.3 长度精确度优化
试验中,固定光源照射角度为45°后,为提高测量长度的精度,选取不同宽度的ROI,对所采集数据进行对比分析,结果见表4.
表 4 不同ROI区域宽度测量的长度值Table 4. Measured length value of different ROI area width长度参数 ROI宽度/pixel 40 35 30 25 测量值/pixel 201 203 206 208 理论值/pixel 210 210 210 210 误差/% 4.30 3.30 1.90 0.95 由表4可知,ROI区域宽度越窄,测量的长度越精确. 分析其原因,当宽度越窄时,所包含的像素值越集中,计算长度时外接矩形所包含的像素点越密集,所产生的误差越小.
4. 结 语
为解决中性透明笔芯与无色硅油灰度差异小所导致的硅油注入量检测困难,提出一种基于机器视觉的笔芯硅油注入量检测方法与系统. 本研究所提方法与系统具有稳定性好、精度高和结构简单等优点,应用于实际生产中具有良好的效果,一定程度上替代了人眼视觉检测,对提高轻工制笔领域的自动化检测水平具有一定的参考价值.
-
表 1 混合矩阵评价指标
Table 1. Evaluation index of hybrid matrix
混合矩阵 检测样品 合格数量 缺陷数量 合格数量 TP FN 缺陷数量 FP TN 表 2 不同检测方法的混合矩阵
Table 2. Hybrid matrix of different detection methods
支 产品类别 本研究检测方法 人工检测方法 合格数量 缺陷数量 合格数量 缺陷数量 合格数量 298 2 283 17 缺陷数量 4 96 12 88 表 3 不同检测方法的真正率、真负率和准确率
Table 3. True rate, true negative rate and accuracy rate of different detection methods
% 不同方法 真正率 真负率 准确率 本研究检测方法 99.30 96.00 98.50 人工检测方法 94.30 88.00 92.75 表 4 不同ROI区域宽度测量的长度值
Table 4. Measured length value of different ROI area width
长度参数 ROI宽度/pixel 40 35 30 25 测量值/pixel 201 203 206 208 理论值/pixel 210 210 210 210 误差/% 4.30 3.30 1.90 0.95 -
[1] KIM K, PROCTOR R W, SALVENDY G. Emotional factors and physical properties of ballpoint pens that affect user satisfaction: Implications for pen and stylus design[J] . Applied Ergonomics,2020,85:103067. doi: 10.1016/j.apergo.2020.103067 [2] 姚鹤忠. 圆珠笔质量水平调查与评价报告(续)[J] . 中国制笔,2019(4):44 − 46. doi: 10.3969/j.issn.1001-7860.2019.04.007 [3] ROBINSON S L, MILLER R K. Automated inspection and quality assurance[M]. Boca Raton: CRC Press, 2017. [4] 吴志鹏, 黄丹平, 郭康, 等. 基于机器视觉的新型光缆节距检测方法研究[J] . 激光与光电子学进展,2020,57(8):321 − 328. [5] CHAUDHURY A, WARD C, TALASAZ A, et al. Machine vision system for 3D plant phenotyping[J] . IEEE/ACM transactions on computational biology and bioinformatics,2019,16(6):2009 − 2022. doi: 10.1109/TCBB.2018.2824814 [6] HOU Q L, SUN J, LYU Z Y, et al. An online tool wear detection system in dry milling based on machine vision[J] . The International Journal of Advanced Manufacturing Technology,2019,105(1/2/3/4):1801 − 1810. [7] 尹仕斌, 任永杰, 刘涛, 等. 机器视觉技术在现代汽车制造中的应用综述[J] . 光学学报,2018,38(8):11 − 22. [8] 汤勃, 孔建益, 伍世虔. 机器视觉表面缺陷检测综述[J] . 中国图象图形学报,2017,22(12):1640 − 1663. doi: 10.11834/jig.160623 [9] 艾永平, 唐巧兴, 王泽杰, 等. 基于机器视觉的割草系统青草识别研究[J] . 上海工程技术大学学报,2020,34(4):369 − 374. [10] 朱成德, 李志伟, 王凯, 等. 基于改进网格运动统计特征的图像匹配算法[J] . 计算机应用,2019,39(8):2396 − 2401. doi: 10.11772/j.issn.1001-9081.2018122590 [11] 张晓, 秦勃. 基于Canny算子的透明胶囊缺陷检测[J] . 计算机系统应用,2015,24(8):242 − 246. doi: 10.3969/j.issn.1003-3254.2015.08.044 [12] CANNY J. A computational approach to edge detection[J] . IEEE Transactions on pattern analysis and machine intelligence,1986, 8(6):679 − 698. [13] 关日钊, 吴磊, 徐焯基. 基于机器视觉的透明塑料件缺陷检测[J] . 装备制造技术,2018(3):167 − 171. doi: 10.3969/j.issn.1672-545X.2018.03.053 [14] 付兴勇, 任德均, 严扎杰, 等. 基于模板匹配的透明盒缺陷检测[J] . 软件导刊,2019,18(3):187 − 190. [15] 许长路, 李林升, 立济伟. 基于Gamma矫正与LOG算法融合的锂电池极片缺陷检测方法[J] . 机械设计与研究,2020,36(6):105 − 109. 期刊类型引用(1)
1. 张军,陈超,包锐. 圆珠笔笔芯脂的设计开发与性能评价. 合成润滑材料. 2024(02): 1-7 . 百度学术
其他类型引用(0)
-