本发明涉及烟支质量检测技术领域，特别是涉及一种烟支外观检测方法及其装置、设备、系统和介质。

背景技术：

烟支在生产过程中，常常因为人为或设备原因，造成烟支表面缺陷或者打印钢印的缺陷，它已经成为成品卷烟质量占比最多的一大类问题。现有的烟支外观检测，大多是拍摄静态图片，要么拍摄多张不同角度图片，要么通过多个相机进行拍摄，再一张张与标样进行比对，通常无法一次性比对，亦或者无法对烟支外观及钢印检测提供更自动化的评测结果。

技术实现要素：

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种烟支外观检测方法及其装置、设备、系统和介质，以解决现有技术中的问题。

为实现上述目的及其他相关目的，本申请提供一种烟支外观检测方法，所述方法包括：获取待测烟支外表面360度扫描的全景图像；对所述全景图像进行预处理以去除噪音，并将预处理后的所述全景图像进行分割以找到目标区域；将所述目标区域内对应的图像与标准图像进行比对以得到对应的相似度，以供生成对应所述待测烟支的外观质量评估及缺陷信息。

于本申请一实施例中，所述将预处理后的所述全景图像进行分割以供找到目标区域的方法包括：基于神经网络通过训练多层感知机得到线性决策函数；利用所述决策函数对所述全景图像的象素进行分类，以得到一或多个互不重叠的子区域；依据预设目标数据从全部所述子区域中找到所述目标区域。

于本申请一实施例中，所述将所述目标区域内对应的图像与标准图像进行比对以得到对应的相似度的方法包括：当所述目标区域为钢印时，将所述钢印对应的标准图与所述目标区域内对应的图像的每个像素点进行比对；若与所述像素点相等，则记为相似点；统计所述相似点数量占全部所述像素点数量的比例以得到所述相似度。

于本申请一实施例中，所述将所述目标区域内对应的图像与标准图像进行比对以得到对应的相似度的方法包括：当所述目标区域为接缝时，依据所述目标区域内对应的图像中的黑色点计算所述目标区域对应的重点位置；将所述目标区域对应的重点位置与所述接缝对应的标准图的重点位置对比，以得到所述相似度。

于本申请一实施例中，所述针对的噪声包括：加性噪声、乘性噪声、量化噪声、高斯噪声、脉冲噪声、瑞利噪声、伽马噪声、指数噪声、及均匀噪声中任意一种或多种组合。

于本申请一实施例中，所述预处理方法包括：空间域滤波、变换域滤波、偏微分方程、变分法、及形态学噪声滤除器中任意一种或多种组合。

为实现上述目的及其他相关目的，本申请提供一种烟支外观检测装置，所述装置包括：获取模块，用于获取待测烟支外表面360度扫描的全景图像；处理模块，用于对所述全景图像进行预处理以去除噪音，并将预处理后的所述全景图像进行分割以找到目标区域；将所述目标区域内对应的图像与标准图像进行比对以得到对应的相似度，以供生成对应所述待测烟支的外观质量评估及缺陷信息。

为实现上述目的及其他相关目的，本申请提供一种烟支外观检测设备，所述设备包括：储器、及处理器；所述存储器用于存储计算机程序；所述处理器运行计算机程序实现如上所述的烟支外观检测方法。

为实现上述目的及其他相关目的，本申请提供一种烟支外观检测系统，所述系统包括：如上所述的烟支外观检测设备、及图像采集装置；所述图像采集装置包括：旋转加持机构、相机、及一对光源；所述旋转加持机构用于固定并旋转待测烟支，通过同步启动所述旋转加持机构、相机、及一对光源，以获取待测烟支外表面360度扫描的全景图像。

为实现上述目的及其他相关目的，本申请提供一种计算机存储介质，存储有计算机程序，所述计算机程序被运行时执行如上所述的烟支外观检测方法。

如上所述，本申请的一种烟支外观检测方法及其装置、设备、系统和介质，通过获取待测烟支外表面360度扫描的全景图像；对所述全景图像进行预处理以去除噪音，并将预处理后的所述全景图像进行分割以找到目标区域；将所述目标区域内对应的图像与标准图像进行比对以得到对应的相似度，以供生成对应所述待测烟支的外观质量评估及缺陷信息。

具有以下有益效果：

能够减少图像扭曲，提高检测准确性，无需拍摄多张照片或需要多台相机进行拍摄，并且能够时间对烟支外观及钢印检测提供更自动化的评测结果。

附图说明

图1显示为本申请于一实施例中的烟支外观检测方法的流程示意图。

图2显示为本申请于一实施例中的图像采集装置的场景示意图。

图3显示为本申请于一实施例中的神经网络分割方法的模型示意图。

图4显示为本申请于一实施例中的二值化处理及转换01矩阵的模型示意图。

图5显示为本申请于一实施例中的标准图与匹配图比对的模型示意图。

图6显示为本申请于一实施例中的计算接缝中心位置的模型示意图。

图7显示为本申请于一实施例中的烟支外观检测装置的模块示意图。

图8显示为本申请于一实施例中的烟支外观检测设备的结构示意图。

图9显示为本申请于一实施例中的烟支外观检测系统的结构示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，展示为本申请一实施例中的烟支外观检测方法的流程示意图。如图所示，所述方法包括：

步骤s101：获取待测烟支外表面360度扫描的全景图像。

于本实施例中，与常见需要拍摄多张不同角度图片，或者通过多个相机进行拍摄的做法不同，本申请仅需一个相机，并且仅需一张图像(360度扫描的全景图像)即可实现烟支外观检测。

于本实施例中，所述360度扫描的全景图像还可以通过拍摄视频而获得的由多个视频帧形成的360度扫描的全景图像。

于本申请一实施例中，获取待测烟支外表面360度扫描的全景图像可通过如图2所示的图像采集装置的场景示意图完成。如图所示，所述图像采集装置包括旋转加持机构、一对光源、及相机。

图像采集时，启动所述图像采集装置，由旋转加持机构的旋转部根据同步相位脉冲信号，通过皮带带动固定烟支的加持部进行旋转，同时光源进行打光，相机进行同步对烟支的外表面进行扫描成像(包括视频或图像)。该方式与现有技术相比，其优点在于，通过扫描记录后就可以得到平整的彩色图像，而减少了图像扭曲，使的准确性更高，也便于后期的处理。

具体来说，如图2所述图像采集装置，所述旋转加持机构中用于加持烟支的加持部还可以分为上夹盘或下夹盘。所述上夹盘旋转以相应获得烟支下半部的图像，或者，所述下夹盘旋转以获得烟支上半部的图像，然后烟支下半部的图像与烟支上半部的图像进行拼接，以得到待测烟支外表面360度扫描的全景图像。

需要说明的是，图2所述的图像采集装置也是本申请中所述烟支外观检测系统的组成部分。

于本申请另一实施例中，还可以由一固定部固定烟支，所述光源与相机保持相对固定，通过使光源与相机相对于所述烟支旋转，以获取烟支外表面360度扫描的全景图像。举例来说，可以设置一圆形滑轨，所述光源与相机保持相对固定的设置与所述圆形滑轨上，开始采集时，所述光源与相机按照圆圆形滑轨轨迹进行移动，并且所述光源与相机始终朝向所述待测烟支；或者，所述固定烟支的装置的底部设有轴承，轴承可相对所述烟支进行转动，所述轴承上与所述光源及相机通过一连接杆进行固定，开始拍摄时，所述轴承旋转并带动所述光源及相机以实现围绕烟支转动。以上两种方式均可获取待测烟支外表面360度扫描的全景图像。

当然，本申请所述的待测烟支外表面360度扫描的全景图像还可以是其他方式得到的，于本申请中，所述步骤s101主要强调获取的是全景图像，并未在该步骤中强调，全景图像的获取方式或利用了哪些装置，例如，还可以利用现有常见的多张不同角度的照片或多个相机拍摄不同角度的照片拼接而成的全景图像。

步骤s102：对所述全景图像进行预处理以去除噪音，并将预处理后的所述全景图像进行分割以找到目标区域。

于本申请的一实施例中，所述针对的噪声包括：加性噪声、乘性噪声、量化噪声、高斯噪声、脉冲噪声、瑞利噪声、伽马噪声、指数噪声、及均匀噪声中任意一种或多种组合。

通过，所获得的待测烟支外表面360度扫描的全景图像会有包括但不限于上述所列举的噪声，因此还需要对所述全景图像进行去噪的预处理。

所述加性噪声和图像信号强度是不相关的，如图像在传输过程中引进的“信道噪声”电视摄像机扫描图像的噪声的。

所述乘性噪声和图像信号是相关的，往往随图像信号的变化而变化，如飞点扫描图像中的嗓声、电视扫描光栅、胶片颗粒造成等。

所述量化嗓声是数字图像的主要噪声源，其大小显示出数字图像和原始图像的差异，减少这种嗓声的最好办法就是采用按灰度级概率密度函数选择化级的最优化措施。

脉冲噪声(椒盐噪声)，此类嗓声如图像切割引起的即黑图像上的白点，白图像上的黑点噪声，在变换域引入的误差，使图像反变换后造成的变换噪声等。

而从噪声的概率分情况来看，还可分为高斯噪声、瑞利噪声、伽马噪声、指数噪声和均匀噪声。它们用概率密度(pdf)表示，主要分类有以下几种：1)高斯噪声；2)脉冲噪声(椒盐噪声)；3)瑞利噪声；4)伽马噪声；5)指数分布噪声；6)均匀噪声。

为去除如上所述的噪声，对应的所述预处理方法包括：空间域滤波、变换域滤波、偏微分方程、变分法、及形态学噪声滤除器中任意一种或多种组合。

于本实施例中，所述预处理方法包括但不限于上述列举的处理方法。

1)空间域滤波

空域滤波是在原图像上直接进行数据运算，对像素的灰度值进行处理。常见的空间域图像去噪算法有邻域平均法、中值滤波、低通滤波等。

2)变换域滤波

图像变换域去噪方法是对图像进行某种变换，将图像从空间域转换到变换域，再对变换域中的变换系数进行处理，再进行反变换将图像从变换域转换到空间域来达到去除图像嗓声的目的。将图像从空间域转换到变换域的变换方法很多，如傅立叶变换、沃尔什-哈达玛变换、余弦变换、k-l变换以及小波变换等。而傅立叶变换和小波变换则是常见的用于图像去噪的变换方法。

3)偏微分方程

主要针对低层图像处理并取得了很好的效果。在去除噪声的同时，很好的保持边缘。偏微分方程的应用主要可以分为两类:一种是基本的迭代格式，通过随时间变化的更新，使得图像向所要得到的效果逐渐逼近，以及对其改进后的后续工作。该方法具有平滑图像和将边缘尖锐化的能力。偏微分方程在低噪声密度的图像处理中取得了较好的效果，但是在处理高噪声密度图像时去噪效果不好，而且处理时间明显高出许多。

4)变分法

另一种利用数学进行图像去噪方法是基于变分法的思想，确定图像的能量函数，通过对能量函数的最小化工作，使得图像达到平滑状态，现在得到广泛应用的全变分tv模型就是这一类。这类方法的关键是找到合适的能量方程，保证演化的稳定性，获得理想的结果。

5)形态学噪声滤除器

将开与闭结合可用来滤除噪声，首先对有噪声图像进行开运算，可选择结构要素矩阵比噪声尺寸大，因而开运算的结果是将背景噪声去除；再对前一步得到的图像进行闭运算，将图像上的噪声去掉。据此可知，此方法适用的图像类型是图像中的对象尺寸都比较大，且没有微小细节，对这类图像除噪效果会较好。

于本申请的一实施例中，所述将预处理后的所述全景图像进行分割以供找到目标区域的方法包括：基于神经网络通过训练多层感知机得到线性决策函数；利用所述决策函数对所述全景图像的象素进行分类，以得到一或多个互不重叠的子区域；依据预设目标数据从全部所述子区域中找到所述目标区域。

于本实施例中，处理好的全景图像噪声后，我们需要对整个图像中的目标区域进行分割，将视频图像分成若干互不重叠的子区域，使得每个子区域具有一定的相似性、而不同子区域有较为明显的差异。视频图像分割是图像识别、场景理解、物体检测等任务的基础预处理工作。

于本实施例中，采用基于神经网络的分割方法，通过训练多层感知机来得到线性决策函数，后用决策函数对象素进行分类来达到分割的目的。如图3所示为神经网络分割方法的模型示意图。通过训练，可以通过对象素进行定义或标签，实现分类来达到分割的目的。

对于一般的光学图像，是要提取某些像素以用于表述目标，其可以看成是分类问题，即把每一个像素标签化，找出感兴趣的那一类标签对应的像素；也可以是聚类问题，即不知道像素的标签，但通过某些特征可以对像素进行分类区分开。

于本实施例中，通过上述对全景图像的降噪和分割，再依据预设目标数据从全部所述子区域中找到所述目标区域我。例如，通过训练，将钢印对应的像素定为目标区域(钢印像素轮廓或形状)，然后通过预设为对应钢印像素为目标数据，从而找到目标区域。这个分类的层面往往不是针对像素，而是针对给定的一些分类，或定义的对象，或图像本身。

步骤s103：将所述目标区域内对应的图像与标准图像进行比对以得到对应的相似度，以供生成对应所述待测烟支的外观质量评估及缺陷信息。

需要说明的是，于本申请中，对于所述目标区域的不同，相应的比对以及得到对应相似度的方法也略有不同，详见下述说明。

于本申请的一实施例中，所述将所述目标区域内对应的图像与标准图像进行比对以得到对应的相似度的方法包括：

a、当所述目标区域为钢印时，将所述钢印对应的标准图与所述目标区域内对应的图像的每个像素点进行比对。

于本实施例中，获得所述目标区域(钢印)后，则通过比对图像以获得图像的相识度，由于前期采用的是扫描方式得到的图像，其为1:1的图像，这里我们采用像素点对比做钢印的图像比对。

b、若与所述像素点相等，则记为相似点。

c、统计所述相似点数量占全部所述像素点数量的比例以得到所述相似度。

于本实施例中，可以将所述目标区域内对应的图像中的像素点进行二值化处理，再将其转换为01矩阵，如图4所示，以便于与标准图进行比对。亦或者同时将标准图也预先进行二值化以及转换为01矩阵。

需要说明的是，通常烟支上钢印设计需要十分简洁，并非十分复杂的图形或图案，如矢量图(任意放大或缩小均清晰)，因此，将所述目标区域内对应的图像和/或标准图转换为01矩阵，大大方便了与标准图进行比对。

然后将标准图与目标区域内对应的图像的每个像素点进行比对，这里由于均处理为01矩阵，可以通过扫描两张完图片直接进行比对，即可以得到二者之间相似点的多少，如图5所示，再用相似点除以总点数，就可以得到一个0～1之间的数值，这就是相似度。

于本实施例中，通过设置一合格阈值，以依据所述相似度是否达到合格阈值，以得到待测烟支的外观质量评估，同时，如若不合格，还可以得知具体什么位置出现缺陷，或者将比对结果作为数据形成缺陷信息。

于本申请的一实施例中，所述将所述目标区域内对应的图像与标准图像进行比对以得到对应的相似度的方法包括：

a、当所述目标区域为接缝时，依据所述目标区域内对应的图像中的黑色点计算所述目标区域对应的重点位置。

b、将所述目标区域对应的重点位置与所述接缝对应的标准图的重点位置对比，以得到所述相似度。

于本实施例中，而针对烟支接缝，本申请主要采用重心法来获得接缝位置。

具体地，主要是对其进行位置的比对。可以计算其重心，判断黑色点主要是集中在什么区域。

循环扫描每个黑色的点，将它们的横坐标与纵坐标累加起来，得到横坐标的和与纵坐标的和。再除以点的个数，得到平均横坐标与平均纵坐标。再分别将其除以横、纵坐标的总长，得到两个个在0～1区间的数，这就代表它的重心，而这个重心就可以基本判定为接缝的中心点位置，可参见图6。

综上，本申请通过比对分析被测烟支的360度全景影像，然后参照标烟支合格判定规则，最后得到烟支合格与否，以及不合格的原因。通过对图像各个轮廓的提取及比对，评价当前被测烟支钢印及外观的质量结果，生成相应的质量评估及缺陷数据。

如图7所示，展示为本申请于一实施例中的烟支外观检测装置的模块示意图。如图所示，所述装置700包括：

获取模块701，用于获取待测烟支外表面360度扫描的全景图像；

处理模块702，用于对所述全景图像进行预处理以去除噪音，并将预处理后的所述全景图像进行分割以找到目标区域；将所述目标区域内对应的图像与标准图像进行比对以得到对应的相似度，以供生成对应所述待测烟支的外观质量评估及缺陷信息。

可以理解的是，所述烟支外观检测装置400通过各模块的运行，能够实现如图1所述的烟支外观检测方法。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块702可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块702的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(applicationspecificintegratedcircuit，简称asic)，或，一个或多个微处理器(digitalsignalprocessor，简称dsp)，或，一个或者多个现场可编程门阵列(fieldprogrammablegatearray，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessingunit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。

如图8所示，展示为本申请于一实施例中的烟支外观检测设备的结构示意图。如图所示，所述烟支外观检测设备800包括：存储器801、及处理器802；所述存储器801用于存储计算机程序；所述处理器802运行计算机程序实现如图1所述的烟支外观检测方法。

所述存储器801可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

所述处理器802可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field－programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

如图9所示，展示为本申请于一实施例中的烟支外观检测系统的结构示意图。如图所示，所述烟支外观检测系统900包括：如图8所示的烟支外观检测设备910，以及如图2所示的图像采集装置920。

所述图像采集装置920包括：旋转加持机构921、相机922、及一对光源923；所述旋转加持机构921用于固定并旋转待测烟支，通过同步启动所述旋转加持机构921、相机922、及一对光源923，以获取待测烟支外表面360度扫描的全景图像。

具体来说，所述旋转加持机构921中用于加持烟支的加持部还可以分为上夹盘或下夹盘。所述上夹盘旋转以相应获得烟支下半部的图像，或者，所述下夹盘旋转以获得烟支上半部的图像，然后烟支下半部的图像与烟支上半部的图像进行拼接，以得到待测烟支外表面360度扫描的全景图像。

于本申请另一实施例中，所述图像采集装置还可以通过一固定部固定烟支，所述光源与相机保持相对固定，通过使光源与相机相对于所述烟支旋转，以获取烟支外表面360度扫描的全景图像。举例来说，可以设置一圆形滑轨，所述光源与相机保持相对固定的设置与所述圆形滑轨上，开始采集时，所述光源与相机按照圆圆形滑轨轨迹进行移动，并且所述光源与相机始终朝向所述待测烟支；或者，所述固定烟支的装置的底部设有轴承，轴承可相对所述烟支进行转动，所述轴承上与所述光源及相机通过一连接杆进行固定，开始拍摄时，所述轴承旋转并带动所述光源及相机以实现围绕烟支转动，以获取待测烟支外表面360度扫描的全景图像。

于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的烟支外观检测方法。

所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述系统及各单元功能的实施例可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述系统及各单元功能的实施例；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本申请提供的一种烟支外观检测方法及其装置、设备、系统和介质，通过获取待测烟支外表面360度扫描的全景图像；对所述全景图像进行预处理以去除噪音，并将预处理后的所述全景图像进行分割以找到目标区域；将所述目标区域内对应的图像与标准图像进行比对以得到对应的相似度，以供生成对应所述待测烟支的外观质量评估及缺陷信息。

本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。