基于机器视觉的装配动作自动分割与识别

发布时间：2020-02-11 12:29

【摘要】：在对装配作业人员进行动作分析的过程中,动作的识别和记录一般通过手工操作完成,这种方法不仅工作量大,而且效率低。为解决该问题,提出了一种新的基于机器视觉的装配动作自动分割与识别方法。首先利用基于内容的动态关键帧提取技术提取视频流中的关键帧,实现动作的自动分割;然后提取感兴趣区域的尺度不变局部特征点,据此得出关键帧的特征向量;最后,基于支持向量机构建特征向量分类器对动作进行分类。装配线上样本视频的实验结果表明,所提方法达到了96%的正确识别率。
【图文】：

动作识别,算法流程

法同时提取人手和工件的ＳＩＦＴ特征点，应用特征点之间的位移向量表示人与环境的联系。通过使用上述方法可以有效地完成装配环境下连续动作的自动观察、分解与记录。１方法在进行动作识别之前，应首先对连续的动作进行分割，然后基于动作的静态特征、动态特征、时空特征或描述性特征对各个动作进行分类。动作的动态特征、时空特征以及描述性特征需从连续的图像帧中提取，而静态特征可从单帧图像中直接获龋由于本文是基于静态特征进行动作识别的，因此将单帧图像作为处理对象。本文的动作分割与识别过程如图１所示。首先，利用基于内容的动态关键帧提取算法提取视频流中的关键帧，其作用是减少后续处理对象的数量，实现连续动作的自动分割；然后，提取关键帧中的感兴趣区域（ｒｅｇｉｏｎｏｆｉｎｔｅｒｅｓｔ，ＲＯＩｓ）（包括人手和工件两类区域）以及ＲＯＩｓ的ＳＩＦＴ特征点，并依据特征点计算ＲＯＩｓ之间的位移向量集，该位移向量集即为关键帧的特征向量；最后，基于支持向量机对样本图像的特征向量进行训练，得到特征向量分类器，接着将关键帧的特征向量输入到分类器中识别出特征向量种类，并结合关键帧的时序特征以及特定场景下的判断规则识别出动作所属的动素类型。图１动作识别的算法流程Ｆｉｇ．１Ａｌｇｏｒｉｔｈｍｆｌｏｗｏｆｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎ１．１关键帧提取关键帧提取的准则是考虑帧之间的不相似性［１５］。基于内容的关键帧提取是依据每一帧的颜色、纹理等视觉信息的改变来提取关键帧［１６］，当这些信息有显著变化时，当前帧即可为关键郑关键帧提取技术减少了后续图像处理计算帧的数量，，从而确保了动作识别算法的时效性。

区域图,区域提取,特征点,流程

（ａ）原始图片（ｂ）肤色区域（ｃ）人手区域图３人手区域提取流程Ｆｉｇ．３Ｔｈｅｐｒｏｃｅｓｓｏｆｈａｎｄｄｅｔｅｃｔｉｏｎ还要经过进一步的检验才能精确定位为特征点［２０］。（２）生成模板图像ＳＩＦＴ特征点的描述子。首先在特征点邻域窗口内采样，并计算邻域像素的梯度直方图（直方图的峰值位置即为该特征点梯度的主方向），使算子具备旋转不变性［２１］。为了增强匹配的稳健性，用４×４×８共１２８维向量表征特征点的描述子。（３）通过特征点匹配得到关键帧中的特征点集。通过计算模板图像目标特征点与关键帧目标特征点的ＳＩＦＴ描述子之间的欧氏距离作为ＳＩＦＴ特征点的相似度度量，在关键帧目标区域内ＳＩＦＴ特征点中，找出与模板图像目标中某个特征点描述子欧氏距离最近和次近的两个特征点。若最近的距离Ｅ与次近的距离Ｆ的比值ｄ（Ｅ，Ｆ）小于阈值ＴＥ，Ｆ，则模板图像目标特征点与关键帧目标特征点匹配，从而得到关键帧中目标特征点的点集［２２］。１．４动作识别１．４．１获取图像的特征向量机械产品装配作业中的动作识别实质上就是识别该动作所属的动素类型。一个简单的装配作业通常包含以下４类动素：伸手、握娶移物、装配。在需要双手同时操作的机械产品装配作业中，ＲＯＩｓ一般由人的左右手和２个工件组成。通过ＳＩＦＴ特征点匹配可得到左手的特征点集Ｍ１（含有ｍ１个特征点）、右手的特征点集Ｍ２（含有ｍ２个特征点）、工件１的特征点集Ｎ１（含有ｎ１个特征点）、工件２的特征点集Ｎ２（含有ｎ２个特征点）。若

【相似文献】