嫦娥科研速报｜一种基于Kinect的动态手势识别方法-发明概述

专利名称：一种基于Kinect的动态手势识别方法

专利号：ZL 2018 1 0964621.X

专利摘要：本发明公开了一种基于Kinect的动态手势识别方法，本发明提出基于卷积神经网络和卷积长短时记忆网络的动态手势识别模型，用这两个部分分别处理动态手势的空间特征和时间特征，并且采用随机森林分类器融合彩色图像序列和深度图像序列的分类结果，对动态手势的识别率有较大的提升。

专利核心：Kinect；卷积神经网络；卷积长短时记忆网络；动态手势识别

专利介绍：

一、技术领域

本发明属于计算机视觉领域，更具体地，涉及一种基于Kinect的动态手势识别方法。

二、背景技术

随着机器人和虚拟现实等技术的不断发展，传统的人机交互方式逐渐难以满足人与计算机之间自然交互的需求。基于视觉的手势识别作为一种新颖的人机交互技术，得到了国内外研究人员的普遍关注。然而，彩色相机受限于其光学传感器的性能，难以应对复杂的光照条件和杂乱的背景。因此，具有更多图像信息的深度相机(如Kinect)成为研究者们研究手势识别的重要工具。

尽管Kinect传感器已经成功应用于人脸识别，人体跟踪和人体动作识别等方面，但使用Kinect进行手势识别仍是一个悬而未决的问题。因为相比于人体或者人脸，人手在图像上目标更小，导致更难以定位或跟踪，而且人手有着复杂的关节结构，运动时手指部分容易发生自遮挡，这也会导致手势识别更容易受到分割错误的影响，因此总体来说识别手势仍然是非常具有挑战性的问题。

三、发明内容

针对现有动态手势识别方法的不足，本发明提出了一种基于Kinect的动态手势识别方法：通过卷积神经网络提取动态手势的空间特征，通过卷积长短时记忆网络提取动态手势的时间特征，用动态手势的空‑时特征实现手势分类，并且融合彩色图像和深度图像的分类结果提高手势识别准确率。

本发明提供了一种基于Kinect的动态手势识别方法，包括以下步骤：

(1)用Kinect摄像头采集动态手势的图像序列，包括彩色图像序列和深度图像序列；

(2)对彩色图像序列和深度图像序列进行预处理操作，分割出图像序列中的人手；

(3)设计由4组卷积层‑池化层构成的2维卷积神经网络，用于彩色图像序列或深度图像序列中动态手势的空间特征提取器，并将提取的空间特征输入两层卷积长短时记忆网络以提取动态手势的时序特征，并输出相应的动态手势的空‑时特征；

(4)将卷积长短时记忆网络输出的彩色图像序列或深度图像序列的空‑时特征输入简单的卷积神经网络来提取更高层的空‑时特征，并将提取的空‑时特征输入到相应的彩色图手势分类器或深度图手势分类器，得到当前动态手势图像序列属于各类别的概率；

(5)按照步骤(3)和(4)分别训练彩色图手势分类器和深度图手势分类器，并使用随机森林分类器进行多模型融合，将随机森林分类器输出的结果作为最终的手势识别结果。

四、发明优点

与现有技术相比，本发明的有益效果包括：

(1)通过对动态手势图像序列进行人手定位与分割等预处理操作，可以减少环境背景对于手势识别的影响，同时也降低了整个动态手势识别框架的复杂度，从而提高了手势识别系统的可靠性和准确率。

(2)用卷积神经网络和卷积长短时记忆网络分别处理动态手势序列的空间特征和时间特征，网络的结构更加简单；同时在分类阶段结合彩色数据和深度数据的分类结果，相比传统方法进一步提高了动态手势识别的准确率。

五、附图说明

图1是本发明中基于Kinect的动态手势识别的流程图。   

• 关于嫦娥

湖北嫦娥生物股份有限公司是一家专注[非医药技术 亚健康理疗]的专精特新科技小巨人企业。集团总投资规模1.63亿元，有1家国家级科技企业孵化器丨众创空间，1家专精特新小巨人企业、2家规上企业、4个研究中心、5个材料种、养基地，6家国家级高新技术企业。

公司围绕《健康中国行动（2019-2030年）》15个专项行动，《“健康中国2030”规划纲要》《中国防治慢性病中长期规划（2017-2025年）》等重要政策文件，针对“肿瘤癌症，心脑血管、三高危害，代谢障碍、失眠抑郁、体弱多病、疼痛困扰”等亚健康预防康复需要，钻研包括“细胞抗衰、药食康复、特膳调理、营养干预”等创新性新对策，为人民持续输出“更先进、更绿色、更经济、更安全、更高效”的科学技术成果，帮助亚健康人群“减少就医频率，降低药物依赖，提高生活质量”。

10余年来，公司先后与20余所高校、知名专家团队开展产学研联合行动，针对亚健康、慢病问题发明创造新技术新方法。目前共获得了200+发明专利授权，其中40余项科研成果进入应用，持续在研课题70余项。

嫦娥生物股份声明：由于创新创造探索客观需要，本公司官网、公众号、视频号、学术交流用书刊等所发表的内容仅为科研同行、健康从业者一般性学习参考，为预防医学、营养医学、康复医学从业者提供前沿科研信息交流，案例参考；所涉及功效相关描述均有对应的实验室专项及行业检测数据支持，并不代表针对消费者的宣称和指导；涉及到的保健食品、功能性食品、特膳食品等不能替代药物，读者不应在缺乏具体专业掌握的情况下，擅自断章取义，盲目行动。