基于手势识别技术的智能电视遥控系统

大学生创新创业训练计划项目

项目名称：基于手势识别技术的智能电视遥控系统

目录

项目研究意义项目简介项目可行性分析技术方案硬件支持创新点取得成果完成情况项目简介

1科技发展趋势

在过去几十年中，计算机技术飞速发展，在各行各业中，计算机都给人们带来便捷，人们己经与计算机密不可分，其中，人与计算机的信息交互是必不可缺的一步。人机交互最常见模式是依赖于简单的机械装置，即键盘和鼠标，真他的还有诸如触摸屏等。尽管上述交互方式广泛存在于人们的日常生活中并被熟练使用，我们还是不禁要想，是否还有更自然，更符合人类习惯的人机交互方式，其中一种主流趋势就是手势识别技术。手势是一种人类的基本特征，是人际交往过程中不可缺少的一部分。

手势识别技术的发展，为人与机器或其他设备的交互提供了可能。根据手势在时间和空间上的差异，手势可分为静态手势和动态手势，对静态手势的研究主要考虑手势的位置信息，而研究动态手势除了要考虑手势空间位置变化，还需要考虑手势在时序中的变化规律。随着科技的发展，对手势识别技术的研究已经成为热口课题，基于手势识别技术的应用也开始渗透到人们生活的方方面面，这是一项技术走向成热的标志。同时，手势识别技术无论是在手势样本的采集，还是手势设计上都有自己的优势，手势识别的深入研究有着很重要的意义。

2人们追求快捷的心理

随着经济的快速发展，人们的生活水平也在逐渐提高，从只求温饱到如今的追求高品质的生活。高品质的生活，已经不是曾经人们认为的吃饱穿暖，这些曾经的单一元素已经不再能够满足人们的需求，现如今，衣、食、住、行各个层面的改变无一不体现着人们对高速便捷生活的追求。手势操控不仅应用于部分生活设备中，它将可以打入我们生活中的方方面面，满足人们各方面的生活需求。这将提快我们的生活速度，正如同我们再无需四处寻找遥控器，无需再快速赶去一个地方去做另外一件事，我们只需要通过我们的手势操控便能轻松完成我们所需要做的工作。

3人们的懒惰心理

随着经济的发展，比如美团，饿了么迅速的发展起来，是人们的懒惰还是时代的需要。可见随着科技的发展人们越来越不愿意去做费时费力的事了，都希望生活能更加快捷便利些。

4该设备未来的发展趋势

我们的手势识别技术主要有下面几个应用领域：人机交互。手势取代传统的敲击键盘或点击鼠标作为输入来控制自己的计算机，能够使人与机器之间的交互湿得更加智能化、自然化，而且可将人们在日常生活中所获得的经验，直接运用到交互活动中，能够充分提高虚拟世界中的可操作性，并且可在虚拟世界中完成更加复杂的任务。近年来，电子游戏开始逐渐进入我们的生活，并成为人们日常必不可少的一部分，尤其是虚拟现实技术的发展，如何将手势控制加入虚拟现实中，也是当前一个非常重要的研究方向。如今市面上，功能也有多有少，带给人们的智能生活体验也不一样。如何获得更好的智能生活体验，是该方面商家正在努力研究的一个课题。面对不同层次不同年龄层的消费者，对于该技术所具备的功能要求也不一样。也许该技术的有些应用不能满足所有人的需求，但是人们可以根据自己对于该应用的需求来选择不同的设备。

项目简介

1.1手势识别智能电视的技术背景

手势识别可以被视为计算机理解人体语言的方式，从而在机器和人之间搭建比原始文本用户界面或甚至GUI更丰富的桥梁。手势识别使人们能够与机器进行通信，并且无需任何机械设备即可自然交互。

使用手势识别的概念，可以将手指指向电视屏幕，使得光标将相应地移动，完成频道切换和音量改变。

1.2手势识别的关键技术

手势无论是静态或动态，其识别顺序首先需进行图像的获取手的检测和分割手势的分析，然后进行静态或动态的手势识别。

1.2.1手势分割

手势分割是手势识别过程中关键的一步，手势分割的效果直接影响到下一步手势分析及最终的手势识别。

1.2.2手势分析手势分析是完成手势识别系统的关键技术之一。通过手势分析，可获得手势的形状特征或运动轨迹。

1.2.3手势识别

手势识别是将模型参数空间里的轨迹(或点)分类到该空间里某个子集的过程，其包括静态手势识别和动态手势识别，动态手势识别最终可转化为静态手势识别。

1.2.4手势识别实现

智能电视手势控制系统以实现对智能设备的节目切换、音量调节、静音开关等控制功能为目标，模拟系统由智能电视、便携式计算机组成。系统中的无线视频机顶盒连接智能电视，并通过无线方式接收便携式计算机发送的手势识别信号。

1.2.5红外遥控模块实现

红外线遥控是目前使用最广泛的一种通信和遥控手段。

1.2.6图像收集和处理

基于stm32高位单片机通过软件编程设置OV摄像头内部参数果集图像，并将采集到的图像转换为数字信号存储。

项目可行性分析

随着人机交互技术的发展，人与设备之间的交互体验越发简单和自然。现今，不论是小小的智能手机终端还是大屏幕设备都可采用触屏技术，使人们摆脱了繁琐的键盘输入和鼠标控制。未来，人机交互的理想状态可通过语言、手势、表情等自然操作设备，而这些功能已在多种领域尝试和应用，其功能优化和发展依赖于手势识别等技术的发展。

就目前的形势来看，智能家居是未来生活的一种发展趋势，不仅是年轻一代，在中年老年人间也愈来愈受欢迎。智能家居产品已经多多少少开始渗透到我们普通的家庭中，智能插座、智能灯泡、安全摄像头、智能锁和智能恒温，几乎我们生活的各个方面都已经开始变得智能化。人机交互界面将从现有的图形化界面(主要使用于触屏的视窗与键盘滑鼠的操作方式)发展到实体使用界面。手势识别技术将在智能家居中大量应用。目前手势控制是近年智能家居的发展方向，随着科技的进步，朝着更加人性化的方向发展，基于手势识别的智能家居控制方式将会变得更为系统、智能，也会越来越普及。

另外，随着物联网智能设备产业的发展，智能设备将是智能家庭空间的重要应用，如何使用户与智能设备更自然地交互，是各大家电厂商技术竞争的动力。目前，采用较广泛的技术是在智能设备中嵌入无线模块，通过无线感知、远程控制、服务的方式为用户提供操作功能，而这仍需要家庭用户通过各种终端进行操作。现今，手势识别技术取得较大发展，相对传统手势识别技术易受光照、背景等外部因素影响，手势识别准确率具有较大提高

年全球手势识别与传感器市场达到了31.2亿美元的规模，其复合年增长率为32.78%。日前一份新发布的分析报告称，到年该市场规模预计将达.6亿美元。

技术进步使硬件精度大幅提升，从而进一步拉升了对手势识别与传感器市场的需求。在智能手机与汽车领域，手势识别与传感器市场呈现指数增长，其中的关键因素为硬件成本低廉，同时可大幅改善用户体验。而另一方面，高功耗也成为阻碍市场增长的主要原因。据预测，全球手势识别与传感器市场未来增长机会主要将落在智能家居以及部分新兴领域。

目前北美与欧洲国家是传感器最大的需求来源，预计亚太地区将迅速崛起并占据大部分市场份额。除谷歌、苹果、微软、英特尔等科技巨头外，各个细分领域也涌现出一批佼佼者，如体感技术公司Softkinetic、图像识别公司Cognivue、物联网公司Pointgrab、以及提供半导体解决方案的英飞凌科技等。另一大趋势是，中国、印度等发展中国家创业公司正在大量吸引投资，预计未来几年内将成为该市场的中坚力量。

技术方案

手势识别系统流程图

手势识别相对来说可以简单也可以很复杂，这取决与要识别的手势。有三种基本的方法可以用来识别手势：基于算法，基于神经网络和基于手势样本库。每一种方法都有其优缺点。基于算法的手势识别相对简单容易实现，基于神经网络和手势样本库则有些复杂。

结合应用需求，动态手势识别算法包括3种，即基于语义识别、基于统计识别和基于模板识别，下表对各种识别方法进行了比较。

从比较来看，动态手势识别算法主要应用HMM和DTW两种，针对简单孤立的手势识别，两种算法识别效果不大，但因HMM模型建立过程复杂，所以选择较为简单有效的DTW算法进行手势识别。

DTW算法

算法简介：DTW算法采用动态规划的思想，可以很好地解决时间轴畸变问题，被广泛应用于语音识别系统。而语音识别和手势识别相类似，起决定作用的不是语言和手势移动的速度，而是音调和手势移动轨迹。

时间规整函数：设模板特征向量时间序列A={a1,a2,…，ai}和待识别特征向量时间序列B={b1,b2,…，bj}，其中i不一定等于j。通过DTW算法可构建一个时间规整函数，使序列B的时间轴j映射到序列A的时间轴i的总误差最小。设F={f(1),f(2),…，f(n)}为时间规整函数，其中f(n)=(i(n),j(n))表示第n个匹配点，i(n)和j(n)分别是序列A和B的特征矢量，其匹配距离可表示为d(ai(n),bj(n))。按照DTW动态规划先局部后整体的算法原理，即获得使所有匹配点的特征向量之间的加权距离和D最小。

设计手势样本

由于基于DTW的手势识别是一种基于模板匹配的方法，因此需要建立手势模板库。

将录制好的手势数据存入模板库，然后根据算法对控制手势与模板库匹配，识别出手势。

红外遥控模块实现

工业设备中，在高压、辐射、有毒气体、粉尘等环境下，采用红外线遥控不仅完全可靠而且能有效地隔离电气干扰。普通的家用遥控器实际上已经是多路控制红外遥控系统。

多路控制的红外发射部分一般有许多按键，代表不同的控制功能。当发射端按下某按键时，相应地接收端有不同地输出状态。接收端的输出状态大数可分为脉冲、电平、自锁、互锁、数据五种形式。

STM32开发板配套的遥控器使用的是NEC协议，其特征如下：8位地址和8位指令长度地址和命令2次传输（确保可靠性）PWM脉冲位置调制，以发射红外载波的占空比代表“0”和“1”；载波频率为38Khz；位时间为1.ms或2.25ms；红外模块设计思路

开启定时器对应通道输入捕获功能，默认上升沿捕获。定时器的技术频率为1MHz，自动装载值为，也就是溢出时间为10ms开启定时器输入捕获更新中断和捕获中断。当捕获到上升沿产生捕获中断，当定时器计数溢出，产生更新中断。当捕获到上升沿的时候，设置捕获极性为下降沿捕获（为下次捕获下降沿做准备），然后设置定时器计数值为0（清空定时器），同时设置变量RmtSta的位4为1，标记已经捕获到上升沿。当捕获到下降沿的时候，读取定时器的值赋值给变量Dval，然后设置捕获极性为上升沿捕获（为下次捕获上升沿做准备），同时对变量RmtSta的位4进行判断。如果RmtSta的位4为1，说明之前已经捕获到过上升沿，那么对捕获值Dval进行判断，-之间，说明接收到的是数据0；-1之间说明接收到的数据为1；-之间，说明是连发码；-说明为同步码。如果是定时器发生溢出中断，那么分析，如果之前接收到了同步码，并且是第一次溢出，标记为完成一次按键信息采集。检验用户码与用户反码是否一致，数据码与数据反码是否一致。硬件支持

数据的采集图像的采集用的是图像传感器OV它体良小，工作电压低。它采用的是CMOS摄像模块,是先进、节能的高精度相机的内置式组件，它把实现优质VGA影像的CMOS影像传感器与高度集成的影像处理器、嵌入式电源和高质量的透镜组结合在一起，输出JPEG图像或视频图像，提供了完整的影像解决方案功能强大且使用方便灵活。

2.数据的存储

一帧图象信息通常包含X或X个字节，储存一帧图像的完整信息，则需要选择适合存储器。

3.数据的处理与显示

数据显示采用3.5寸液晶显示屏，显示图像范围较大,用stm32采集的数据,使用起来非常方便

4.图像预处理

为了从图像中找到需要识别的东西，还得对图像进行分割，也就是进行定位和分离，以分出不同的物体。为了给观察者以清晰的图像，还要对图像进行改善，即进行复原处理，它是把已经退化了的图像加以重建或恢复的过程，以便改进图像的保真度。

控制核心——STM32

armcortex-m3内核：选用stm32系列单片机做为系统的控制核心。容量大，采用armcortex-m3内核，性能高、功耗低、成本低且处理速度快，提供了更高的效率。，性价比较高。

嵌入式Flash存储器和RAM存储器:内置多达KB的嵌入式Flash，可用于存储程序和数据。多达64KB的嵌入式SRAM可以以CPU的时钟速度进行读写(不待等待状态)。

采用ov采集图像，然后采用stm32处理数据并控制液晶将采集的图像进行显示。单片机的DCMI（数字图像接口）对接摄像头的输出口；摄像头配置的输出时序为数字摄像头时序；

stm32单片机优点：外设共用性提升了应用灵活性，使得可以在多个设计中重复使用同一个软件。此外，STM32产品家族有低电压和节能两大优点。2.0V到3.6V的工作电压范围兼容主流的电池技术，如锂电池，封装还设有一个电池工作模式专用引脚Vbat。低功耗模式共有四种，可将电流消耗降至两微安。从低功耗模式快速启动也同样节省电能。

STM32由于有各种外设操作起来简单，可以处理模拟以及数字信号，适用于设计的控制电路。

stm32缺点：STM32是跑指令的，适合跑算法，但是针对多路的信号处理就需要很多片DSP（数字信号处理技术）来并行处理

创新点

1.打破声控、触控等控制系统的限制

只需做手势，手上不需带任何器械，方便且成本较之于穿戴式系统低廉。

2.手势识别与软件图像处理技术结合

通过手势远程控制电器的开关及其工作模式，使操作者在不与家居开关直接接触的情况下，方便的进行控制。

3.手势有多种操作功能

提出使用一种学习型红外遥控模块进行家用电器的学习控制，通过学习可以用一个手势遥控器完成对多个不同家用电器的控制。并且最终将手势识别系统的输出与学习型红外遥控装置相关联，能在不仅变现有家用电器结构的前提下直接使用。

4.远程自动控制

具有较好的实时性和准确性，将手势识别技术应用在远程自动控制领域，

使操作者在不与家居开关直接接触的情况下，方便的进行控制。

成果

系统功能模型展示

手势样本数据库：

左右手共有10个左右的手势单元，也就是说有10个基本的手势动作。

首先，训练手部的检测器，用来获得手部局部图；接着，利用多种手势检测器对局部图进行检测分类。

左手(右手)握拳手势识别开始：当行为人发出握拳的行为姿势，经获取图像处理分析，特征匹配之后，认定操作为触发手势识别，开始进行识别。

左手(右手)向右顺向频道切换：当行为人发出左手(右手)向右的行为姿势，经获取图像处理分析，特征匹配之后，认定操作为触发频道切换，开始进行顺向频道切换。

左手(右手)向左逆向频道切换：当行为人发出左手(右手)向右的行为姿势，经获取图像处理分析，特征匹配之后，认定操作为触发频道切换，开始进行逆向频道切换。

左手(右手)向上音量增大：当行为人发出左手(右手)向上的行为姿势，经获取图像处理分析，特征匹配之后，认定操作为触发音量增大，开始进行音量增大。

左手(右手)向下音量减小：当行为人发出左手(右手)向下的行为姿势，经获取图像处理分析，特征匹配之后，认定操作为触发音量减小，开始进行音量减小。

图样如下：

完成情况

(1)通过摄像头进行手势图像采集，并建立手势样本库;

(2)学会利用STM32进行图像的处理、手势的分割和特征的提取,与手势样本库中的手势样本进行匹配与识别;

(3)设计学习型红外遥控模块并调试;

(4)完成结题报告书

仅用大学生创新创业训练计划项目，严禁转载

转载请注明：http://www.aierlanlan.com/cyrz/8226.html