【摘 要】
：
参考人口普查和残疾人抽检调研报告表明,现如今中国的各种各样的残障人士的数量已经达到了八千五百万,大约占全国总体人数的6%。聋哑人在其中占了巨大的比例,约为2000多万人。手语是聋哑人之间沟通交流的方式,但是当他们和健全人进行沟通时,会遇到各种各样的困难。在此之前,能够完成聋哑人和健全人之间的双向交互系统的作用没有达到理想效果:比如应用肌电信号用于聋哑人与健全人进行交互的设备,仅仅只能片面的反映手臂
论文部分内容阅读
参考人口普查和残疾人抽检调研报告表明,现如今中国的各种各样的残障人士的数量已经达到了八千五百万,大约占全国总体人数的6%。聋哑人在其中占了巨大的比例,约为2000多万人。手语是聋哑人之间沟通交流的方式,但是当他们和健全人进行沟通时,会遇到各种各样的困难。在此之前,能够完成聋哑人和健全人之间的双向交互系统的作用没有达到理想效果:比如应用肌电信号用于聋哑人与健全人进行交互的设备,仅仅只能片面的反映手臂或者上肢神经肌肉的活动,它的识别率不怎么理想;而基于卷积神经网络的聋哑人交互设备在复杂的环境下,识别率会受到影响。并且以上的设备仅实现了聋哑人向健全人交流的过程,并未实现健全人向聋哑人交流的过程。因此,本文研制了一种手语实时翻译的聋哑人无障碍双向交互系统,当聋哑人向健全人进行交流时,聋哑人戴上数据手套比划手势利用弯曲传感器采集聋哑人手指的弯曲信号,与手背和前臂的姿态传感器通过串口通讯传输给MATLAB,当MATLAB接收到手背和前臂的姿态数据后对这些数据进行归一化处理,再将手背和前臂的姿态数据放入已经提前训练好的神经网络中作为输入,然后神经网络进行判断得到输出。将得到的特征向量通过串口无线传输给Arduino微控制器,将特征向量对应相符合的语音使得SYN6288中文语音合成模块发出与手势相对应的声音,将聋哑人的手势信息转变成健全人可理解的手势信息,完成聋哑人想要与健全人进行交流的目的。当健全人想要与聋哑人进行交流时,健全人对着LD3320A语音模块发出声音,LD3320A语音模块对声音进行识别,识别成功时向Arduino微控制器发送一个16进制指令,Arduino微控制器将接收到16进制对应相符合的人体角度22个数据,用来控制unity中人物做出与语音相对应的手语动画。把健全人的语音信息转变成聋哑人可理解的手势动画,完成健全人与聋哑人进行交流的目的。在本文所进行的实验之中,我们挑选了多名志愿者分别进行手语和语音实验。手语实验的实验结果表明手语实验的平均识别率达到94.9%,语音实验的实验结果表明语音实验的平均识别率达到90.8%,从而验证了本文所研制的双向交互系统的有效性和可行性。
其他文献
太赫兹频段下基于人工表面等离子激元（Spoof Surface Plasmon Polaritons,SSPPs）的双波束（Dual-Beam）漏波天线（Leaky-Wave Antenna,LWA）是一种行波天线,在高分辨雷达和实时频谱分析等领域有着非常广泛的应用因其强方向性、辐射效率高、小型化等优点,成为了近些年来的研究热点。本文主要以太赫兹频段下基于SSPPs的双波束漏波天线为研究目标。主要
目的:分析某院原发性高血压（EH）患者降压药物相关基因多态性分布特征,探索基于降压药物相关基因组学的经验用药方案,协助医生个体化控制患者血压,并通过个体化药学服务提高EH患者降压治疗效果,为今后临床药师针对EH患者开展基于降压药物相关基因组学的个体化药学服务提供参考。方法:研究分两部分。第一部分选取2018年9月-2020年8月某院药剂科检测5大类降压药物相关8个位点基因多态性的EH患者180例,
经股骨截肢（transfemoral amputation TFA）会对患者的生活质量、活动能力产生严重影响。多年以来截肢患者一直使用插座式假肢来满足日常的生活需要,但是插座与皮肤接触部位会出现压疮、皮炎、瘘管形成、多汗、瘙痒和痤疮等皮肤问题,严重影响患者假肢的使用。为了克服这些问题,一种植入式骨整合假肢概念被提出。该假肢不仅消除了与插座式假肢相关的所有皮肤和软组织问题,还由于固定在股骨内,可以使
近年来,多示例学习（Multiple Instance Learning,MIL）作为一种弱监督学习方法已取得大量研究成果,并广泛应用于教育、安全、医疗等许多领域。随着深度学习的发展,用于高效视觉信息检索、分类等任务的深度多示例学习引起了研究者的广泛关注,并且已取得很大的进步,但示例标签未知对深度多示例学习的研究仍带来很大挑战。为进一步提高深度多示例分类算法的准确度,本文以MI-Net和mi-Ne
富锂锰基（LMR）正极材料因其高比容量(>250 m Ah·g-1)而备受关注。但是在实际应用中,LMR正极材料受限于充放电过程中放电电压持续衰减、库伦效率低、高倍率性能差等问题。本文通过应用快速共沉淀法制备了草酸盐系富锂锰基正极材料前驱体,并通过高温烧结得到了Li1.2Ni0.1Co0.1Mn0.6O2正极材料。首先设计了一组正交实验,对前驱体制备工艺中温度、溶剂、草酸沉淀剂用量进行了探究。实验
在能源危机和环境污染的压力下,人们意识到能源转换和储存的重要性,缓解这些问题的根源就是开发出高效的催化剂。二硫化钼（Mo S2）因其独特的理化性质而在光电催化、储能等领域日益被重视。但是,Mo S2自聚集、表面惰性等缺点,阻碍了它的应用前景。本论文中,我们通过掺杂、与琼脂衍生的碳基材料复合等方法来规避Mo S2的劣势,进而推进其在电化学方面的应用。主要内容和结果如下:（1）以琼脂为C源、尿素为N源
在疾病传播的过程中,也伴随着疾病相关信息的传播。在现实世界中,疾病通常是通过熟人建立的真实接触网络进行传播。疾病相关的信息更多的是通过虚拟社交网络传播。对疾病相关信息的扩散和疾病的传播之间的相互作用进行建模已成为复杂网络传播动力学具有挑战性的课题,引起了广大学者的关注,并得到了一些有价值的成果,对疾病的防控具有一定的指导意义。近年来,很多模型采用双层网络来建模,讨论信息扩散和疾病传播的相互作用,通
如今随着各国航空科技的发展,战斗机的性能和飞行装备等方面获得了长足的进步。然而,复杂航空环境下的高G载荷以及弹射救生时所产生的巨大加速度冲击会对飞行员造成颈部损伤,严重时甚至可能影响其生命安全,同时会对国家造成巨大经济损失。因此,研究高G载荷下飞行员弹射时头颈部的运动规律和生物力学响应以及颈部损伤风险具有积极的意义。本文开发新的头颈有限元模型,通过应用动态载荷下的材料属性建立无肌肉有限元模型与有肌
随着物联网在半导体中的日益普及,MEMS器件的市场份额与日俱增。但是,其同时存在诸多问题需要解决。在加工过程中,由于尺寸微小和精度不足,加工误差不可避免。静电驱动微梁谐振器是中一种典型的MEMS传感器,其结构本身存在明显的非线性,甚至内部可能存在复杂的模态耦合振动。加工误差的存在会导致谐振器系统具有更强的非线性,因此考虑加工误差对微谐振器系统模态耦合振动的影响,对加强MEMS器件使用范围具有十分重
由于现代社会对化石燃料需求量的增加,二氧化碳（CO2）作为燃烧产物之一产生的温室效应是急需被解决的环境问题。人工模拟光合作用,利用有效的催化剂将CO2还原为有机产物既可以缓解能源短缺又可以解决环境污染问题,因此探索可利用的光催化剂尤为重要。超薄LDHs结构使得其表面低配位表面原子容易从晶格脱离形成缺陷,有利于CO2吸附和电子结构的改善,并因为其可调控性非常强,在催化领域得到了广泛的关注。本文基于C