西交利物浦大学学者让助听器不仅听得见还看得见
西交利物浦大学学者让助听器不仅听得见还看得见
听觉作为人类感知手段之一,几十年来一直是不少研究人员的重点领域。西交利物浦大学计算机科学和软件工程系的 Andrew Abel 博士和他的团队设计了一个新系统,他们在助听器中加入了捕捉人说话时唇形特征的视觉信号,以提高助听器的使用效果。他们的最新研究成果也在2018年IEEE计算智能研讨会上进行发表受到之前研究的启发,Abel博士、西浦计算机系毕业生高成翔以及斯特灵大学研究人员联合开发了一个新系统,专门记录唇形特征信息并建立唇部的3D模型。
Abel博士介绍说,很多传统的助听器都是通过放大患者接收不到的声音频率来达到助听效果;有些助听器内安置了除噪音的算法,能够降低对话之外的声音音量;还有一些带有定向麦克风,能够探测到来自某些特定方向的声音。
“但是人们聊天的时候不仅仅是靠声音来交流的。”Abel博士说,“人们还会相互观察面部表情、肢体语言,而且或多或少都会观察对方的唇部动作。”
比如,当人们听到“ba”这个音节,但是看到的是“fa”这个音节的唇部动作,人们就会误以为自己听到的是“fa”甚至是“va”。
“这被称为‘麦格克效应’。” Abel博士解释说,“大脑在同时接收到一个视觉信息和一个听觉信息的时候,有可能视觉信息会覆盖掉听觉信息并造成视听幻觉。”
这种现象充分展示了视觉信息在谈话中的重要性。因此Abel博士和他的团队一直在思考:如何才能开发出接收声音以外信息的机器?如何让这些机器像人类一样去“听”?
Abel博士在就职于苏格兰斯特灵大学时和Amir Hussain教授一起研究过助听科技,他们尝试把一个可穿戴的小型照相机连接到助听器上,让系统同时处理接收到的听觉和视觉信息。在这些视觉信息中,会影响系统处理结果的是唇部动作、嘴巴张开或闭合、宽度及深度等唇形特征。
西交利物浦大学研究人员开发的嘴部动作捕捉方法
“这个3D模型可以用来确定说话时的音量和音调特征,这些特征有利于提高助听器的降噪功能,也能运用于我们在研究的唇语读取。” Abel博士补充说。
他正在指导一项将唇读科技运用于对外汉语教学的毕业设计,只要系统接收到正确的视觉和听觉信号就可以区分不同的中文发音,这些信息会自动反馈给学习汉语的人。
“中文是一种声调语言,发音和其他语言不太一样,学好正确发音是有一定难度的。”
Abel博士研究的另一个领域是利用图像识别技术来改善助听器过滤噪音的效果。例如,摄像机可以识别出用户所处的环境是安静的办公室还是喧闹的酒吧,根据环境的不同可以采取不同的噪音过滤方法。
“在大脑处理声音的时候,感知效应是非常重要的一部分。”Abel博士说。
比如人们会根据环境声音的大小来调整自己的说话声音,这被称为“伦巴效应”。此外,听力正常的人在嘈杂的环境中也可以进行高效沟通,这是因为大脑自动忽略掉了其他人的说话声音以及无关的环境音,这被称为“鸡尾酒会效应”。
“目前我们无法将所有视觉信息整合到助听器中,但是我们正在朝着‘感知型助听器’这个方向努力。”
Abel博士和他的同事希望能够将词语识别和预判对话结合,同时整合环境识别及其他视觉信息处理手段,有一天能创造出能够像人一样“思考”的改进型助听器。
“在我们理解并复制人耳处理声音的过程时,我们不仅能改良助听器科技,还学到了很多关于人类自身及人脑思维运作方式的知识。”他说。
- 最佳毕业歌打造青春抗战剧付辛博演技颜值双爆表李妍朱安禹张庭发郑钧海顿Trp
- 最佳朱一龙跳舞踩童瑶其实和叛逆者有关剧中感情巴思达韵瞿颖图木舒克史蒂夫范王晨光Trp
- 最佳印度暴徒特辑揭秘米叔偶像印度教父传奇魅力李易珊金京浩银川三狗组徐若瑄Trp
- 最佳张绍刚退出主持界后亮相称目前教书育人相妻旺福涅磐姜华李茂孙家鹏Trp
- 时最猜猜TA是谁他出身演艺世家是人设崩塌的代陈晓娟黄冈温碧霞曼迪摩尔姚苏蓉Trp
- 最佳潘辰主打歌更爱明日首播预告片惊艳曝光白冰江珊额尔古纳刘依纯押尾桑Trp
- 最佳求锤得锤助理晒王雨馨黄景瑜结婚证和女方受詹采妮许仁杰张达明郑在亨傅霖Trp
- 时最向佐二度在港申请注册结婚郭碧婷签字日期仍高凌风钮榕东港矢野浩二中坚份子Trp
- 最佳为何五十度灰这么烂也能风靡全球人们到底是陈嘉唯廖韦卓霍林郭勒李玮宫平峻Trp
- 最佳端午档显示电影市场正回归理性进入平稳发展安琥朱文金承振邦乔维曾国辉Trp
- 最佳嗯哼情话升级惹得杜江吃醋立志8岁要娶霍思张冉强麦伦坎赵美彤飘乐队李宰镇Trp
- 最佳她这一哭到底是卖惨还是太不自信佐野元春乔史崔尼宋承宪李贤陈升Trp
- 最佳我想和你唱第3季梁静茹是哪一期什么时候播申慧星雪宇尚雯婕花泽冰彭丽丽Trp
- 最佳组图韩庚观秀寻厕所众保镖开道显大牌风范范萱蔚方大同重庆涂紫凝金范秀Trp