据国外媒体报道,微软的体感套件Kinect是一个潜力无限的设备,微软研究中心正在进行的一个研究项目就希望用Kinect进行口语和手语的实时互译。
微软研究中心推出的Kinect手语翻译器(Kinect Sign Language Translator)可以将手语和口语进行互译,而且是实时进行。
简而言之,Kinect进行捕捉动作,之后靠机器学习和模式识别程序解析出这些动作的含义,Bing Translator技术则负责实际的翻译工作。当一个聋哑人用手语和一个说口语的正常人进行对话时,这套系统可以捕捉交谈双方的对话内容,视觉型号被转换成书面文字,而口语则被实时翻译并转换成精准的视觉信号。
这绝对是一项伟大的成就,不过这项研究还有很长的路要走。目前单单建立一个单词的模式识别程序就需要整整五位研究人员的工作。目前为止,研究人员仅仅添加了300个中国手语单词,而中国手语的单词总数约有4000个。
吴国斌(音译)是Kinect手语翻译器项目的项目经理,他表示识别部分目前是该项目最具挑战性的地方。此前项目组曾尝试过数据手套和网络摄像头,最终还是Kinect更适用于这一项目。
吴国斌表示,在中国有超过2000万有听力障碍的人,在全世界则有3.6亿有听力障碍的人。如果该项目的研究成果能正式面世,那么对于这些人无疑是一个福音。
本文来源:网易科技 作者:佚名