探索无声密码 破解行为语言计算之谜

姚登峰教授

人类的沟通方式是多样的，一句话，一些简单的手势，往往就能让对方心领神会，遗憾的是语言的发展，令手语和行为语言沟通渐渐被遗忘。然而姚登峰博士却痴迷于这个无声的世界，行为语言计算成为他破解无声世界密码的最佳途径，通过长时间的探索和研究，在这一领域取得了突破性进展。

进入无声世界 解锁无声密码

姚登峰是位听障人士，在聋教界更是一位传奇性人物。2006年姚登峰北大硕士毕业后，在北京联大任教。恰逢北京联大与IBM签署合作协议，在中国第一个试点将信息无障碍技术引进高校。从此，他倾注了自己全部热情和精力，在完成教学任务的同时，开始了信息无障碍的研究。他主持了教育部与IBM精品课程建设项目，在中国第一个将无障碍技术整合进软件测试课程，先后在信息无障碍领域顶级SCI期刊和顶级会议发表来自中国大陆的第一篇论文。此外他还参与研发了微软、中科院计算所、北京联大合作的基于Kinect的手语识别翻译系统、国内第一台手语机器人——联大一号等科研项目。

手语作为听障者的母语，是全世界语言学家公认的一种自然语言，手语计算却是空白领域。为了从事这项研究，姚登峰在2012年考入清华大学师从江铭虎教授。谈及录取姚登峰攻读博士学位的初衷，江铭虎教授说：上帝推倒“巴别塔”阻碍了人类的交流，我们正在用人工智能重建“巴别塔”。希望在“巴别塔”工程上建一座“桥梁”，即利用手语认知和计算技术，让有声世界的口语族与无声世界的手语族能通过这座“桥梁”自由往来。姚登峰是游历在有声和无声世界的学者，通晓两个世界的语言。

手语计算是多学科交叉的研究领域，靠单一的学科知识不可能完成。通过一系列的研究，姚登峰发现手语在韵律感、流畅度、陈述顺序各方面的表现特点与有声语言不相上下。为此，他在国内率先开展了一系列手语脑认知实验，使用最尖端的精密仪器——ERP实验研究了中国手语模态对大脑加工的影响，他发现手语是一个很重要的模态，同有声语言一样也是人类对于客观世界感知体验后的产物。第一个在国际上提出了手语认知架构等，发表了《手语模态对句子加工的影响》《Cognitive computing on Chinese Sign Language perception and comprehension》等论文。

此外，手语并非一串冻结在空间中的姿势组合，会根据时间不断地变换内容，如同音乐和口语，也具有节拍和段落的动态本质。传统的同步化结构模型无法呈现这些顺序性，反倒让这些特性隐晦不明。传统的静态模型不再适用，必须改以精确巧妙、动态描述的方式——类似音乐和舞蹈的形态。根据这些发现，他从认知计算角度认为手语认知计算是从手势的物理特征到语义表征的映射转换过程。即从像素、边等底层特征逐层加工映射成音韵特征，再根据音韵特征加工成低级别的语义单元、再逐步抽象出高级别的语义单元之类的高层特征，最终形成手势语义概念。由此可见，过去三十多年的手语识别与计算省略了音韵特征、语义单元这样的中间步骤，直接从底层特征得到语义概念，这样的分析有很多疏漏。他提出基于音系学特征而非视觉特征进行手语理解等，发表了《Sign Segmentation in the Text of Chinese Sign Language》《基于音系学模型的手语理解》等论文。

牵手行为语言计算 探索人工智能领域

姚登峰清华博士毕业后，先后主持或参与了国家语委重点项目“手语语言处理的智能化理论和技术研究”、教育部人文社会科学研究青年基金“中国手语空间隐喻加工神经机制的ERP研究”等项目。他领导的课题组是国内唯一在语言学领域开展行为语言认知计算的团队，其以手语为代表的语言认知与计算研究在国内外一直处于领先地位。为了解决行为语言计算的定义和内涵的基本问题，他在国际上首次定义手语计算的概念，并提出了行为语言计算的理论，在《计算机学报》上发表了《手语计算30年：回顾与展望》论文。

姚登峰认为行为语言计算与传统语言计算的区别在于行为语言计算以空间计算为主，核心任务是将单信道表征和多信道表征相互转换，而非传统语言计算的根本任务“消歧”。因此空间建模、空间隐喻、空间语义等概念贯穿了行为语言计算的词法、句法、语义和语用等各个阶段。此外还需要解决行为语言的输入输出问题，发展多信道编码的理论，将传统语言计算研究的重点逐步过渡到多信道信息编码之中，带动传统语言与多信道编码理论并轨，形成最优的信道编码系统，从而提高通讯效率。

行为语言计算无法借鉴传统语言计算技术，但是互联网时代涌现出的新技术则为行为语言计算带来了新的机遇，比如体感设备的出现、认知神经科学的兴起等。未来，姚登峰团队将以助聋机器人为载体，以智能感知和认知计算共性关键技术和应用技术为主攻方向，致力于语言计算提供必要的技术积累以及应用经验。通过不同专业方向的交叉结合开展研究，下一步目标将利用深度学习开发大规模行为语言语料自动标注技术，解决尚无应用机器学习的行为语言语料库基础问题，面向智能产品和应用提供行为语言计算云服务等智能功能，助力人工智能的发展。

行为语言计算有极广的应用前景，尤其是在生活领域，将会成为听障人士不可或缺的生活小帮手，一旦助聋和多模态机器人研制成功，可应用到医院、法院等专业场合，解决手语翻译缺乏的问题，还可用于智能家居、老年陪护、儿童陪护、给教师缺少的偏远山区做辅教……

爱是姚登峰从事科研工作最大的动力，为听障人士解决沟通难题，是其科研的初心和最终目标，为了实现这一理想，他长期坚守科研第一线，用扎扎实实努力，不屈不挠的精神突破技术屏障，为行为语言计算的快速发展添砖加瓦。