冬奥手语播报数字人正式上线，凌云光数字人技术加持

2022年2月4日，四季初始，佳期如许。第24届冬季奥林匹克运动会在北京盛大开幕。世界目光再次聚焦北京，世界期待中国，中国做好了准备。北京冬奥会始终秉持绿色、共享、开放、廉洁的办奥理念，凝聚中国科技力量，展示大国风范，共同参与、共同享有，面向世界、面向未来，为世界奉献一场精彩、非凡、卓越的奥运盛会。

冬奥手语播报数字人——科技与人文的完美结合！

我国有超2700万听障人群，他们与健听人一样，对教育、社交、娱乐、信息获取都有巨大的需求量。电视媒体作为大众传播媒介，是好的普及传播通道。但传统人工手语翻译工作量大，且主持人和手语主持人配合难度极高。为了让听障人士能平等便利地享受冬奥盛会，北京电视台上线这样一位智能手语播报数字人，她仅用3个多月时间完成了近10万条手语语料学习，翻译准确率高达90%，在北京新闻和北京您早等节目中进行冬奥专题手语播报，为听障人士带来精彩冬奥赛事播报。

手语动作表情复杂，语序与正常语序差异大，正常情况下想要熟练掌握手语大约需要2年左右的时间，且还要结合语境进行猜测，她是如何做到的呢？

这归功于智能数字人技术的进步。

冬奥手语播报数字人系统是由北京市科委科技冬奥专班委托，凌云光、智谱AI和北京广播电视台联合打造，北京市残疾人联合会和市残联聋人协会的大力支持，在冬奥会期间，手语播报数字人在北京电视台冬奥专题节目上提供赛事专题播报，方便听障人士收看冬奥报道。

今天让我们一起来扒一扒冬奥手语播报数字人背后的技术创新。

高精度多模态的手语语料采集方案

创建10万条高质量冬奥手语语料库

近年来人工智能体系建设重点布局在算法层和应用层，数据层建设远远不足，尤其针对数字人相关产业，底层数据库的数量、质量和开源程度还明显不足。国内现有的手语语料数据库数量少，且多以图像、视频等二维平面为主，无法满足AI训练的需求。因手语手语语序与中文语序差异大，方言分化也更加复杂，且需要通过表情、口型、动作等方式来传达信息。除了传统的二维平面图像、视频采集，三维肢体运动、表情信息数据采集及结构化参数表达必不可少。手语作为肢体、手势、表情全面信息载体，手语语料数据库建设对三维运动信息捕捉需求更为明显。

凌云光多模态手语语料采集方案，集成高精度人脸人体重建、动作捕捉、面部表情捕捉、手指捕捉等技术，可实现二维\三维肢体动作、表情、手指等手语语料高效同步采集。在3个月时间内，完成10万条高质量手语语料库建设。同时充分调研2022北京冬奥专用手语术语，联合北京市残联、聋人协会等相关组织机构，进行数据标注，建设手语语义映射关系，极大完善了国内手语数据库的建设，为手语推广和AI研究留下了宝贵的数据资产。

AI手语数字脑，智能提取关键语义，

自动生成手语语序，准确率高

手语数字脑就是用计算机模仿听障人士的大脑，基于“悟道2.0”超大规模人工智能模型的技术支撑，将看到的中文文本信息转换成手语词汇序列，主要包括中文语义蒸馏模型和AI手语分词快编算法的研究。其中中文语义蒸馏模型用于从输入的文稿或文本中提取出关键的语义信息，将中文文本语义提炼和精简，形成精准匹配适合手语表达的文本。AI手语分词快编算法用于将蒸馏得到的中文文本根据冬奥手语语料库，划分成相应的手语词汇序列，供数字人做表达的输入。

跨模态拟人生成算法，将手语语序列

生成对应拟人的动作、手势、表情，

表达自然地道，更加易懂。

数字人是冬奥手语播报的载体和展现形式，通过凌云光高精度写实数字人全流程制作方案，可实现一键数字建模，高度还原真人发肤，毛孔级细节重现，更加真实亲切。通过跨模态拟人生成算法，可以将手语词汇序列，生成相应的动作信息，驱动数字人模型做出相应的动作、手势和表情。此算法能够兼顾短时相邻手势动作的连贯性和长时手势动作的语义完整性和一致性，支持正常语速驱动，动作表情自然流畅。

科技让生活更美好。冬奥手语播报数字人，让听障人士能平等、方便、无障碍的享受冬奥盛会，未来将会在更多场所提供更便捷服务。凌云光也将持续攀登科学高峰，推动产业创新，服务回报社会。