2022年9至2023年1月,由国家自然科学基金委员会指导,国家自然科学基金委员会工程与材料科学部、国家自然科学基金委员会信息科学部、中国电子学会主办,清华大学、北京航空航天大学等单位联合主办的世界机器人大赛(World Robot Contest,如图1)举行了“共融机器人挑战赛”,并于近日公布了获奖结果和颁发了获奖证书。
图 1 2022世界机器人大赛
世界机器人大赛(World Robot Contest)自2015年起已成功举办了7届,共吸引了全球20余个国家近20万名选手参赛,已发展成为国内外影响广泛的机器人领域官方专业赛事,被各大主流媒体广泛赞誉为机器人界的“奥林匹克”。
“共融机器人挑战赛”在国家自然科学基金委员会“共融机器人基础理论与关键技术研究”重大研究计划指导下,围绕人-机-环境共融的机器人基础理论和设计方法,通过机械、信息、力学和医学等多学科交叉竞赛内容,推动科研团队在刚-柔-软耦合柔顺结构设计与动力学、多模态环境感知与人体互适应协作、群体智能与分布式机器人操作系统、人-机-环境多模态感知与自然交互等方面进行创新性研究,并为该领域的科研技术人员打造一个同场竞技、共同交流及展示的全新平台。
本次竞赛以“人-机-环境共融”为主题,目的在于探索如何有效结合语音信息与视觉信息及面部肌电信息来实现鲁棒的语音识别,以期促进语音识别技术的发展,并期望为当下的语音识别领域提供新思路与新方法。其中任务二为基于视觉模态的句子级无声语音识别,该任务的目标是根据视频中说话人的面部动作信息,来分析和识别出对应的说话内容(如图2所示),其目的是为了模拟真实场景下,通常难以保证待识别内容一定包含在训练集中的情况,以评测基于视觉模态的语音识别模型的鲁棒性。任务三为基于面部肌电的句子级语音识别,面向养老助残应用场景的无声语音交互,根据老人年及患有特殊发音疾病病患的日常生活辅助需求和紧急场景(如突然失声)的交互辅助需求,要求参赛团队据此应用场景和数据集设计算法解决该场景下语音交互问题,通过指令识别测试验证无声语音识别技术在实际应用中跨被试识别的有效性、实用性及适应性。
图 2 基于视觉模态的句子级无声语音识别演示动画
经过3个多月的激烈角逐,由中国科学技术大学自动化系於俊老师带领的中国科大参赛团队(以下简称USTC-IAT-United团队)取得了优异成绩,在两个任务中均斩获冠军。团队工作由於俊老师指导研究生谢国辰、贺鹏、张耀辉、朱继超、朱旺源、蔡忠鹏,和本科生彭子颀等人完成。
图 3 任务二获奖证书
图 3 任务二获奖证书
USTC-IAT-United团队针对该竞赛的特点提出了特色解决方案。在任务二中,针对输入视频中说话人的面部动作信息,团队使用3DCNN方法进行时空融合,经预训练 MoCo v2模型抽取融合帧的特征,利用Transformer Encoder和Decoder结构完成建模和解码,分析和识别对应的说话内容;在任务三中,针对基于面部肌电信号的句子级语音识别数据集,团队设计局部特征提取和全局特征融合的深度学习模型,在识别准确度及模型轻量化方面取得了最佳效果。在总决赛的比拼中,团队证明了所提出方案的可行性和有效性,并在两个任务中均取得了第一名的成绩。
本次大赛吸引了包括军事科学院国防科技创新研究院、北京大学、中国科学院自动化研究所、中国科学技术大学等众多高校、科研院所参与。
上述工作得到了国家自然科学基金面上项目和联合基金项目、安徽省重点研发计划、中国科学技术大学探索类基金、中国人工智能学会华为学术奖励基金等项目的支持。
玻璃钢生产厂家大型商场 美陈兴城玻璃钢圆门头雕塑玻璃钢雕塑浮雕柱常州玻璃钢卡通雕塑厂家供应本溪玻璃钢商场美陈新郑抽象玻璃钢仿铜雕塑玻璃钢动物雕塑哪家好牛气冲天玻璃钢雕塑很好的玻璃钢人像雕塑韶关玻璃钢雕塑推荐厂家西宁仿真玻璃钢雕塑安装小鸟玻璃钢雕塑工艺咸阳商场美陈济源玻璃钢卡通雕塑销售厂家园林景观玻璃钢雕塑哪家好推荐罗马柱玻璃钢雕塑定制玻璃钢动物雕塑供应商贵州景区玻璃钢雕塑供应商济南常用玻璃钢雕塑摆件玻璃钢雕塑v选济南金百盈黑河商场美陈玻璃钢雕塑直销厂家保山市玻璃钢雕塑设计生产商北京超市商场美陈批发中山玻璃钢人物雕塑费用是多少曲阳海韵玻璃钢雕塑厂山东大型商场美陈供应商嘉兴步行街玻璃钢雕塑舟山玻璃钢陶瓷雕塑玉林玻璃钢花盆厂家香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人?张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身!外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫:哈马斯三号人物被杀测试车高速逃费 小米:已补缴老人退休金被冒领16年 金额超20万