仿人机器人感知与控制关键技术及应用

国家技术发明奖推荐公示材料一、项目名称仿人机器人感知与控制关键技术及应用二、推荐单位意见机器人是促进我国制造业与服务业转型升级的重要支撑，是国家重点发展战略技术和产业，发展仿人机器人感知与控制技术是提升我国机器人技术研究并推动行业应用转化的重要途径。本项目围绕目前亟需攻克的仿生腿足运动能耗高、移动作业环境适应弱、操作作业动态伺服慢的难点问题，发明了 : 1) 采用新型弹性驱动关节的腿足机器人和高能效控制方法，研制的国内首台电机驱动单腿跳跃机器人单位距离能耗从国际最低 0.36 降至 0.29，跳跃高度提升至 35cm ；2) 感知单元多维运动的三维地图重构方法和双三视张量的立体视觉快速里程估计方法，研制的激光视觉融合自然导航系统重复定位误差从国际主流产品的 10mm 降至 2mm ； 3) 采用表面自然标记识别的高速旋转飞行目标状态估计方法和机器人快速伺服运动动态稳定控制技术，研制了国际首套可快速连续乒乓球对打和旋转球接打的仿人机器人系统。项目取得授权发明专利 53 项，其中美国专利 1 项，科技部专家组认定所研制仿人机器人系统 “取得了突破性进展，总体技术达到了国际先进水平 ”，项目成果有效推动了机器人应用推广和产业发展，形成了变电站无轨自主巡检机器人、无轨自然导航搬运机器人等产品，实现了批量应用，与国外同类产品形成有效竞争。近三年新增销售额 41799.15 万元，新增利润 3445.59 万元。获 2013 年浙江省科技进步一等奖。三、项目简介机器人技术及系统作为战略性高新技术是促进我国从制造大国向制造强国转变的重要技术抓手，是中国制造2025 十大重点领域之一。受限于机器人感知与控制核心技术水平，现有机器人只能遥控作业或在特定简单环境下重复执行预设作业，为推广应用带来极大约束。作为机器人技术发展的制高点，仿人机器人研究涵盖运动能力类人和作业智能类人问题，对机器人技术和产业发展具有不可替代的支撑和引领作用。本项目面向机器人技术与应用瓶颈，以仿人机器人为对象，围绕目前迫切需要攻克的腿足运动能耗高、环境感知适应弱、动态伺服作业慢的技术难题，发明了三项系统性的感知与控制核心技术。1. 仿生腿足高能效快速稳 定运动技术 。针对现有仿生腿足运动为克服重力矩和地面冲击而带来的高能耗问题， 发明了采用平面扭簧进行力位混合控制的弹性驱动模块化关节，在解决原有弹性驱动关节体积大、 弹性参数难以灵活设置问题的同时提升了对外部能量的利用； 发明了分层分布式架构的弹性驱动关节控制方法及单元，解决了非实时系统下 CAN 总线信号传输延时不确定造成的控制响应慢问题，响应速度提 升 50% ；发明了采用弹性驱动关节的腿足机器人连杆传动机构和飞轮控制方法，单位距离能耗从国际最低 0.36 降至 0.29 ，同时跳跃高度提升至35cm。2. 复杂环境建模认知与实时定位技术 。针对机器人移动作业对环境准确建模的需求，发明了采用混合高斯模型数据关联的三维地图重构方法 ，在国际上率先实现了旋转二维激光传感器移动状态下的连续动态稠密点云构建； 发明了采用本体论方法的环境语义建模方法 ，实现高效率的复杂环境同时建模与语义自动标注； 针对机器人大范围准确定位问题， 发明了双三视张量的立体视觉快速里程估计方法，可满足移动机器人姿态定位实时性与精确性的双重高要求， 研制的激光视觉融合自然导航系统，重复定位误差从国际主流产品的10mm 降至 2mm 。3. 动态运动对象伺服稳定操作技术。 针对高速旋转飞行目标的状态估计挑战， 发明了基于表面自然标记识别的旋转与飞行状态同时估计技术，国际上首次实现了旋转乒乓球的实时状态估计和轨迹预测 ， 0-60 转/ 秒转速下估计误差小于 0.07 转/秒，属国际领先；发明了基于特征点跟踪的实时精确多目视觉定位与自定位方法 ，实现了高频运动机器人对高动态目标的实时精确定位，目标相对定位误差远低于国际主流方法； 发明了移动平台在机械臂快速伺服运动时的动态稳定控制技术 ，解决了机器人自身不稳定性与快速精确作业间的相互干扰问题， 提升了作业成功率。项目取得授权发明专利 53 项（美国专利 1 项）；研制成功国际首套可快速连续乒乓球对打和旋转球接打的仿人机器人系统，科技部专家组验收认定“取得了突破性进展，总体技术达到了国际先进水平” ；依托项目发明技术研制的国内首台变电站无轨自主巡检机器人已覆盖全国21 个省份近 300 座变电站，销量居国家电网第一；基于项目技术研制的无轨自然导航搬运机器人，在华为成功替代国外品牌Adept 实现批量应用。近三年新增销售额41799.15 万元，新增利润3445.59 万元，获 2013年浙江省科学技术奖一等奖。四、客观评价1. 专家评价(1) 2012 年 2 月科技部组织的工业控制技术国家重点实验室现场评估中，张钹院士为首的专家组评价为 “ 围绕仿人机器人的快速感知与动态响应等难题，研制了 具有前瞻性的 可对打乒乓球的仿人机器人，在快速识别预测、稳定平衡控制、自主协调运动等关键技术方面取得 重要进展 ，研究成果在国内外引起很大关注” 。(2) 2012 年 8 月科技部专家组对课题进行现场验收， 评价为 “在仿人击球运动规划与击球范围、上肢与腰部协调控制、机器人运动控制总线等方面取得了方法和技术的突破， 对机器人技术的发展起到了引领和示范作用 。”(3) Science杂志特约撰稿人 1、帕多瓦大学 Stefano Debei 教授，意大利国家工程研究委员会副主席 Enrico Lorenzini 教授合作发表在 Measurement（ 78: 388396,2016）论文对申请人在里程估计上的研究成果进行了引用,并指出“ 将申请人提出的视觉里程估计方法用于太空探索，将会在卫星全局定位系统失效时尤其有价值”(4) 意大利理工学院服务机器人实验室主任 Nikos G Tsagarakis教授，引用申请人团队论文并指出 团队提出的视觉伺服与阻抗控制相结合的机器人全身控制方法是实现双足仿人机器人稳定平衡的进行连续击球的关键技术。(5) IEEE机器人与自动化学会主席意大利那不勒斯大学的Bruno Siciliano 教授引用申请团队论文， 指出申请人团队采用自适应轨迹预测技术（ “ adaptive trajectory prediction ”）研发的仿人乒乓球机器人令人印象深刻 （“impressive”）。2. 第三方专业测试(1) 2012 年 4 月 22 日，王田苗、赵杰、王耀南组成专家组对乒乓球对打仿人机器人系统及快速视觉感知与处理单元进行了性能测试。(2) 2016 年 11 月 26 日，李贻斌、葛运建、罗均、马宏绪、苏波、杨灿军组成专家组对单腿跳跃机器人和双足跑跳机器人进行了性能测试。(3) 由中国电力科学研究院对变电站智能巡检机器人进行了测试； 由国家电子计算机外部设备质量监督检测中心对无轨自然导航 AGV进行了测试。(4) 由浙江省电子信息产品检验所对 “叉式搬运机器人” 进行了测试并对 “融合多摄像头和陀螺仪的机器人本体视觉、乒乓球轨迹识别与预测、串联弹性驱动关节”等技术等进行了验证。3. 国际权威报告介绍2011 年 11 月，美国科学基金委受奥巴马政府委托，做人机互动全球技术评估。本项目所研制乒乓球对打仿人机器人系统被列入报告，并做详细介绍。13. 学术水平评价(1) 项目负责人受邀在多个学术会议上进行演讲报告，包括：2012 年， Intelligent Human-Machine Collaboration, 主办单位：美国国家科学院，报告题目： A Study on Humanoid Robots Playing Table Tennis2013 年，Brain Science: State of the Art, 主办单位： The Neurosciences Institute, 报告题目： Research on Humanoid Robots Playing Table Tennis2014 年，新青年领军者世界经济论坛年会，主办单位：世界经济论坛组织，报告题目： Robotics Research in Zhejiang University2015 年，主办单位：Stiftungsinstitut furChina-EuropaBeziehungen，报告题目： Programming by Demonstration Framework(2) 组织了 2015 年第 18 届国际爬行与行走机器人以及移动机器支撑技术会议(3) 受科技部邀请，相关成果参加了 2012 中国国际工业博览会和 2013 国家高新技术产业开发建设二十年成就展。(4) 在机器人权威杂志 IEEE Transaction on Industrial Electronics等期刊和机器人旗舰会议 ICRA，IROS发表论文。4. 用户评价本项目成果成功在国家电网下属各省公司、杭叉集团、巨星集团、人人集团等几十家企业应用，多个产品在技术先进、提升效率、节约成本等方面获得好评。1、巡检机器人用户：杭州市电力局2012 年开始使用巡检机器人，认为该产品可及时、敏锐的发现设备的内部热缺陷、外部机械或电气问题，为运行人员提供事故隐患和故障预警信息，保障了电网设备的安全运行。福建省电力有限公司福州供电局 2013 年开始使用本项目成果， 认为该产品具有 “无需预埋磁条， 缩短施工周期，节约系统成本，提高便捷性；环境适应性强，运行可靠等特点。2、AGV用户：华为南方工厂、东芝信息机器（杭州）有限公司、杭叉集团股份有限公司、浙江德美轴承有限公司、杭州巨星科技股份有限公司、浙江铁流离合器股份有限公司等使用智能 AGV，以自主行走的方式，实现材料和成品的自动搬运，大幅提高了物流的效率和准确性，良好的保证了生产工作的安全与稳定。3、智能制造自动化生产线用户：杭州人人集团有限公司2013 年开始使用智能自动化装配检测线，认为该产品设计简约、操作简单、装配高效、运行可靠。系统开放了参数调整画面，根据实际产品型号及性能要求，可实时调整参数配置。此外，故障处理提示功能可指导操作员快速排除故障，达到生产的高效性。五、推广应用情况经过多年技术攻关，项目组针对工业与特种环境下的作业自动化需求，研发了移动机器人平台、 机器视觉平台、 导航平台等通用机器人平台及专业软件包等技术，并应用于变电站巡检机器人、AGV、智能制造自动化生产线等产品，实现了在特定工况下替人自动化作业，提高了效率和安全性。1）在全国变电站的自动巡检推广应用：基于本项目核心专利， 由浙江国自机器人技术有限公司研制的变电站智能巡检机器人在国家电网、南方电网的各变电站应用，累计销售超 200 台，采用“一机多站”的先进运维模式，覆盖全国21 个省份近300 座变电站。2）在仓储物流行业、 电商行业和制造行业等自动化搬运的推广应用：基于本项目核心专利，由浙江大学合作企业杭州南江机器人股份有限公司开发的无轨自然导航 iAGV 在华为、东芝、菜鸟网络等单位应用，由浙江国自机器人技术有限公司研制的 AGV在杭叉集团、巨星集团、安吉物流、德美轴承、浙江铁流离合器、北京华商等单位应用，累计销售超 100 台，提升自动化物流效率，降低物流人力成本。3）在传统制造企业实现“机器换人”和“智能制造”的推广应用：基于本项目核心专利，由浙江国自机器人技术有限公司研发的智能制造自动化生产线，在巨星集团美工刀和折叠刀生产工厂、人人集团点烟塞生产工厂、中策橡胶轮胎生产工厂等单位应用， 提供了企业生产过程中物料的运输、仓储、分拣、包装、装卸等环节的综合解决方案，推动传统制造业转型升级。应用单位应用起始应用单位联应用技术应用效果名称时间系人/ 电话杭州南江机2014 年谢宇1、仿生腿足高能效应用仿生腿足高能效快速器人股份有13989833063快速稳定运动技术稳定运动技术研制成功国限公司2、复杂环境建模认内首台电机驱动四足仿生知与实时定位技术机器人赤兔， 实现 6km/h 以上跑步，并具有跳跃、 爬坡、爬楼梯等功能。应用复杂环境建模认知与实时定位技术研制成功无轨自然导航 iAGV，在华为、东芝等 3C 工厂复杂多变环境下可实现稳定定位导航，并且与菜鸟网络合作推出新的仓内智能分拣模式， 效率提升 100%。国网浙江省2012年2月唐鑫1、复杂环境认知建高压电缆隧道巡检机器人，电力公司杭至今13777429698模与自然定位导航在环境恶劣的湘湖地下隧州供电公司技术。道，实现无人巡检， 保证高（原杭州市压电缆隧道安全。电力局）福建省电力2012年7月佘文锦作业对象快速识别变电站 KYN开关柜专用操有限公司福至今15158132422定位与伺服稳定操作机器人， 替代人工实现高州电业局作技术。压 KYN柜中断路器的取放工作，保证工作人员的人身安全。青海中控太2011 年 12 月金律君1、复杂环境认知建太阳能发电站巡检操作机阳能发电有至今15990198077模与自然定位导航器人完成对太阳能发电站限公司技术。环境温度采集、自动巡检、2、作业对象快速识自动报警、 定日镜定期清洗别定位与伺服稳定等任务。操作技术。浙江省电力2013年6月唐鑫复杂环境认知建模在涌潮变电站， 智能巡检机公司至今13777429698与自然定位导航技器人完全替代人工， 完成对术变电站设备的视频监控、 仪表观测、 温度采集、 自动巡检、自动报警、监控录像、数据查询和报表打印、 数据分析等任务。人人集团2013年9月施乐佳1、复杂环境认知建系统包含了 18 种不同类型13567146484模与自然定位导航的原材料自动理料机、 自动技术。组装机、半成品检测线以及2、作业对象快速识成品装箱线。 通过快速更换别定位与伺服稳定零件实现柔性生产， 可生产操作技术。本田、比亚迪、丰田、神龙等多种规格的汽车点烟器。每小时产量大于 300 个，投杭叉集团股份有限公司浙江德美轴承有限公司杭州巨星科技股份有限公司浙江铁流离合器股份有限公司北京华商三优新能源科技有限公司2014年 3月至今2014年 4月至今2016年 3月至今2016年 7月至今2016年 1月至今叶飞汪国叶飞王磊唐磊运以来，节省人力13 人，提高生产效率50%。1、复杂环境认知建采用 AGV之后，实现区域自模与自然定位导航动化物流效率提升30以技术。上，物流的人力成本节省2、作业对象快速识80%以上。别定位与伺服稳定操作技术。1、复杂环境认知建采用 AGV之后，实现区域自模与自然定位导航动化物流效率提升30以技术。上，物流的人力成本节省2、作业对象快速识80%以上。别定位与伺服稳定操作技术。1、复杂环境认知建采用 AGV之后，实现区域自模与自然定位导航动化物流效率提升30以技术。上，物流的人力成本节省2、作业对象快速识80%以上。别定位与伺服稳定操作技术。1、复杂环境认知建采用 AGV之后，实现区域自模与自然定位导航动化物流效率提升30以技术。上，物流的人力成本节省2、作业对象快速识80%以上。别定位与伺服稳定操作技术。1、复杂环境认知建采用 AGV之后，实现区域自模与自然定位导航动化物流效率提升30以技术。上，物流的人力成本节省2、作业对象快速识80%以上。别定位与伺服稳定操作技术。六、主要知识产权证明目录知识产权知识产权国家授权授权号证书编号类别具体名称（地区）日期PlanarUS9082015.发明专利Torsion6101B7.21US908610美国Spring for21B2robot joint发明专利权利人发明人有效状态朱秋浙江大国；熊有效学蓉；褚健具有力反馈控制的发明专利弹性驱动模块化关节一种机器人柔性关发明专利节的控制方法及驱动装置一种连杆传动的单发明专利腿机器人跳跃机构一种三维环境信息发明专利采集与重构系统及方法一种基于双三视张量的立体发明专利视觉快速导航定位方法一种基于发明专利本体技术的三维场中国中国中国中国中国中国ZL2012015.21011205.27070.71676161ZL2012015.41007010.21561.91818448ZL2012015.41010711.251851788811.1ZL2012016.31074208.24704.12214046ZL2012015.21006603.04333.51599734ZL2002012.91009702.29915184696.3朱秋国； 熊浙江大有效蓉； 褚学健贾学浙江大超；朱有效学秋国；熊蓉赵逸浙江大栋；朱有效学秋国；熊蓉熊蓉；李千浙江大山；朱有效学秋国；郑洪波蒋云浙江大良；许有效学允喜；刘勇浙江大刘勇；有效学汤锋景建模方法及系统一种使用少数共面点精确定发明专利位多摄像头系统位姿的方法一种仿人机器人手发明专利臂作业动态稳定控制方法实时精确观测和分析乒乓球发明专利旋转系统与系统运行方法ZL2012011.刘勇；01020312.14熊蓉；中国869.8浙江大章逸879540学丰；褚健；吴哲ZL2012014.张大21014311.19松；熊中国001.2浙江大蓉；吴1523046学俊；褚健ZL2012015.章逸21049708.19丰；赵563.7浙江大中国永生；1756483学熊蓉；褚健有效有效有效七、主要完成人情况1. 熊 蓉，浙江大学控制科学与工程学院，教授2. 刘 勇，浙江大学控制科学与工程学院，副教授3. 朱秋国，浙江大学控制科学与工程学院，助理研究员4. 吴 俊，浙江大学控制科学与工程学院，教授5. 郑洪波，浙江国自机器人技术有限公司，总经理6. 章逸丰，工作单位：杭州南江机器人股份有限公司，总经理完成单位：浙江大学控制科学与工程学院八、完成人合作关系说明本项目由浙江大学和浙江国自机器人技术有限公司合作完成。完成人熊蓉、刘勇、朱秋国、吴俊均为浙江大学教师，是浙江大学控制科学与工程学院机器人团队的核心成员；完成人郑洪波为浙江国自机器人技术有限公司总经理，于 2008 年起与浙江大学控制科学与工程学院机器人团队开展产学研合作；完成人章逸丰 2008 年-2014 年期间为浙江大学博士生和专职科研聘用人员，是浙江大学控制科学与工程学院机器人团队的核心成员，现所在企业也与浙江大学控制科学与工程学院机器人团队建立了产学研合作关系。项目各主要完成人长期合作，共同承担了国家863 计划项目（ 2008AA042602、2008AA04Z209）、国家自然科学基金（ 60675049、61075078、61173123）等，并成为浙江省首批重点科技创新团队（ 2009R50014）。推广项目成果，获得 1 项授权美国专利和多项授权国家发明专利。项目中主要完成人熊蓉、朱秋国在合作完成核心技术发明点一的基础上，于 2012-2015 年期间合作研制了国内首套电机驱动可高能效跳跃的单腿机器人和双足机器人。项目中主要完成人熊蓉、刘勇、郑洪波在合作完成技术发明点二的基础上，由主要完成人郑洪波进一步开展了移动机器人产品研发和产业化，研制了 室外无轨自然导航变电站巡检机器人、国内首台套测量式激光导航的叉式搬运机器人，在国家电网、杭叉集团等批量应用，并由主要完成人章逸丰进一步在其目前工作企业研发了无轨自然导航 iAGV，在华为、东芝、菜鸟网络等单位批量应用。 主要完成人熊蓉、吴俊、刘勇、朱秋国、章逸丰在合作完成核心技术发明三的基础上， 于 2008-2012 年期间合作研制了国际上首套可快速连续乒乓球对打的仿人机器人系统，在国内外具有重要影响；并由主要完成人郑洪波进一步研制了变电站操作机器人、 智能制造自动化生产线等系统，实现推广应用。项目组根据客观事实，对所有参加人员按投入和贡献大小进行评估排序，所有项目组人员均对此予以认可。