眼动技术科技攻关建议实施计划书

市科技攻关计划项目可行性研究报告 基于眼动关键技术研究与设备研发 项目名称： 申报单位：市科学技术研究院 组织部门：市科学技术委员会市科学技术委员会二一一年四月制编 写 说 明1项目可行性研究报告编写要求：1总体目标集中、明确、可考核,要充分考虑经济、技术等方面的可行性；2研究任务和容重点突出,课题设置合理,各课题之间关联度高；3所选的技术路线切实可行,关键点突出、有所创新；4配套条件落实,关联行动要明确与重大工程、基地建设及相关计划工作的衔接、配套；5管理措施具体,项目的管理方式及招投标等符合项目的特点；6经费预算根据充分,支出合理符合有关规定,配套经费落实；7相关证明文件等附件齐全。2报告涉及到外文缩写要注明全称。3本报告规定为A4,容一律用4号宋体字打印,标题用4号黑体字打印,一式七份。41 / 42目 录一、项目摘要3二、项目的意义和必要性52.1项目的意义和必要性52.2国外现状和技术发展趋势72.3市场需求分析10三、项目的基础条件113.1项目承担单位、合作单位及合作模式113.2项目的前期工作基础、技术基础及工作情况123.3国在该技术领域的专利情况123.4试验及示基地情况183.5产学研结合情况及研究开发队伍19四、项目攻关总体目标,实施年限,具体的考核指标214.1项目攻关总体目标214.2项目实施年限及年度计划安排224.3项目考核指标24五、项目的主要研究容,课题设置方案及承担单位选择方式245.1项目的主要研究容245.2课题设置方案及承担单位选择方式25六、项目的主要技术特点和创新点,关键技术容,项目实施的技术、工艺路线,可能取得的专利尤其是发明专利和取得国外专利及知识产权分析266.1主要技术特点266.2主要技术创新点266.3关键技术容276.4实施技术路线286.5知识产权分析与可取得专利33七、项目的关联行动：相关的基本建设、技术改造、技术引进、国际合作等落实情况,与其它相关市级科技计划工作、项目的衔接和分工,项目的组织管理措施,其它必要的支撑和配套条件如基地、示点、技术或工程依托等落实情况337.1与其它相关市级科技计划项目的衔接和分工347.2项目的组织管理措施347.3项目的必要支撑和配套条件落实情况35八、项目总投资预算,资金筹措及来源渠道358.1项目总投资预算358.2项目资金筹措及来源36九、项目预期成果的经济、社会、环境效益分析,与国外同类产品或技术的竞争力分析,成果应用和产业化前景分析379.1项目预期成果的经济、社会和环境效益分析379.2与国外同类产品或技术的竞争力分析379.3项目预期成果的应用和产业化前景分析39十、项目的风险分析,含技术、市场的风险分析39十一、其它需要说明的事项40一、项目摘要1总体目标探索自然和谐的人机关系已成为计算机研究的一个重要领域,自然、高效、智能化的人机交互界面是当今计算机发展的重要趋势。视线应用于人机交互具有直接性、自然性和双向性特点,这也是眼动技术应用于人机交互特有优势。通过本项目的实施,应用、完善眼球识别及高速眼动跟踪核心关键技术,实现视觉指示模块化、微型化,研发出一系列具有自主知识产权的智能化人机交互系统设备,探索下一代电脑多通道人机交互系统应用模式。具体目标为： 开发视线跟踪又称眼睛瞄准系统或视觉跟踪应用系统。 研发眼控笔记本产品原型2研究容 提出微型视线跟踪器系统架构； 攻克一系列系统集成技术,包括视线跟踪模块、输出显示模块、后台信息服务相关设备； 研发出服务平台系统和视觉交互信息终端。 视觉定标模式及眼动模式识别与交互功能定义；3关键技术 基于视频分析的高速眼动跟踪技术； 眼部特征快速分析的视线指示技术； 交互功能模块微型化技术。4技术创新 提出下一代电脑多通道人机交互系统架构,实现系统架构创新； 制定多通道人机交互系统的数据传输协议和接口标准,实现标准创新； 攻克视线跟踪模块、输出显示模块和信息服务相关设备集成技术,实现系统集成创新。5基础条件本项目依托单位市科学技术研究院是市政府批准成立的正厅级事业单位,是集研究开发、技术转移、成果转化、人才培训和国际交流为一体的工业技术的综合研究机构,是市组建的最大的科学研究和科技创新服务机构。为项目的顺利实施提供充足基础条件。同时,目前,我们的核心技术形成了系列化的原型应用,从20XX开始应用在临床医学眼球震颤检查,20XX应用到临床医学色素变性病人瞳孔光反射检查。在技术上准备充分,为项目的顺利实施提供保证。6经费预算项目预算资金95万元。其中试制设备15万元,材料费15万元,测试化验加工费8万元,燃料动力费2万元,差旅费6万元,会议费6万元,国际合作与交流费3万元,出版/文献/信息传播/知识产权事务费5万元,劳务费10万元,专家咨询费3万元,管理费7万元。计划申请市科委资助60万元。项目经费科目及预算细则参见项目预算书。8市场前景我国笔记本产品市场需求巨大、稳定,拥有千亿级市场规模；视觉跟踪系统,可以广泛应用于军事领域的预警、火控、制导,特种行业的目标指认指示及远程行动指挥交互,拥有千亿级市场规模,产业前景可观。 9项目成果项目可获得国家专利至少3项,软件著作权至少2项；发表学术论文至少2篇；建立实验验证系统2个。10项目效益项目研究可获得眼动技术在笔记本人机交互及视线指示行业应用若干关键共性技术突破；项目研究将促进人机交互领域的技术进步和多学科技术交叉形成；项目研究可获得自主知识产权,推动新型人机交互设备商品化,对促进IT制造中心的战略性产业发展具有重要意义。11风险分析该项目核心技术为公司专业自有知识产权技术,专业性强,可模仿性较差,可形成一定技术壁垒,保障长期的收益,核心技术相对成熟,硬件模块化加工门槛不高。因此,抗风险能力较强。12结论与建议项目研究立题新颖,容明确,重点突出,技术可行,预期成果显著,产业前景可观,建议立项支持。二、项目的意义和必要性2.1项目的意义和必要性1. 项目研究符合国家和市中长期科学技术发展规划,符合打造西部IT制造业高地兴新战略性产业发展计划本项目以基于眼动关键技术研究与设备研发为题,具体涉及视线跟踪又称眼睛瞄准系统或视觉跟踪应用系统设计开发和眼控笔记本产品原型研发。针对特种行业人机交互应用及通用民用级眼控笔记本产品,通过若干关键技术攻关,一系列应用样机与软件系统,建立示工程,并推进产业化发展。本项目研究符合国家中长期科学和技术发展规划纲要2006-2020的重点领域及其优先主题中传感器网络及智能信息处理之国家重点鼓励的产业发展政策；本项目研究也符合市中长期科学和技术发展规划纲要2006-2020的重点领域及其优先主题中下一代网络与通信技术之重点鼓励的产业发展政策。综上所述,本项目研究符合国家和市的中长期科学技术发展规划,符合国家新兴战略性产业发展规划,符合市西部制作高地的战略性产业发展规划。2. 项目研究可获得眼动技术在眼控笔记本和多个专业领域的商用化关键共性技术突破本项目旨在通过深入研究眼动技术与人机交互技术现状、发展趋势、面临的问题和关键技术,利用产业政策优势和技术上国际同发优势,结合项目研究团队较好的前期研究基础,实现眼动技术在视觉指示应用领域的商用化的关键技术突破。技术的突破体现在：1提出微型视线跟踪系统架构：本项目将构建一种微型的、能快速商品化应用视线跟踪体系架构,建立开放性的应用协议和标准接口。2攻克一系列系统集成技术,包括视线跟踪模块、输出显示模块、后台信息服务相关设备。本项目将深入研究多种人机交互的应用需求,结合相关领域的技术标准,研究一种低成本、高可靠、高精度的眼动跟踪模块,满足商用化视觉指示系统和眼控笔记本的实用性。综上所述,本项目研究将获得眼动技术人机交互应用的关键共性技术的突破,使视觉指示系统和眼控笔记本系统达到实际商用化水平。2.2国外现状和技术发展趋势视觉跟踪的研究和应用在国发展比较缓慢,国外研究与报道相对较多。人眼视线方向的估计方法分为两种主要研究方向。一是基于神经网络；二是眼部特征分析。一般情况下基于神经网络来估计视线方向具有较高的精度和实时性,但是通用性较差,因为当环境改变时需要重新建立网络模型。基于眼部特征分析的方法,利用立体视觉的原理,可以比较精确地获取眼睛部位的三维信息,从而得到眼球的偏转角度和视线方向。目前,主要检测方法及其特点比较结果如表l所示。这些方法都需要借助图像处理这个工具来完成视线输入方向的识别 。目前掌握眼动跟踪核心技术并能达到产品化应用要求的在国际上有几个重要的对手:Eyelink,Asl,SMITobii。 其中,Eyelink在主要定位于基础研究领域,高速处理方面相对领先,可以达到每秒1000 次跟踪处理,但其缺陷在于高昂的价格和较低的图像分辨率; ASI 已经具备较成熟的追踪系统,主要应用于心理学研究和用户视觉行为分析,稳定性方面表现不很优秀；德国SMI公司的视线跟踪产品也具备了很高的技术含量,该公司的产品主要应用于教育科研、体育科研和医疗诊断领域；以色列也有该技术,主要应用于战斗机瞄准指示设备。产品EYELINKASLSMI我方原型处理速度500-200060-12060-120500-1000有效图像分辨率400x 300600x480600x4801024x768抗干扰性优良优优业界动态与应用苹果20XX收购了Tobii Technology公司,交易价格2150万美元。Tobii主要拥有一个眼球跟踪器的技术,可以嵌入设备中观察用户在应用程序和上的视觉焦点,苹果可能会将这一技术加入其消费电子产品中,帮助用户用更简单的方式来读取屏幕上的信息,包括台式机,笔记本甚至是iPhone手机。英国飞行国际20XX8月27日报道 埃尔比特系统公司正在开发眼球跟踪技术,以参加增强战斗机飞行员头盔显示系统项目的竞标。埃尔比特公司称,目前典型的头盔视场是2040,如果敌军的飞机在此围之外,则限制了头盔瞄准武器的能力,尽管飞行员能够看到它们。埃尔比特公司的解决方案是：在其未来头盔系统综合一个跟踪设备,通过飞行员眼睛控制的红外光线跟踪敌机。该系统随后再通过处理其反射光线,探测眼睛所看到的地区,这样使瞄准视场拓宽至少15%。在某些情况下,如目标或平台处于高加速度或高角速率的情况下,在用武器截获的目标附近,显示器的十字瞄准线不可能稳定太长时间。因此,埃尔比特公司正在与以色列理工大学联合开发该眼球跟踪技术.Elbit系统的子公司Vision系统国际公司从波音公司得到了价值1500万美元的订单,进行联合头盔指示系统JHMCS的初始生产。联合头盔指示系统将磁航向跟踪器与投射到飞行员面盔上的显示器相连,从而使飞行员拥有了目标跟踪设备。无论飞行员看向何处,都可以利用它来瞄准传感器和武器。因此,拥有了联合头盔指示系统,飞行员可以瞄准雷达、空对空导弹、红外传感器和空对地武器,而不需要将头对准目标,也不需要按动飞行控制按钮。另外,在空战期间,飞行员可以在平视时浏览任何想看到的数据飞行速度、高度、目标距离等,而不需要去看座舱。2.3市场需求分析1我国的笔记本电脑用户需求量大,有成熟的市场需求和产业基础。20XX10月9日惠普和举行项目签约仪式,签下400万台笔记本电脑基地项目；20XX8月4日,惠普将生产基地的定单从销400万台扩大外销4000万台；20XX,XX也落户,随后英业达、广达、宏碁也接踵而至；120多家零部件生产企业也到建厂。这让笔记本电脑的本地配套率在20XX年底达到30%40%。短短两年时间,一个聚集数百企业、到2015年将形成1亿台产能、7000亿元产值、1000亿美元进出口的笔记本电脑产业基地,行业发展前景十分看好,经济投入规模巨大。2视觉跟踪应用系统在我国特种行业的视市场需求巨大,可形成千亿级市场规模视觉跟踪应用系统主要应用与特种行业,三、项目的基础条件：与项目相关的前期工作情况,现有技术基础和工作基础,包括前期所取得的成果或技术工艺情况,国外在该技术领域的专利情况,相关领域的试验及示基地建设情况,研究开发队伍和产学研结合等情况3.1项目承担单位、合作单位及合作模式1项目承担单位概况项目承担单位：市科学技术研究院市科学技术研究院简称重科院或市科研院是整合原属中央和地方的10个研究院所于20XX重组而建,原名为市应用技术研究院,是市政府批准成立的正厅级事业单位。重科院是集研究开发、技术转移、成果转化、人才培训和国际交流为一体的工业技术的综合研究机构,是市组建的最大的科学研究和科技创新服务机构。信息与自动化技术研究中心是市科学技术研究院下属的研究中心,成立于20XX。该研究中心以信息与自动化技术为研究核心,围绕科技成果二次开发和产业化开展研究与推广工作,经过一年的建设,已经初具规模,具备了开展相关领域技术研发、科技成果二次开发与产业化的能力。中心在自动化技术研究领域和院属研究所工业自动化仪表研究所建立了紧密的合作关系,该所为市高新技术企业,主要从事自动化仪表、自动化工程设计、开发、制造、检测及技术咨询、技术转让和中试生产等,拥有一个研发中心、二个生产事业部、三个工程事业部、一个检测中心、一个行业工作部和六个职能管理及服务部门,建所以来完成科研课题1600余项,制订国家、行业标准100余项,完成国家重点科技攻关项目90余项。获国家、部科技进步奖30余项,部省级奖励200余项,专利近100项。2项目合作单位概况项目合作单位：飓鹰科技前身是成立于20XX的眼动科技实验室,经多年技术发展,产品和应用逐渐成熟,其中眼震分析仪在国多所医院进行了临床实验。公司致力于眼动技术研发、生产、销售、服务,以科技创新路线为战略,秉承专业化、规化、科学化、客户观、价值观的经营理念；以管理创新、竞争取胜、整合资源、合作发展的指导思想来发展壮大公司,服务社会。5项目合作模式：产学研联合研究与产业化应用推广项目承担单位拥有科研人才、科研设备、理论研究、科研场所、科研设备、科研政策等优势资源；项目合作单位拥有市场资源和前期研究成果基础、工艺技术基础、生产制造能力、市场推广能力等优势资源。双方充分利用产、学、研各自资源优势合作研究,实现研究成果、经济效益、社会效益的共享,并共建智能公交系统技术领域的长期科研平台,推进持续研究,促进产业化发展。3.2项目的前期工作基础、技术基础及工作情况目前,我们的核心技术可以高速识别追踪瞳孔,并从20XX开始应用在临床医学眼球震颤检查；20XX开始应用到临床医学色素变性病人瞳孔光反射检查。我们的核心技术在医疗科研领域经过4年的临床使用,其核心技术应用比较成熟：应用于医学眼球运动分析已检测病人300多例,正常人50多例,发表医学应用文章两篇。A new algorithm for automated nystagmus acuity function analysis ,2010 , British Journal of Ophthalmology眼动仪与眼电图检查正常人扫视运动的比较研究20XX 15期, 第三军医大学学报ISSN : 1000-5404自20XX,初步形成眼动系列应用系列,完成的原型应用有：a) 医学高速眼震记录仪。b) 医学瞳孔对光反射记录仪。c) 穿戴式眼动仪d) 穿戴式视觉指示、交互系统 医学高速眼震记录仪 穿戴式眼动仪原型在瞳孔定位技术方面,形成了自身的技术特点,高效、高精度：亚像素级高精度瞳孔定位样片500次/秒高速双目瞳孔定位与跟踪瞳孔跟踪技术数据样本双眼眼球水平运动轨迹眼球运动异常的眼位跟踪500次/秒分辨率测试数据样本来源：分别采用健康矫正正常视力的成人组进行测试。视标指示：采用LED视标指示灯,LED分布：R33CM弧形,灯间间隔为5度。测试步骤和方法：在水平方向方向上视标指示顺序按0度、左5度、右5度、0度、左10度、右10度、0度、左15度、右15度、0度、左20度、右20度、0度、左25度、右25度注视方位进行测试。测试中每个方位指示灯亮的时间控制在2500毫秒,全程记录瞳孔中心震动波形和数据。实际测试波形如下：5人成人组测试数据5度视标间隔均值分析下表倾角眼别编号不同LED灯位时对应前方正中心位置的变化量-25-20-15-10-50510152025间隔均值0左1-109-82NANA-200254870901102252-89-77-53-39-210194060829819.43-110-87NA-45-260274871931132324-112-87-64-45-2003540678510622.995-84-69-53-34-180173452708417.3平均值21.078弧度5度即弧度300分视标间隔均值为21.078像素；转化为弧度14.2分/像素。注释：是变化量,注视点5度间隔时瞳孔中心移动的像素数量。 NA：在该位置的数据无效,如因为眨眼或照明不稳定引起的瞳孔中心位置无法确定。线性度测试分析成人组测试数据5度视标间隔均值分析下图。对应上表中NA数据图中在横向3,4位置有三个数据用0表达。5人组眼动测试线性度,在30度,线性度良好3.3国在该技术领域的专利情况目前公司主创人员申请的相关专利有:1212其窗体顶端2一种基于视频图像处理的快速瞳孔中心定位的方法9眼动测试分析仪7眼球刺激装置6眼球震颤测试仪1斜视测试仪0眼动测试分析方法其中,2号发明专利申请目前处于实质性审查阶段; 7号实用新型专利和6号实用新型专利已取得专利证书。国相关的专利有：01128828.0 数字视频眼动分析仪 91105790.0 眼睛操纵的控制器 95193447.3 眼动感知方法和系统 2.6 一种眼动检测方法及其装置 4.7 用于利用人眼进行设备控制的装置 1.3 一种眼动检测装置 4.3 眼动传感器 7.X 一种用于穿戴式计算机的人机交互头盔 9.5 基于眼动和头动检测的新型人机交互装置 6.6 基于虚拟现实的驾驶员注视物体识别系统 2.0 一种利用视觉进行非接触式人机交互的系统 6.7 基于眼电信号的人机交互系统 1.9 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组 3.4试验及示基地情况3.5产学研结合情况及研究开发队伍本项目为重大攻关科研课题,主要研究目标、研究容和关键技术涉及传感技术、图像处理、人工智能、模式识别、微功耗与可靠性等高新技术,以及产品工艺技术。为保证项目研究获得关键技术突破,形成自主知识产权,研制出正式产品,推进产业化应用,充分发挥良好的经济与社会效益,本项目研究拟采取产、学、研相结合的模式开展攻关研究。具体合作研究分工如下：1项目承担单位主要负责主持、管理、策划和实施项目的研究工作；主要负责多通道人机交互系统架构关键共性技术的理论、技术与算法的研究工作；制定多通道人机交互系统的数据传输协议和接口标准；负责学术成果、知识产权的编写、申报等工作；负责向合作单位三提供产品化关键技术支撑和试验数据支撑等工作。2项目合作单位主要负责产品方案设计、产品线规划、产品样机研制、产品工艺技术设计、产品试验系统搭建、产品示工程建设、成果转化与产业化发展等工作。根据上述产学研合作研究原则,经合作单位双方负责人之间的酝酿和反复探讨,结合双方长期产学研发展的共同需要,共同组建了一个学科、职称、年龄结构合理的项目研究小组。项目研究小组的负责人及成员的具体工作分工如下表1所示：表1 人员分工表序号年龄职 称职 务专业方向所在单位联系项目中分工1台正38高工控制理论与控制工程飓鹰科技86336266总负责总策划2程克非35副教授控制理论与控制工程飓鹰科技技术路线总策划3军平40教授医学工程飓鹰科技67300580人机交互总策划7王崇明37学士总经理计算机专业飓鹰科技项目管理5何耀敏30硕士计算机工程邮电大学89137709系统设计与研发6晓力硕士市科学技术研究院89137709系统设计与研发四、项目攻关总体目标,实施年限,具体的考核指标含主要技术经济指标及年度计划安排4.1项目攻关总体目标实现多通道、多媒体的自然、高效、智能化的人机交互界面是当今计算机发展的重要趋势。随着模式识别、自然语言理解和新的传感技术的发展,人机界面技术将进一步朝着计算机主动感受、理解人的意图方向发展,新的多通道、多媒体的人机界面将是发展的主流。视线应用于人机交互具有直接性、自然性和双向性特点。通过本项目的实施,应用、完善眼动跟踪核心关键技术,实现视觉指示模块化、微型化,研发出一系列具有自主知识产权的智能化人机交互系统设备,探索下一代电脑多通道人机交互系统应用模式。具体目标为： 开发视线跟踪又称眼睛瞄准系统或视觉跟踪应用系统。 研发眼控笔记本产品原型4.2项目实施年限及年度计划安排根据本项目主要研究容和关键技术研究的可行性分析,本项目实施的年限为2年半,即从20XX7月-20XX12月,年度计划安排如下：1第一阶段20XX7月20XX12月：总体设计与任务分解项目总体方案设计、需求分析及规划,研究目标的分解、确定各项研究任务,分配到各研究人员,同时开展部分核心关键技术试验研究。通过这个阶段的核心关键技术试验确定研究方案,将研究容划分成多个模块,确定各模块任务,分析模块间关系并确定各模块技术指标,确定各研究模块的技术接口。实现目标分解,以便于项目组能更好地、协调地开展研究工作。本阶段成立三个研究小组：j 系统架构与接口标准组系统架构与接口标准组主要负责研究基于多通道人机交互系统架构,制定系统数据传输协议及数据接口标准。k 视线跟踪关键技术研究小组视线跟踪关键技术研究小组主要负责视线跟踪关键技术研究小组关键技术研究与设备研发。l 人机交互模式研究小组人机交互模式研究小组主要负责基于高效、稳定用户交互模式关键技术研究及关键技术研究与设备研制。2第二阶段20XX1月20XX6月：理论与方法研究j 系统架构与接口标准组系统架构与接口标准组主要负责研究基于多通道人机交互系统架构,制定系统数据传输协议及数据接口标准。k 视线跟踪关键技术研究小组视线跟踪关键技术研究小组探讨、筛选视线跟踪关键技术与设备方案。l 人机交互模式研究小组人机交互模式研究小组探讨、筛选高效、稳定用户交互模式关键技术方法。3第三阶段20XX7月20XX4月：样机研制三个研究小组共同投入：视线跟踪应用系统样机研制。眼控笔记本产品原型研制。4第四阶段20XX5月20XX9月：系统测试三个研究小组共同协同开展系统可靠性测试与评估。5第四阶段20XX10月20XX12月：总结提高总结提高：研究总结、验收结题、后继研究、产业推广。项目总体进度安排如下表：项目研究工作进度计划表阶段工作计划20XX20XX20XX一总体设计与任务分解二理论与方法研究三样机研制四系统测试五总结提高4.3项目考核指标1.技术指标1研制视线跟踪又称眼睛瞄准系统或视觉跟踪应用系统1套2研发眼控笔记本产品原型1台；3申报专利3项,申报软件著作权2项,发表学术论文至少2篇；2.经济指标市政府致力于打造中国陆最大的笔记本电脑基地,预计今后几年,整个世界市场笔记本电脑的销售量会达到每年3亿台左右。能够实现每年生产销售1亿台电脑,占全球的1/3。项目实施推广后,对形成计算机高端制造产业具有现实意义,充分发挥的制造业自身优势,推动上下游厂商配套,预计使得笔记本价值提高7%,按笔记本的基本产能分析,每年可新增利润200亿。五、项目的主要研究容,课题设置方案及承担单位选择方式5.1项目的主要研究容依据本项目的总体研究目标,确定如下的主要研究容：1微型视线跟踪器系统架构研究 微型视线跟踪器系统架构包括视场空间标定、眼球图像采集、图像分析处理和数据传输几个单元。2攻克一系列系统集成技术,包括视线跟踪模块、输出显示模块、后台信息服务相关设备 3研发出服务平台系统和视觉交互信息终端。 4视觉定标模式及眼动模式识别与交互功能定义。5.2课题设置方案及承担单位选择方式根据本项目研究总体目标、主要研究容和产学研优势互补结合方式,课题研究设置方案如下：1本项目由科学技术研究院信息与自动化研究中心承担并担任项目负责人,总体负责本项目研究与管理工作,具体承担系统体系架构研究、核心技术攻关、产品初样机设备试制与系统开发；2本项目由飓鹰科技参与合作研究。飓鹰科技负责本项目相关标准制定、工程集成技术规设计、产品正样机研制、实验验证系统搭建、产品样机测试、产品制造与市场推广。3本项目设立三个研究小组,具体分工为：系统架构与接口标准组：负责系统架构与接口标准组主要负责研究基于多通道人机交互系统架构,制定系统数据传输协议及数据接口标准；视线跟踪关键技术研究小组：视线跟踪关键技术研究小组,主要负责视线跟踪关键技术研究小组关键技术研究与设备研发；人机交互模式研究小组,负责人机交互模式研究小组主要负责基于高效、稳定用户交互模式关键技术研究及关键技术研究与设备研制。4本项目合作双方共同开展定期技术交流、现场试验和国际学术交流,共同总结科研成果、发表学术论文、申请技术专利、共享知识产权。六、项目的主要技术特点和创新点,关键技术容,项目实施的技术、工艺路线,可能取得的专利尤其是发明专利和取得国外专利及知识产权分析6.1主要技术特点探索自然和谐的人机关系已成为计算机研究的一个重要领域,自然、高效、智能化的人机交互界面是当今计算机发展的重要趋势。视线应用于人机交互具有直接性、自然性和双向性特点,这也是眼动技术应用于人机交互特有优势。本项目其主要研究容和关键技术涉及心理学、认知科学、软件工程、图形学、人工智能、模式识别、可靠性等技术。项目研究具有多学科与技术交叉、学术前沿、工程实践性强的突出特点；具有行业性强的显著特点；项目研究成果的推广应用,属于国家新兴战略性产业,具有良好的新兴战略性产业发展的政策扶持力度。6.2主要技术创新点通过本项目关键技术的研究,可获得以下几方面的技术创新：1提出下一代电脑多通道人机交互系统架构,实现系统架构创新；2制定多通道人机交互系统的数据传输协议和接口标准,实现标准创新；3攻克视线跟踪模块、输出显示模块和信息服务相关设备集成技术,实现系统集成创新。4将视线指示技术应用到特种行业特种应用,实现应用创新。6.3关键技术容根据本项目总体研究目标和主要研究容,确定本项目研究关键技术容主要为：（1） 基于视频分析的高速眼动跟踪技术该技术必须具备以下特点：稳定,物理硬件的可靠性一般由物理设计来提供保证,处理逻辑可靠性依赖于系统方案和技术实现来进行验证；精确,满足0.5度空间分辨率；实时,不允许有大的时间延时,延时控制在1/25秒以。（2） 视线指示技术该技术也必须具备以下特点：稳定、精确、实时、可修正、可表达。视线方向的估计方法分为两种主要研究方向。一是基于神经网络；二是眼部特征分析。一般情况下基于神经网络来估计视线方向具有较高的精度和实时性,但是鲁棒性较差,因为当环境改变时需要重新建立网络模型。基于眼部特征分析的方法,利用立体视觉的原理,可以比较精确地获取眼睛部位的三维信息,从而得到眼球的偏转角度和视线方向。（3） 眼动模式识别技术人机交互需要有定位类似鼠标移动、选择类似鼠标选择、动作类似鼠标双击等。识别眼球运动的模式是将其转化为有效交互命令的基础前题。眼动主要有三种形式：注视、跳动和平滑尾随跟踪,另外的眼动如眼球震颤、会聚、扭转等对人机对话没有显著意义。注视表现为在被观察目标上的停留,这些停留通常至少持续1200 ms以上,绝大多数信息只有在注视时才能获得并进行加工。（4） 视线交互模块微型化技术集成化、微型化是该技术规模化应用的必要条件。要求模块采用低功耗设计、便于安装或携带,接口简单,可以方便地与其他设备进行数据交换。6.4实施技术路线本项目研究采取总体策划与分工合作、理论研究与设备研发、初样机研发与现场实验、正样机研发与实验验证系统建设等多个步骤,理论与实践相结合的研究方法展开。视线跟踪应用系统。该系统可以广泛应用于军事领域的预警、火控、制导,特种行业的目标指认指示及远程行动指挥交互。特别适合高空作业、地下作业、水下作业、高密度人群等特殊环境情况下,现场作业人员为远程指挥系统指认、指示作业环境的具体目标。例如,实时军事协同侦察通过协同侦察指挥员在后端通过实时监看前端侦察员视野目标和视觉观察方位辅助提示被前端侦察员忽视的目标或者指示其对重点目标进行侦察。实时军事目标指示系统用于通过指示者的视线指示方位快速指示军事目标或攻击对象,武器系统跟随指示方位完成瞄准、锁定、待击发状态切换。该系统的主要组件及其基本光学原理如下：系统划分为前端移动终端和后台指挥、支援平台：前端移动终端：主要包括微型场景摄像机、微型视线跟踪器、数据传输单元等,主要提供指示现场信息。后台指挥、支援平台：图像分析、行业专家应用系统,决策指挥应用。系统处理流程如下：1：标定眼球与场景的相对位置关系,即瞳孔中心位置x,y与场景图像关注点位置xw,yw的空间对应关系。2：跟踪眼球位置x,y及其运动状态。3：判断为眼球指示状态时,将瞳孔中心位置x,y投射到场景图像关注点位置xw,yw,并将场景图像关注点作为视线指示目标传输到后台信息处理平台。4：后台信息处理平台判断分析前端指示信号,向其发出行动指示。眼控笔记本产品原型方案基于传统笔记本,采用添加相对独立的应用附件的方式,提供眼控应用接入。如下图,在笔记本显示屏下方,增加一个独立的长条型设备,系统原理图眼控笔记本采用微型眼动跟踪系统,该系统通过屏幕附近的红外LED标定显示器的特征识别点,该特征识别点采用特殊的闪烁规则或特定的形状标定自身；微型摄像头负责跟踪用户头部和眼部细节,根据红外LED在眼球的映光点位置及瞳孔中心位置,反向推算出视线投射在屏幕的位置,其推算可以按用户个体差异进行微调或者进行精细定标。其核心处理流程如下：1：初始化定标,确定红外LED与显示器的空间关系。2：采集眼部图像,搜索红外LED特征点在眼球上的反光点。3：找出瞳孔中心位置。4：根据球迷光点反射模型,计算视线投射在显示屏的位置。5：根据视线运动模式,利用系统消息驱动用户交互。6.5知识产权分析与可取得专利本项目预计可取得3项专利、2项软件著作权,知识产权情况如下：1国专利：微型视线跟踪设备；2国专利：视线指示设备；3国专利：眼控模式识别方法；6软件著作权：微型视线跟踪嵌入式软件；7软件著作权：眼控交互界面应用软件。七、项目的关联行动：相关的基本建设、技术改造、技术引进、国际合作等落实情况,与其它相关市级科技计划工作、项目的衔接和分工,项目的组织管理措施,其它必要的支撑和配套条件如基地、示点、技术或工程依托等落实情况7.1与其它相关市级科技计划项目的衔接和分工7.2项目的组织管理措施1项目组织实施方案本项目组合作双方根据理论研究、技术开发、工艺开发、可靠性研究的优势互补原则,组建了技术、学科、年龄、职称结构较为合理的课题组,并分设四个研究小组,项目组织实施方案为：第一步：在项目批准后,成立以项目负责人为组长、项目合作单位负责人为副组长的项目联络与管理组,负责协调与管理；第二步：成立课题组,制定总体技术方案和详细实施计划并由所技术委员会组织评审；第三步：按实施计划开展研发；第四步：组织示工程的应用；第五步：组织验收结题。2研究分工和计划明确落实项目组根据项目总体研究的总体目标、主要研究容、关键技术要求并结合研究成员各自优势进行了明确任务分工,同时制定了项目研究工作进度计划,双方将按进度计划严格执行。3项目执行和经费使用监管本项目立项后将分别纳入合作单位双方的科研管理部门统一归口管理,严格按照项目合同实施监督执行。项目研究经费根据合作双方所承担的具体研究任务按比例进行分配,分别由各自单位帐务部门设立专项XX进行管理,并严格按照项目经专款专用、资金使用计划纳入财务管理。7.3项目的必要支撑和配套条件落实情况八、项目总投资预算,资金筹措及来源渠道8.1项目总投资预算1拟新增设备费本项目研究相关技术已有前期研究,但为了试验和建立示工程,项目需要试制初样机和正式样机产品具体需要试制设备数量与成本如表3所示。表3 项目拟新增仪器设备情况表名称、规格型号仪器设备来源单价数量金额万元备注头戴显示器试制133功能与性能验证头戴微型眼动跟踪仪试制1.233.6送检、验证系统建设微型视觉指示器试制248功能与性能验证眼控笔记本视觉跟踪器试制2.5410送检、验证系统建设微光学系统测试仪采购313性能测试眼控笔记本样机试制0.642.4功能与性能验证合计金额302项目研究经费本项目研究与管理经费主要包括材料费、测试化验加工费、燃料动力费、差旅费、会议费、国际合作与交流费、文献资料费、科技查新费、知识产权事务费、学术论文版面费、劳务费、专家咨询费、项目管理费等预算科目,并依据项目研究容、技术路线和预期研究成果进行合理估算,具体预算科目见表4所示。表4项目研究与管理经费预算表序号预算项目预算依据经费万元1设备费见表3152材料费试制所需模、光学、电子材料153测试化验加工费样机壳模具加工 PCB加工与焊装84燃料动力费车辆燃油、水、电：2年25差旅费现场调研、考察和学术会议 66会议费调研、研究、评审会等67国际合作与交流费学术交流38出版/文献/信息传播/知识产权事务费资料印制、论文发表、专利、软件著作权申报费等59劳务费委托PCB板设计、嵌入式系统驱动开发、测试等1010专家咨询费标准、产品、产权、行业咨询311管理费按单位管理规定计算7小计95万元3项目经费总预算本项目经费总预算为95万元,其中新增加设备费30万元,研究经费65万元。8.2项目资金筹措及来源本项目组通过前期相关课题研究做了大量的理论分析和实验研究,论证了本项目的可行性和重大意义。要继续对该项目进行更深入的研究探讨需要更多的资金支持,本项目预算资金共计为95万元。资金筹措渠道为:申请市科技攻关计划项目资助60万元。资金筹措计划见表5。表5 项目资金筹措计划表总投入经费：95资金来源合计政府资金自筹资金小计区县科委市科委国家部委其它小计自有资金银行贷款其它已投入经费新增经费小计951601600020XX6025253535201220XX3520201515九、项目预期成果的经济、社会、环境效益分析,与国外同类产品或技术的竞争力分析,成果应用和产业化前景分析9.1项目预期成果的经济、社会和环境效益分析1经济效益巨大市政府致力于打造中国陆最大的笔记本电脑基地,预计今后几年,整个世界市场笔记本电脑的销售量会达到每年3亿台左右。能够实现每年生产销售1亿台电脑,占全球的1/3。项目实施推广后,对形成计算机高端制造产业具有现实意义,充分发挥的制造业自身优势,推动上下游厂商配套,预计使得笔记本价值提高7%,按笔记本的基本产能分析,每年可新增利润200亿。2社会环境效益巨大视觉跟踪系统,可应用到手持设备的人机交互、可穿戴计算机,广泛应用于在野外的作业,实现有限的工作空间提供各种信息工具的无缝集成,可以广泛应用于军事领域的预警、火控、制导,特种行业的目标指认指示及远程行动指挥交互。随着该技术在特种行业的应用,可以大大缓解特殊环境下的工作压力,减少任务失误机率,提高任务工效。9.2与国外同类产品或技术的竞争力分析根据调研,国同类技术与产品现状如下：就核心技术而言,国目前还没有眼动技术的专业公司,国外掌握该技术的公司相对较多,拥有比较成熟的产品级应用的有4家左右。就眼控电脑产品而言,目前TOBII推出了眼控电脑,其产品形态是以心理学研究专业设备,价格昂贵,定价在20-40万区间,无法推广到民用级市场。其他公司尚无类似产品推出,联想开始尝试与TOBII合作开发眼控笔记本,联想购买国外的核心技术,容易受制于人,其合作过程、合作代价还未可知。就视觉跟踪应用而言,目前国外有6家厂家推出了比较成熟的应用,但其应用领域主要是军事、航空、视觉行为分析、虚拟现实培训等领域,价格昂贵非常,应用模式和应用场景推广到我国有一定的文化差异和习惯差异。我们的优势在于技术的原创性,掌握核心技术,可以灵活的应用于不同的产品形态和具体的应用场景;其次,我们的核心技术已完全达到和超越的国际领先水平。9.3项目预期成果的应用和产业化前景分析视觉跟踪系统,可以广泛应用于军事领域的预警、火控、制导,特种行业的目标指认指示及远程行动指挥交互,拥有千亿级市场规模,产业前景可观。眼控笔记本配合市政府致力于打造中国陆最大的笔记本电脑基地大环境,项目实施推广后,对形成计算机高端制造产业具有现实意义,充分发挥的制造业自身优势,推动上下游厂商配套,具有良好的产业化前景。十、项目的风险分析,含技术、市场的风险分析 市场风险分析该项目核心技术为公司专业自有知识产权技术,专业性强,可模仿性较差,可形成一定技术壁垒,保障长期的收益,核心技术相对成熟,硬件模块化加工门槛不高。因此,该项目面临的市场风险较小。技术风险项目组的技术储备相对完整,核心技术参数经检测,达到国际领先水平,而且在多个领域得到实际验证。项目组成员结构合理,有电子制造、光学设计、人机交互模式识别、计算机软件、工业生产管理、项目管理等科研人才和应用开发人才,该项目面临的技术风险较小。管理风险本项目研究以产学研优势互补结合的方式开展,项目负责人具有丰富的国家、省部级科研项目研究和管理经验,科研水平和科研管理能力突出；项目合作单位的负责人具有省部级科研项目研究和管理经验,科研水平能力较强,学术水平较高,有科研项目管理工作经验,负责项目合作双方的学科建设管理工作。项目组成员按科研方向、学科方向、科研经验和工程经验对口分工,项目组成员分工明确、接口清晰,项目采取矩阵管理模式。因此,本项目的管理风险极小。十一、其它需要说明的事项1本项目合作各方已就本项目合作研究事宜达成了一致意见；2本项目合作各方单位均同意产学研合作开展研究；3本项目希望得到市科委、市工信委等相关部门的大力支持,以争取更多的示工程和产业化政策扶持,促进本项目成果的产业化形成。