八大AR医疗案例地探索与实践

AR增强现实用于医疗的八大案例作者：安福双，AR行业分析师，AR出版、AR教育、AR玩具行业的从业者和观察 者，这几年， AR 增强现实技术的发展突飞猛进，广泛应用于工业、教育、旅游等多 个行业。这种被誉为下一代计算平台、 下一代人机交互平台的通用平台， 自然也 被医疗行业人士关注到， 被应用于临床、 康复、心理治疗、 药品等多个医学领域。 下面的8个典型AR医疗案例展示了 AR应用于医疗健康方面的巨大潜力。OrCami曾强现实系统让盲人自由活动OrCam是 一套基于摄像头的增强现实系统，可以让视力受损人群（包括盲人）自 由地阅读和活动。OrCam通过一根细小的线缆与便携式电脑相连，电脑的大小可以放在兜里，摄像 头则通过磁铁跟镜框吸附在一起， 可识别穿戴者指向的字和物体。 。它使用声频 反馈传递用户无法看到视觉信息，骨传导的扬声器将读取到的容（报纸、路标、 红绿灯、人脸等）清晰地传递给用户，在捕捉到文本或符号影像后，利用人工视 觉软件通过耳机大声朗读出盲人正在阅读的单词。 总之能够让盲人“通过听觉来 看东西”，提供他们所需的机动性来满足日常生活中的需要。OrCam还具备用户学习功能，未来可实现面部识别、地点辨识、颜色识别等，真正帮助盲人更便利 地生活。卢克海恩斯是英国第一个试戴这款最新高科技眼镜的用户，从而在20年后第一次可以阅读。他 1997 年做了儿童期脑瘤切除手术后，左眼便失去了视力，右 眼的视力也仅剩 3%。由于身体状况，他无法上学，找不到工作，多年来感到孤 立无助。增强现实眼镜改变了海恩斯的生活， 使得他真正体会到了读书的乐趣。 这位年轻 人从此变得对未来充满信心，正在考虑申请读大学这件以前是想都不敢想的事， 还希望找到一份与园艺相关的工作。 “我过去即使是去乐购超市这样简单的事也 不喜欢做，因为每次到了那儿都只能挑选相同的物品。”海恩斯高兴地说， “现 在，我不需要任何人的帮助可以在里面逛上好几个小时，真是太棒了。” “这款可穿戴的人工智能夹式相机能为盲人读取文本， 描述对象， 识别面孔。 就 像苹果的 siri 或微软的 cortana ，充当私人助理的角色。但它高出一筹， 有眼睛和 耳朵。” orcam营销总监埃利亚夫罗德曼表示，“它在今 年推出，上半年提供给开发商，下半年面向消费者。” “orcam 镜可以提供向你 走来的人的实时轮廓，在你的智能手机或手表上展示他们的细节。” cam 联合创 始人阿姆农沙书亚指出，它甚至可以监控你见到的人的面部表情和讨论的主题， 让你事后知道你与朋友和家人互动的质量。”orcam 公司帮助盲人以一种全新的方式认识世界， 成为 2015年值得关注的 10家 以色列初创企业之一。最近，这家人工视觉公司获英特尔公司 1500 万美元(大 约合 9709.5 万人民币元)的投资 视频光学透视增强现实系统：外科医生的“小秘” 你听说过能帮助外科医生进行手术的 “眼镜助手” 嘛？外科医生戴上眼镜， 就能 看到患者身体各种参数信息，想想是不是很神奇呢！由欧洲委员会资助， 比萨大学信息工程系协作研发的视频光学透视增强现实系统 ( Video Optical See-Through AugmentedReality Surgical System，VOSTAR)S， 已进行了 3 年多的研究。最终产品是用于在手术期间引导外科医生的混合可穿戴 显示器。该设备能够将 X 射线数据叠加到病人的身体上。 它能显示完全不同的场 景，是真实环境与外科医生的感觉结合的手术指南。VOSTAR设计有一个头戴式摄像头，能够捕捉到外科医生的一举一动。这些图像 能够与来自CT，MRI或3DUS扫描的患者医学图像合并。另外，该设备还可以缩 短手术时间。生物医学工程和项目研究员 Vincenzo Ferreri 说：“得益于这项技术，外科医 生将在他的视线中获得心跳，血氧和所有患者的参数等信息。” “此外，该设备 将能够看到在手术之前和手术期间获得的所有医疗信息， 完全符合患者的解剖结 构，并向外科医生提供虚拟X射线视图，以精确地引导手术。”VOSTAR还将提供关于所使用的麻醉类型和每个患者消耗的时间量信息。AccuVein 让你直接看到毛细血管2013年，美国AccuVein公司使用AR技术为护士和患者提供帮助。根据统计， 40%的静脉注射第一次都不会成功，如果患者是儿童或老年人时，情 况就会更加糟糕。AccuVein针对不同场景开发了四种型号产品。用于在静脉扎针、抽血、硬化治 疗、一般外科手术及整容手术等过程中直接照射于皮肤表面，呈现出血管纹路以实现血管定位的产品。AccuVein使用AR技术和手持式扫描仪，通过扫描患者身体，向护士和医生展示 患者体静脉的位置。AccuVein公司的Lucia no表示：“这种技术的出现将大大 提升找准静脉的可能性，它的推出至少能造福1000万患者”。据报道，AccuVein可以让静脉穿刺的首次成功率从 45.6%飙升到90.3%。以后去 医院挂水打吊针的时候，护士小姐可以“一阵见血”啦！ 用AR技术治疗截肢者的慢性幻肢痛幻肢痛是一种疑难杂症：截肢者主观感觉已被截除的肢体仍然存在， 这是一种幻 觉现象，却很棘手。然而目前，一种新型的增强现实疗法在减少患者的幻痛方面 出奇地有效。Chalmers科技大学的 Max Ortiz Catalan 于2014年最先提出 AR治疗方法，目 前刚完成第一个非常有前景的临床试验。该团队选择 14名患有慢性幻肢痛的截 肢者作为试验对象，这些患者曾尝试过很多其他治疗方法，然而病情并无改善。患者将佩戴上检测曾控制缺失肢体的肌肉信号的肌电传感器。 通过跟踪和分析这 些信号，并将患者与虚拟环境融为一体-在那个虚拟影像中，患者的四肢都是完 整的，患者可以身临其境地开手或扭动手腕。该校准一旦完成，虚拟肢体被叠加在患者截肢部位的实况网络图像上。患者可以 思考动作，虚拟肢体会执行。每半个月进行一次治疗，在长达12次的治疗过程中，患者被要求使用虚拟肢体进行各种操作，比如说使用传感器控制赛车游戏中 的汽车等。令人惊讶的是，在12个治疗结束时，患者的疼痛减少了大约一半，并且患者的 日常生活开始回归正轨， 睡眠情况也同样得到改善。 四名患者减少了止痛剂的服 用剂量，其中两名甚至减少了 81的剂量。六个月后，患者的情况仍然在改善， 这意味着AR疗法具有持续的治疗效果。“这个结果让患者看到了希望， 尤其是那些曾尝试过四种无效的治疗方法的患者 们。” Catalan 在新闻发布会上说，“从患者第一次治疗到最后一次治疗，我们 亲眼目睹了患者疼痛情况的改善。 患者的疼痛情况不断减轻的事实表明， 患者可 以通过更多的疗程中进一步地改善病况。”如果在AR中移动虚拟肢体缓解疼痛的想法会让你感到陌生，请不要担心一一陌 生是事实。 幻肢痛本就是一种捉摸不透的疾病， 有些时候， 正是因为这种陌生的 治疗方式才能有效地治疗这种疾病。幻肢痒也是一个疾病，例如：想象一下，如果你感觉瘙痒却不能去抓，因为瘙痒 的肢体部位是不存在的。 有些人幸运地找到了解决方案， 让患者坐在一面特殊的 镜子前面，截肢的部位隐藏镜外， 他在镜子里只能看到自己健全手臂或腿的映象。 患者在镜子里挠瘙痒部位， 幻影瘙痒就消失了。 无论相信与否， 这种形式和其他 形式的镜子疗法发展十分成熟了虽然偶尔会失效。从逻辑上来说，这种AR疗法类似于进化的镜子疗法。为真实存在的疑难杂症提 供了极有价值的工具。威海市中心医院：AR助力细胞瘤切除手术2017年3月21日，威海市中心医院通过“ AR （增强现实）技术”和“ 3D打印技 术”高科技手段，顺利完成了一例骶尾部巨大梭形细胞瘤切除及椎体置换手术。在此次手术过程中，把AR技术与3D打印技术完美应用到骨科领域，在全国尚属 首例。不久前，家住文登区、今年 66岁的林庆（化名）因浑身无力到威海市中心医院 检查，医生意外发现他腹部有一个皮球大小的肿块，经多学科会诊，结合CT、磁共振、穿刺取病理等检查结果， 确定为低恶性腰椎部肿瘤。 因肿瘤侵蚀第五椎 体且巨大，若不及时治疗，患者随时都有生命危险。目前，对于肿瘤侵犯腰椎体， 手术切除仍然是治疗的关键。 考虑到患者的实际情 况，主治医师与患者家属进行了详细沟通，最终决定为林庆实施腰椎肿瘤切除 3D打印椎体置换术，以医学影像数据为基础，利用 3D打印技术制作个性化人工 椎体，术中植入到患者体，建立腰椎新的稳定系统。21 日早 8时 50分，紧的手术正式开始，泰山学者特聘专家、威海市中心医院院 长丛海波，脊柱外科资深专家恩忠， 创伤骨外科主任马兆强等专家共同进行手术， 血管介入外科、泌尿外科、麻醉科、影像科、输血科、手术室等多学科专家共同 配合，借助霖晏科技提供的 AR技术，患者腹部11厘米X 9厘米X 6厘米大小的 肿瘤被完整切除，并顺利植入 3D打印的金属椎体，历时4个多小时，手术全过 程患者生命体征平稳，按计划完成手术。医生佩戴AR眼镜进行手术的同时，记者通过外接屏幕进行了观摩。通过AR眼镜 传输的画面，记者感觉自己仿佛置身于手术台上，医生通过语音和手势控制 AR 眼镜所示画面，在术中对动脉、静脉、骨骼进行切换显示及拖拉平移等操作，记 者可以通过外接屏幕，以主刀医生的视野来观看这场精细的手术。据了解， 3D 打印技术应用于骨科手术，在威海市中心医院已不罕见。不仅大规 模用于髋臼骨折手术，在骨科重大肿瘤切除上的应用也已十分成熟。此次AR技术的应用，使患者的血管、组织、病灶部位 360度呈现在医生眼前，大大增加了手术的安全性，提高了手术的精准度 增强现实（AR技术应用于手术的第二步，让患者变成“透明人”。这次手术， 利用CT核磁共振多角度拍摄的片子，计算机还原出一个虚拟却又无比逼真的 患者人体构造，病人和医生可以更加清楚手术要如何实施。 医生戴上AR眼镜后， 通过声控和手势指令， 虚拟的病灶就完全可以剥离出来， 医生可以在这样生动逼 真的世界里，模拟手术全过程。然后，最关键的手术临场应用增强现实技术“透视”手术部位。丛海波介绍，这 个过程是最为重要的，就是将增强现实（AR技术，与真实手术无缝对接。在手 术中，如果碰到棘手的部位，可以戴上眼镜，眼睛扫过的地方，视野里就会出现 一个逼真的虚拟场景，真实的环境和虚拟的物体实时出现在同一个画面或空间， 两种信息相互补充， 患者病灶整个部位的构造也就一清二楚了。 术者就像长了“透 视眼”，可以直接透过皮肤看见肿瘤的位置、 大小、深度，避开重要血管、 神经、 组织，提高手术安全性。“这次AR技术的成功应用，既是一次尝试更是一次伟大的突破。”丛海波告诉 记者，接下来，威海市中心医院将更加深入对于数字化医疗和精准医疗的探索， 促进“ 3D打印”技术、“ AR技术的从骨科领域向更广阔的医学领域拓展，紧 跟医学发展前沿步伐，全面造福百姓。总之，3D技术椎体肿瘤切除+ AR技术的应用，实现了术前、术中全过程的精准 可视，患者得到了最佳的治疗效果，手术的安全性和精准性大大提高。省肿瘤医院：借助增强现实技术完成肿瘤切除手术2017年，省肿瘤医院胸外一科借助增强现实技术（AR，为该院患者唐智英完 成了首例该技术下胸壁肿瘤切除加胸壁重建手术。目前，患者恢复良好出院。患者唐智英，因发现胸腹壁肿块 8+年入院，术前诊断考虑为胸壁低度恶性肿瘤， 呈哑铃状，肌层及胸廓均有病变， 而且累及胸壁及数根肋骨， 且与心脏表面紧贴。 保守治疗无法取得较好效果， 必须手术治疗。 但手术治疗， 不仅肿瘤切除有一定 难度，肿瘤切除后胸壁将出现严重的骨缺损， 影响患者术后的呼吸功能， 且患者 心肺难以得到较好的胸壁保护。省肿瘤医院胸外一科肖高明主任医师团队， 腹外科吴飞跃主任、 石磊副主任医师 团队等将患者的CT数据导入专业医学图像处理系统，对患者心脏、大血管、肋 骨、肋软骨、胸骨、肺和胸壁肿瘤进行了数据半自动分割和三维重建，并根据胸 骨、肋骨的性状和肿瘤侵蚀围， 在计算机上进行数字化辅助肿瘤切除术方案的设 计，并于电脑上进行了手术预演。在“增强现实技术”的协助下，手术进行得非 常顺利，增强现实与实际病变完全吻合。增强现实（AR技术通过术前三维影像重建，能够克服术者腔镜视野下手术操 作的诸多不便，为术者提供更准确的解剖信息，故近年来在医疗领域发展迅速。 但与脑组织等位置相对固定的器官不同， 肝脏位移幅度大， 需专门的手术助手在 术中实时手动校准图像，操作复杂且难以保证准确性。“有了 AR增强现实技术，术中主刀医师不仅可以现实下直观大致观察肿瘤表面 形态、大小等实际情况， 而且可以在增强现实技术虚拟的图象上精准判断肿瘤需 切除围、肿瘤血运、以及肿瘤深面与心脏距离等，从而设计手术方案、模拟手术 操作，手术难度及手术风险大大降低。”省肿瘤医院负责人说。应用基于图像处理的手术导航技术，医生可以在手术之前，根据患病部位的三 维图像确定完善的手术计划； 在手术过程中， 可以由病灶的实际位置确定刀口的 大小，使刀口达到最小的程度， 采用相关的手术导航器械， 就能在系统中建立位 置精确的三维立体模型， 从而能够避免伤及到周围附近的其他重要的组织血管以 及神经，设计出安全的手术流程， 也可以在手术过程中进行实时监控， 判断手术 是否达到预期目标， 从而降低手术风险以及难度， 提高手术成功率， 减少手术时 间。法国斯特拉斯堡大学：微创肝切除外科近年来腔镜肝脏外科手术发展缓慢， 使微创肝切除外科的发展受到了局限， 一些 特殊位置的肝脏切除更是微创外科的禁地。 随着计算机成像指导下的外科技术飞 速发展，思维开阔的外科医生们， 因此开始设想运用 AR 技术，通过制定一个可 以应用到手术室中的术前虚拟切除计划，为解决这一课题提供新的思路。2015 年，来自法国斯特拉斯堡大学的 Pessaux 教授在增强现实技术辅助下，采 用经胸腔镜肝切除术成功切除一例肝顶部肿瘤， 表明该方法对肝后段和上段肿瘤 微创切除的安全有效。接受手术的患者为一名 52 岁男性，活检诊断为位于肝 S8 段的孤立性， 高分化 型肝细胞癌。患者有非酒精性脂肪性肝炎及胆囊切除术病史。 手术时间为 270 分 钟，术中失血约 300 ml ，术后 3 天拔管出院。腔镜肝切除术相比传统开腹手术具有许多不可比拟的优点， 因此外科医生们一直 致力发展新的腔镜技术于扩大其适用围， 使更多患者受益。 肝后段和上段肿瘤一 直是微创肝切除术不可碰触的领地， Pessaux 教授等人的研究是对这一课题的新 的探索。解决了手术入路问题后， AR 技术的应用则解决了其余的问题。 AR 技术将术前模 拟与术中实时导航连接， 解决了触觉反馈丢失和三维可视化难题， 便于开展更加 特异精准的微创肝切除术。 首先， 术前对病人进行薄层 CT 三期扫描， 同时可结 合肝脏MRI，运用IRCAD 3D虚拟现实软件，重建患者特异的虚拟3D模型。视 频成像系统采用外部摄像机为体外成像， 腔镜摄像机为体成像。 采集的图像通过 三维虚拟模型技术叠加到现场手术图像上， 再由计算机科学家在远程站点执行关 键的注册过程以确保图像的精确复合，最终产生的图像会显示在手术室显示器 上。患者采用双腔支气管插管麻醉， 左侧卧位。 首先在腔镜下确认可以较易在肝 门部放置血管夹， 以确保肝切时需要 Pringle 手法阻断肝血流。 AR 技术首先用 在右胸部和上腹部，用以放置 trocars ，获得对病灶部位最优的三角定位。虽然存在种种限制，但增强现实辅导下的经胸腔镜肝切除术仍是一种安全有效 的微创切除肝顶部肿瘤的术式。密歇根大学儿童医院：AR游戏加快恢复重病儿童密歇根大学 C.S. Mott儿童医院的医生 Leah Hagamen和理疗师Donna Thompson 日前表示，AR游戏口袋妖怪GO能够让孩子们在玩游戏的同时练习运动技能， 从而可以帮助那些重病儿童加快从从伤病中恢复过来的速度。半年前，他们刚刚为一位叫做 John Haas-Pueblo 的 7 岁小盆友做完一场脑动脉 瘤手术；曾经被其他医院的医生要求放弃治疗的想法。 在陆续辗转了密歇根本地 的三家医院无果后，密歇根大学 C.S. Mott儿童医院AR增强现实技术与医疗结 合的治疗方法，还是给小 John 和他的家人带来了一丝希望。Leah Hagamen 表示，种不协调正是共济失调的表现之一。共济失调是一种常染 色体显性遗传性疾病， 以小脑性共济失调为主要症状的， 首发症状多表现为下肢 共济失调，表现为走路时步履不稳、肢体摇晃和动作反应迟缓及准确性变差。尽管共济失调影响了孩子扔出精灵球时动作的精确度， 但是很显然当他扔出精灵 球时所展现出的正是一个适龄小男孩脸上应有的的活力和热情。Do nna说：“小 孩子才不管你的目标是什么呢！ ”医生和理疗师利用AR增强现实技术，逐步让很 多和 John 一样的孩子达到实现矫正大脑和身体的治疗目标。 此外除了康复治疗， AR增强现实技术还被应用在手术前让孩子们冷静下来。对此，密歇根大学 C.S. Mott 儿童医院的创始人 Christina York 表示：“我觉 得AR可以帮助我们解决许多问题，帮助儿童病患分散病痛、收获快乐，让孩子 参与到AR游戏中。我认为这很棒！”从以上的案例可以看出，AR在医疗领域有很广泛的应用场景，可以为人类的健 康事业做出很大贡献。国AR技术专家、幻实科技CEO1认为，未来AR会无处不 在，就像二维码，到处可以看见。将来 AR会成为人们生活的一种习惯，它会渗 透到各行各业，是一种新的交互方式，让人们的生活更加方便，更高效益。AR能让你看到虚拟的东西叠加在现实上面， 让你更好的了解这个世界， 让你看到更 多的东西。此外，医生戴上 AR眼镜后就解放了双手，这对于既需要患者实时信 息又需要双手操作的医生来说非常方便。AR+医疗，前景无限！