400-003-7553

  • 中文
图片展示

34岁海归博士攻克人机交互反馈难题,发明“皮肤VR”

DeepTech深科技
发表时间: 2021-01-12

“Can you feel this?”

“Um,yeah.”

这是科幻电影《头号玩家》中男女主在游戏里跳舞时的一段对话,尽管是在虚拟世界,男主韦德也能够感受到虚拟女主对自己的触摸。

这主要得益于韦德身上的 X1 触感套装,穿上这套装备,游戏世界里的一切触觉都可以真实地作用在现实世界的韦德身上。在和女主跳舞时他甚至调侃 “I got the X1 haptic boot suit with microfiber crotch in that.”

斯皮尔伯格通过电影让人们看到了 VR 应用的更多可能性。但实际上,支持 X1 触感套装的背后技术在 2019 年就已经实现。

这项被称为 “皮肤 VR” 的虚拟现实技术是由海归博士、香港城市大学生物医学工程博士生导师、香港城市大学 - 中科院机器人联合实验室副主任于欣格团队研发。

据他介绍,皮肤 VR 是一套轻柔、类皮肤、无线的触觉反馈系统,可将传统听觉和视觉的虚拟现实技术扩展为多触觉的感知。

简单理解就是,通过皮肤 VR 技术,远在一千公里外的亲友只需要 “敲一敲” 手机屏幕,你就能真实感受到对方的触摸。

当然这只是其中一个使用场景,于欣格表示,不仅在社交通讯和娱乐领域,皮肤 VR 在生物医疗、健康、传感等诸多领域上有着非常重要的意义。

图 | 《麻省理工科技评论》“35 岁以下科技创新 35 人” 2020 年中国区榜单入选者于欣格

凭借该研究,于欣格入选 “35 岁以下科技创新 35 人”(Innovators Under 35)2020 年中国区榜单。获奖理由是 “他开发的无线的电子触觉反馈系统皮肤 VR,可以实现多触觉感知,获奖人的研究向业界展示了柔性生物电子的无限可能。”

无线操控还原现实触感,可产生类似手机振动的触觉反馈

通过无线操控电子器件,皮肤 VR 可产生机械振动的触觉,仅在一个 6 乘 6 英寸的大小的皮肤 VR 中,就集成 了 32 个振动反馈单元。

图 | 具有 32 个独立控制触觉的设备示意图(来源:于欣格)

“我们利用皮下机械感受器的敏感性,把频率调节在人体容易感受的范围内,类似像手机振动就是明显的触觉反馈。” 于欣格说。

经过设计后,每一个振动反馈单元可以被无线独立控制,在其工作频率下(200 赫兹)均为谐振模式,从而大幅提升了驱动效率,即反馈的及时性。

触感的问题解决了,那么如何实现无线操控呢?

于欣格将目光瞄准了近场通信(NFC)技术,通过优化电子工程与电路设计,他实现了利用诸如手机、平板电脑和笔记本等触摸屏界面,即可无线控制皮肤 VR 的触觉驱动,并能将对应的形状力度等触觉感知信息传递到佩戴者身上。

图 | NFC 电子和电路原理图

目前,用在皮肤 VR 上的 NFC 通信工作距离可以延展到近 1 米。针对产品的外在形态,于欣格给出了两种解决方案:一种是类皮肤形态,可以舒适地贴附在身体各个部位,低模量的软硅胶可用于封装和提供与皮肤间的粘附力,不借助胶带或绑带就能自由穿戴在身上;另一种是通过织物形式做成我们日常生活中穿戴的轻薄外衣,随时穿戴在身上。

“只要有需要,皮肤 VR 可以是任何形态。” 于欣格表示。

图 | 表皮 VR 设备在弯曲、折叠和扭曲(来源:于欣格)

值得注意的是,皮肤 VR 无需电池驱动,采用无线射频供电。而为了解决无线充电的距离限制,其团队采用特殊的系列电路电子设计,目前已经可以实现 VR 系统在一个 10 平房间内的无线供电。

可用于新冠监测,帮助医护人员提升检测安全度和精准度

除通讯和娱乐的应用之外,皮肤 VR 在生物医疗、健康、传感等诸多领域上也有着非常重要的意义。

图 | 皮肤 VR 的不同应用场景(来源:于欣格)

于欣格列举了皮肤 VR 与医疗结合的三个应用场景:

一.医疗检测。以目前的新冠检测为例,于欣格认为如果将皮肤 VR 技术应用到新冠病毒检测环节,将能大幅保障医护人员检测过程的高效性和安全性。

现有的采样机器人或采样设备,虽然能在一定程度上保证医患隔离,但在精准度及体验感上很不好。如果医生通过远程控制搭载了皮肤 VR 系统的采样机器人,完成远程筛查采样,那么采样过程中 VR 系统就会对力度、精准度进行实时反馈,一方面可以提升医护人员的检测效率,减少其暴露风险;另一方面也可减少被检测者的不适感。

二.健康监测。通过皮肤 VR 可用于收集人体的健康生理信号的变化,通过采样处理可以及时分析出佩戴者的健康状况以及潜在疾病发作危险,进而通过如声音、压力等物理刺激通过皮肤电子驱动器把有用的信息施加给人体,实现人机交互在虚拟和现实场景中的完美融合。

三.远程手术。皮肤 VR 的反馈机制也为医生实现远程实时手术提供了技术支持。医生在手术的过程中可以根据及时反馈来调整力度。

四.知觉恢复。皮肤 VR 还可帮助残疾患者通过佩戴义肢恢复受伤部位的感知。

基于柔性传感和反馈于一体的皮肤 VR 系统与医疗领域的结合还有很多的可能。于欣格预言,未来 3-5 年柔性电子技术将会有一个颠覆性的产品出现。

传感 + 反馈一个都不能少,打造人机交互完整闭环

不同于传统可穿戴电子皮肤更注重传感功能,人机交互是目前全球可穿戴电子皮肤的研究弱项。于欣格认为,开发具有完整闭环的柔性传感与反馈系统尤为重要。

人机交互技术包括传感器(sensor)和反馈器(actuator),传感器用来感受外部信息,然后把信息以数字化形式体现出来,概括来说这是一个把敏感信号转化成电信号的过程。日常生活中传感器也很常见,包括温度计,智能手环、智能手表等。

反馈器则恰恰相反,其需要把接收到的电信号转化成力学、热学等其他形式。以触觉反馈为例,当别人触摸你身体的时候,你会做出反应如动作、语言、情绪等形式,这些反应发生的过程就是反馈信息的过程。

“这就类似在游戏中,你的角色和别人对打,对方打你一下,你感受到了他传递给你的攻击信息,并对这种攻击信息作出反馈,你回打对方一下,这个有来有回的过程构成了一个传感闭环。”于欣格举例说。

但是,反馈过程中转化形式的复杂性大大增加了对反馈器的技术要求,这也导致该领域研究一直停留在 “电刺激” 的阶段,难以找到新突破。

基于此,于欣格开发了无线、无源供电的超薄可穿戴柔性电子作为传感和反馈界面,可应用在社交媒体、游戏、义肢控制与反馈等领域中。

“意外” 攻克的柔性电子反馈难点

2009 年,于欣格本科毕业于电子科技大学,后继续在该校读研,硕士阶段主要从事光电子器件的研究。

2011 年 - 2015 年,于欣格于美国西北大学开启了博士生涯,期间主要从事柔性金属氧化物的柔性化与大规模打印的研究。读博期间,他提出了采用溶液打印法合成柔性金属氧化物薄膜以及其柔性器件的制备,并实现了可媲美真空物理沉积的金属氧化物半导体器件。

随后,于欣格赴美国伊利诺伊大学香槟 - 厄巴纳分校从事博士后研究,在此期间他发现,柔性电子器件的特殊性能解决很多医疗问题,这也成为了他日后主要的研究方向。在此期间,于欣格首次将柔性病理探测镇,用于人类肝癌恶化肿瘤的精准检测与定位,大幅提升了肿瘤病理活检的成功率。

2018 年,于欣格回到中国,任职香港城市大学生物医学工程系助理教授。在此期间,他发表了系列柔性电子技术相关研究论文,并被收录在 Nature、Nature Communications 和Science Advances 等期刊上。

回顾自己的研究之路,他坦言,“也说不上什么契机就开始研究柔性电子技术,只是发现研究这个领域的人很多,但大家好像都卡在反馈器这个环节上了。”

这让他看到了行业发展的难点,也看到了未来的机会。其表示:“只要解决了反馈这个技术难题,柔性电子技术将迎来巨大的增长空间。”

图 | 于欣格关于皮肤 VR 的研究论文(来源:Nature)

说来也是巧合,一次在做传感器的过程中,其团队为解决市面上已有传感器对特定系统不稳定、不适配的问题,决定重新开发一个新传感器,这次团队另辟蹊径采用了比较传统的机械震动方式做传感器,后来在实际工作中显示了这种 “古老” 的配置效果也还不错。

受此启发,于欣格打开了思路,决定用同样的方式做柔性电子的反馈器,结果就成了。这样的 “意外” 其实与其长久以来深耕一线研究息息相关。

关于未来,他透露自己将继续沿着智能化柔性电子器件的方向深入,包括柔性传感器与触觉反馈器的开发与研究,集成化智能皮肤电子的设计与研究,以及这些器件在人机交互中传感、反馈和通信等方面的系统研究。


来源: DeepTech深科技
浏览:
点赞 | 0
分享
34岁海归博士攻克人机交互反馈难题,发明“皮肤VR”
长按图片保存/分享
文章推荐

产品系列

关于我们

联系我们


咨询热线:400-003-7553

公司总机:020-34037553

商务合作:info@ximmerse.com

关注公众号

小程序

购买咨询

XIMMERSE  版权所有

本站支持IPV6 千海提供技术支持

图片展示

24小时免费咨询

400-003-7553

  • 公司名 *

  • 姓名 *

  • 电话 *

  • 需求 *

  • 提交