身心交互——元宇宙新型人机交互发展趋势

纵观全部数字经济创新成长史，每一次倾覆式创新常常陪伴着人机交互革新。在野生智能、XR等产业的高速成长下，人机交互正在发生史无前例的变化，这类变化并非渐进式进化，而是一种重构。它重构了人类与机械的互动方式、交互场景和交互体验。



图1 数字经济三大倾覆式创新

一、交互方式显现束缚式特征，切近人体自然习惯

新型人机交互最不言而喻的表示即是交互方式与交互装备的变化，人机交互方式演变历史大致可分为“PC互联网时代—移动互联网时代—元宇宙时代”三个阶段，随着科技的演进成长，人机交互方式在内容和场景上不竭停止丰富和升维。
PC互联网时代，人机交互主如果经过手指操纵鼠标、键盘以及眼睛检察显现屏内容完成；移动互联网时代，人机交互首要经过手指操纵触控屏、语音识别等方式完成；元宇宙时代，人机交互方式将发生倾覆式的创新，交互装备、交互内容、交互体验都将被带到新高度。在元宇宙成长早期，现实天下中的人可以经过VR/AR等虚拟显现装备完全沉醉在一个虚拟天下里，人机交互方式不止范围于手和眼睛，还可以经过肢体行动捕捉与虚拟天下互动，不但视觉和听觉的体验加倍传神，甚至可以获得触觉、嗅觉、味觉等多维度感官体验。同时，交互方式显现出由孤立到融合的趋向，按照分歧交互通道的特点和场景适用性，人们普遍摸索触控、语音、手势、人脸等多种交互方式的融合利用，以顺应分歧情形需要。



百度输入法AI摸索版：默许全语音输入，并变更脸色、肢体等停止全感官输入



BMW X5搭载iDrive 7车载系统：构建手势、触控、语音、旋钮、按键“五维人机交互”，覆盖一切用车交互场景

随着AI、脑机接口等技术的进步，到元宇宙成长的高级阶段，脑机交互技术可以正确读取人脑信息，人类经过脑机接口间接将意念传递给智能体完成交互，即人类将自己的指令经过脑电波输入至虚拟天下，同时虚拟天下也将反应传送和显现在人的大脑中，人机交互的终极方式将从时候和空间上完全束缚用户。



图2 人机交互方式演变图

二、交互工具数目增加、关系趋向复杂

元宇宙时代的新型人机交互还显现出交互工具数目增加、交互关系加倍复杂的趋向。在人机交互低级阶段，人与机械之间只存在简单交互。当迈入人机交互中级阶段，人与虚拟人世出现了简单交互，与机械间交互起头变得复杂。进入元宇宙包括现实物理天下的交互高级阶段，虚拟人显现量产化、拟人化、交互自动化的特点，可交互机械也被范围量产。人借助数字兼顾将虚拟人作为自己的交互载体，与其他脚色发生交互活动。虚拟人与机械甚至能够更进一步发生更高阶的虚拟与实体融合。此时将建立起“自然人-虚拟人-机械”共五种交互关系的“三位一体”复杂格式。虚拟人与机械交互、虚拟人与虚拟人交互、机械与机械交互成为支流交互形式。                    



图3 人机交互关系演变图

机械与机械之间互通互联，打破了单品孤岛，构成装备互通、场景融合的智能化交互场景。如智能冰箱可以与烤箱、油烟机、燃气灶等电器联动，实现智能化烹饪。经过智能冰箱挑选食谱，烤箱接收到食谱后自动停止烘焙。与电视、手机多屏互动，可以将客厅电视和手机上播放的视频实时传送到冰箱屏幕上，人机交互关系获得了自动延长。



智能家电联动案例：智能冰箱发送食谱给智能烤箱，实现一键烘焙

三、交互场景拓展到真假连系的场域

元宇宙时代，现实天下和虚拟天下的大门将被翻开，人机交互场景将由现实天下二维平面信息交互拓展到虚拟天下，甚至现实空间和虚拟空间合为一体的场域。不管是从虚到实，还是由实入虚，人机交互的广度和深度都将超越今朝的人机交互水平。



图4 人机交互场景成长趋向

从广度来看，在PC互联网和移动互联网时代，人机交互只能经过特定装备如电脑、手机并在利用这些装备的特定场景下停止人机交互；而在元宇宙时代，肆意器件、工具等都可以酿成智能系统，在野生智能和虚拟触控的加持下，人类甚至可以用自然说话、行动跟任何器件交互，大大拓展了人机交互场景的广度，即肆意生活场景。基于人脸细节识别和空中手势识此外品种和自在度提升，也将翻开更多的交互空间和真假融合利用处景。



Apollo首发AR-HUD：将挡风玻璃酿成智能大屏，给驾驶员显现实时路况、车况信息，实现车路协同



智能冰箱案例：经过人感、触控、语音停止交互，可以完成食材录入、饮食分析、食材采办、食谱保举、影音文娱等交互场景

从深度来看，久长以来“输入-反应”循环是人机交互的根基形式，在这个循环中凡是为“人类表达题目-机械反应成果”的问答式信息获得与展现，且通常是单轮对话竣事问答，人始终是自动的而机械是被动的。在元宇宙时代，野生智能赋予了机械情境感知和自立认知才能，构建起机械自动办事于人的智能化交互模子，增强人机交互的体验深度。
陪伴计较机视觉技术、深度进修算法成长，机械可以正确识他人的细节信息，人体的各类心理信号作为信息被智能体感知、分析、了解，从而自立识他人的需求，更好的应对和办事，在感情互动、疲惫驾驶、专注力监测与应对等场景发挥感化。



百度疲惫驾驶监测系统：经过驾驶者的面部、眼部、嘴部细节特征判定驾驶者的疲惫水平，并经过播放音乐等方式提醒驾驶者

另一方面，智能系统可以经过情况感知与进修，由被动办事变成自动办事，如家庭智能硬件将基于深度进修的野生智能办事家庭中枢，可以快速分辨用户需求、供给以用户为中心的全方位智能办事。智能家居融入视觉感知、语音交互、AI云大脑等技术，被赋予像人一样的“眼睛、嘴巴甚至思惟”，自立抓取分析外界的数据，比如温度、湿度，用户生活习惯和状态等，并延续进修用户的利用习惯，将天气、行为、时节、人体等数据作为参数输入智能决议系统，停止自立运转和精准调理，人机交互场景的智能化大大增加。
元宇宙时代，VR、AR作为重要的感知技术，经过改变情况和物体的显现方式，重新界说人类看到和体验的天下，而光场交互技术让VR内容和交互发生反动性改变，经过“轻眼镜 + 光标签”的场景交互处理计划，佩戴轻眼镜的用户只需看一眼现实场景中摆设的光标签，便可以开启毗连现实与虚拟天下的大门，并获得与场景相关的各类信息与办事，从而体验“增强”的现实天下。同时，用户可以通太轻眼镜供给的交互技术，快速、便利地与场景停止各类交互，实现“所见皆可交互”。





绰号科技场景交互处理计划

今朝场景交互处理计划已经实现在贸易、文旅、会展、修建等多种场景的落天时用，经过VR打造全新的虚拟空间、AR技术增强现实，人机交互场景将实现线上和线下、虚拟与现实的联络，并慢慢渗透到更多的场景利用中，现实与虚拟将从简单叠加到有机融合。
四、交互体验在AI加持下融入新型感情体验

在未来的元宇宙空间中，新型人机交互将在AI加持下无穷模拟人与人之间的多感知自然交互，从传统的工具型转化为感情型与办事型相连系的新型形式，人机交互体验被重构。
一方面，经原始设定的智能体已具有生齿学信息、爱好拿手等打造“人设”必须的元素；后续，人机互动发生的大量数据反应和机械自我迭代使得智能体的“人设”加倍新鲜多元。智能体被赋予感情自立认知等才能，经过表露自己的感情自动倡议感情交互，一步步由非人、拟人到类人转化。这使得人机之间的感情毗连加深，感情体验加倍实在可感。
另一方面，智能体可以按照行为表示和神经心理信号敏捷感知人类内在的复杂感情，实时做出后续的感情反应和陪伴。智能体向感情型的转化将为人类供给新的情感出口和交换路子，进一步在真假连系空间构成一个感情温室，极猛进步人的亲社会性和主观幸运感。在感情识别方面，人在与市道上的一些智能产物交互时，机械已经可以经过面部脸色、语音腔调、肢体行动识他人类根基情感。例如，KODA机械狗在AI和仿生引擎技术的帮助下，在仆人高兴、愤慨或哀痛时记录仆人的情感波动，并作出根基回应。未来会在识别效力、识别精度、反应时候等方面进一步提升。



图5 感情交互智能产物示例

元宇宙时代，在智能交互的支持下，人的行为都可以被正确了解和把握，拜候信息天下的界面被移动到人的身心，信息系统所具有的深度意图了解和情境感知才能为我们的生活、工作、文娱机关出轻松高效的情况。人机交互范式无穷接近人类在现实生活中获得信息的自然方式，全天下酿成可以点击的桌面和信息展现的面板，人和机械的交互酿成人和天下的交互。虚拟人和智能体对人体功用无穷延长，人机交互的优化将极大地提升社会生产效力，人类的文化迈上新的台阶。