VR/AR从科幻走进现实的第一步

"

写在前面：

所有人都想知道，移动互联网之后的下一个浪潮是什么。如果你问创业者，元宇宙可能是一个基本共识。Facebook、腾讯、字节这样的巨头都在布局下场，当VR/AR试图从科幻走进现实，基础设施尤其操作系统是关键的第一步。虹宇科技是从2016年就专注XR操作系统开发的一家公司，他们研发的Iris OS已经被不少国内硬件厂商所运用。创始人范顺豪近期分享了一些他对XR时代操作系统的思考。

"

口述撰文 | 范顺豪

采访整理 | 翟文婷

01

个人计算机发展史也是人机交互变革史

每次变革发生背后，本质上都是人机交互形式的转变。

个人计算机面世之初，人机交互最早的形式是命令行。Apple II在70年代末开创了个人计算机的产业，“IBM兼容机+DOS操作系统”紧随其后，逐渐成为个人计算机的主流配置。了解这些名词，对现在的00后用户，无疑是一次科技考古。每次操作计算机，都要从记忆中抓取命令字符，准确输入，才能准确输出。

1984年Macintosh问世，图形用户界面（GUI）彻底改变了计算机信息呈现和交互。鼠标来回轻点，随便拖曳窗口，极大地降低了普通人操作难度。Macintosh使用独立的macOS系统，而微软研发的Windows操作系统发力兼容机市场，与Macintosh共同推动了个人电脑的大规模运用，也改变了人类的生产和生活方式。一大批影响世界的科技公司应运而生。包括Adobe、Google、Facebook、Amazon等在内的头部公司，至今还在决定科技的走向。

从PC到移动，人机交互又被打开一个新世界，标志性事件就是iPhone重新定义了手机，触摸成为人机交互的主流。彼时，iPhone所搭载的iOS仍然只能为苹果硬件服务，市场上其他的硬件厂商必须选择搭载其他操作系统来满足终端用户的需求。最终，Android成为了适配多元硬件的开放生态中最大的赢家。

触摸屏横扫天下，自然易上手的交互方式催生了其上繁荣的移动互联网产业。相比PC互联网时代，有更多的用户能够利用电子设备方便自己的生活。互联网公司开始争夺场景，智能手机、Pad、汽车中控台等等，只要屏幕能抵达的地方，就有移动互联网。

人机交互演进的一个特征或原则是，不断接近人类现实世界信息获取和流动的方式，体验更自然，信息呈现的形式也更丰富和立体。图片就是比文字信息含量更大，视频又比图片更丰富。

决定和支持人机交互方式变化的有多重因素，比如硬件算力、显示、输入设备的不断迭代，而在软件层面，操作系统是基石。

对下，它是硬件接口，确保任何型号、任何制式的硬件都能顺畅地跑起来；对上，它定义和承接应用体系，应用选择什么开发语言，提供什么服务能力，甚至长什么样子，都由操作系统来决定。

操作系统以其独特的魅力吸引了国内外诸多公司和技术大拿前仆后继，不论PC还是移动时代，即便面临诸多挑战，大家从未放弃过开发操作系统的努力。

02

XR需要怎样的操作系统

所有人都想知道，移动互联网下一代是什么。从硬件设备、用户体验到内容构建，整套体系会发生怎样的变革。

早在2014年，Facebook以20亿美元的高价，将年轻的公司Oculus收入麾下。当时，扎克伯格就说，VR是继移动互联网之后的下一个计算平台。2021年，Oculus Quest 2出货量近千万台，为彰显all in Metaverse的决心，Facebook更名为Meta，Oculus Quest系列也更名为Meta Quest。

一个日渐清晰的共识是，未来可能性最大的方向是VR/AR。从科技公司发力的空间计算、AI等基础技术，到Facebook（已经更名为Meta）、苹果、腾讯、字节等巨头的布局落子，都越来越支持这个结论。

相比上一代移动互联网，VR/AR带来的最本质的变化是，用户能够在三维空间中与立体、逼真的信息进行互动。VR（Virtual Reality 虚拟现实）是指，由计算机创建、渲染一个仿真三维空间并呈现信息；AR（Augmented Reality增强现实）是指直接以真实的三维空间为背景将信息投射其中。

我们理解VR/AR可能会经历三个发展阶段：第一阶段，特定领域、特定场景的沉浸式VR体验，比如游戏、培训等垂直领域；第二阶段，就是场景一般化，虚拟和真实相结合，也就是目前AR试图达到的体验；第三阶段是能完全创造出一个真正意义上虚实结合的社会系统，就是电影《头号玩家》所讲的故事。但想达到第三个阶段，需要更长时间的沉淀。

第一阶段VR已有类似Quest这样相对成熟的硬件产品；而第二阶段目前AR设备受限于工程技术的挑战，更多在B端使用，在C端还没有真正成熟落地的产品。目前最接近成熟的方案是Video See-Through VR（VST VR），它以VR相对成熟的硬件为基础，添加能够捕捉真实世界的摄像头，将真实世界重构于用户眼前，达到一种类似AR的效果。这种方案也有人称之为MR（Mixed Reality 混合现实）。VR、AR、MR被统称为XR。

传统VR类似于游戏机，而VST VR更像是PC的延伸，AR更像是手机的延伸。

目前普通人生活中最常用的个人硬件设备有便携和移动两种。手机是真正的移动设备，走到哪用到哪；便携则不同，笔记本便携，但没法做到随时随地打开，总归要考虑使用环境。

相对应的就是，VR头盔可以便携，但如果你戴着它走在街上或骑车，可能会很不适应，大家看到你也会感觉很奇怪，所以还是需要在相对固定的场景使用，将其视为PC的延伸。AR则随时随地可以处理事情，类似于是手机的延伸。

不同时期的操作系统

从操作系统的视角来看，XR会给应用体系带来三个层面的变化。

交互形式的变化

直观地来看，XR让内容脱离了平面，直接以3D的形式呈现在真实空间中，因此也带来了如手势、眼动、空间感知等更丰富的空间交互方式。此外，相对于智能手机，XR在360度范围内都能够呈现内容，为用户带来了更大的视场角（FOV），因而用户自然会期待能够同时操作多个任务。对于VST VR和AR来讲，3D多任务的特性决定了XR系统的交互形式跟手机时代有根本性的不同。

应用模式的变化

相较于智能手机，XR设备散热空间有限（眼镜形态AR的散热空间甚至要少于手机）。算力受限于功耗，但为了呈现3D化的内容，XR场景却有更多的算力需求。对开发者来说，尤其对于AR而言，本地算力有限，要想给用户提供卓越的体验，就需要借助多端的算力进行处理，手机、云端、PC甚至车都可能参与到计算当中。这更对操作系统的多端算力分配和协同提出了要求。而从用户的视角来看，多任务场景下，原生于Android的超级APP体验下降；由于能够和真实空间进行结合，用户更希望直接得到基于场景的服务。可以想象的一种体验是，无需下载安装应用，就能在需要的时候及时获得服务，有些类似于 “3D小程序”。

内容分发机制的变化

相比PC和智能手机，XR设备能够采集到更多的用户信息和环境信息。结合应用模式的变化，下一代的智能终端能够产生更加丰富的内容分发机制，像智能助手一样根据环境感知实时进行信息推送。达到这样的体验，需要行业上下游一起合作。目前我们的工作主要在操作系统层面，围绕多元感知的特性设计了系统底层架构以及交互体系，能够高效、方便地接入各类感知算法。

VST VR和AR作为基于虚实结合的通用场景智能终端，带来了交互形式、应用模式和内容分发三个层面的根本变化，这些特性都对操作系统提出新的要求。

XR环境下内容分发

在VST VR和AR的背景下，现有的Android系统有很明显的短板。

一个最直观的问题，XR应用应该能够以3D形态呈现在空间中，而且能够支持手势等空间交互方式。而在Android本身基于2D触控屏幕设计，从系统侧看来，一个应用就是一个全屏的框，只能通过框内的点击、滑动进行交互。

此外，XR需要支持多任务。在Android现有的APK体系里，应用生命周期设计之初是针对于单任务的场景，虽然Android底层的Linux本身支持多进程，但在Android的设计中主要只有一个前台应用和用户交互，这在多任务情形下会带来一系列的问题。例如Android的“杀后台”问题，用户应用被自动杀掉，这在多任务体验中是不能接受的。

同样是基于2D单任务的设计理念，Android对资源的占用并不节制，Android系统内部有部分代码用Java实现，这会带来不小的额外开销。在应用侧，同样的应用Android版消耗的内存和PC版可以有3倍的差距。这对于资源相对紧缺又需要3D多任务体验的XR设备来讲，是一个巨大的问题。

因此XR需要一个全新的操作系统。

03

新浪潮中的虹宇

相较于智能手机时代的转折点，在当前中国高速发展，中美激烈竞争的大背景下，中国更有需要，也更有机会做出真正意义上的XR原生操作系统。

我们从2016年起开始研发XR操作系统。在2019年之前，行业内的XR硬件厂商主要是创业企业，我们和很多当时的厂商进行过合作，2019年开始，伴随着5G的浪潮，国内一线硬件大厂把更多的注意力放到了XR，我们也很有幸地为多家一线厂商提供了底层操作系统。迄今为止我们适配过的XR硬件有大几十款，我们也希望为行业合作伙伴提供更多的帮助。

从2016年虹宇创立之初起，我们一直在探索、实践下一代人机交互形态下的应用该如何定义，需要什么样的系统来支撑。如今，我们愈加能够清晰地感受到消费电子与互联网变革的来临。在这样的浪潮中，作为一支中国力量，我们希望对行业进步有所助力，亦能乘浪而行。

一篇稿件解决一个问题

关键词： 操作系统 人机交互