虚拟（增强）现实白皮书2018.pdf

《虚拟（增强）现实白皮书2018.pdf》由会员分享，可在线阅读，更多相关《虚拟（增强）现实白皮书2018.pdf（79页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、 虚拟（增强）现实白皮书虚拟（增强）现实白皮书 （2012018 8 年）年） 中国信息通信研究院中国信息通信研究院 华为技术有限公司华为技术有限公司 京东方科技集团股份有限公司京东方科技集团股份有限公司 2012019 9年年1 1月月 版权声明版权声明 本白皮书本白皮书版权属于版权属于中国信息通信研究院中国信息通信研究院，并受法律保护，并受法律保护。转载、摘编或利用其它方式使用转载、摘编或利用其它方式使用本白皮书文字或者观点的，本白皮书文字或者观点的，应应注明注明“来源：来源：中国信息通信研究院”中国信息通信研究院” 。违反上述声明者，本。违反上述声明者，本院院将追究其相关法律责任。将追究

2、其相关法律责任。 致致 谢谢 在工业和信息化部电子信息司的指导下， 本白皮书由中国信息通信研究院与华为技术有限公司、 京东方科技集团股份有限公司联合撰写，在编写过程中的有关内容得到了中国移动通信有限公司研究院、中国移动通信集团福建有限公司、 中国联通网络技术研究院、 亮风台、兰亭数字、视博云科技、睿悦信息Nibiru、大朋VR、映维网、7663VR内容平台、 子元科技、 优望科技、 东艺数科、 虚拟现实产业推进会 （VRPC）等广大伙伴的专业支持。限于编写时间、项目组知识积累与产业尚未完全定型等方面的因素，内容恐有疏漏，烦请不吝指正。 白皮书编写小组： 许志远、陈曦、宫政、包孝东、张梦晗、赖晓

3、、何志群、邵刚、张翔、原烽、骆欢、邹斌、邹伟超、李可、郑庆国、章金水、陈银铃、吴篁、张沛、林鹏、廖春元、凌海滨、孙红亮、洪雁菲、孙文博、武振华、牛长峰、曹峻玮、章立、刘卫华、陈修超、陈文聪、刘在野、胡兴中、裘咏晶、经春秋、王梓懿、李木、郭英男 前前 言言 虚拟现实是新一代的信息通信技术的关键领域， 具有产业潜力大、技术跨度大、应用空间广的特点。目前，虚拟现实处于发展初期的部分沉浸体验阶段。预计未来五年，变焦显示与光波导成为热点，显示计算化初见端倪；注视点渲染、混合云渲染快速升温，端云协同、软硬耦合的精细化渲染成为趋势； 网联式云化虚拟现实加速发展， 5G 赋能云 VR；眼球追踪成为焦点，多感官

4、交互技术路径多元化；内容交互性不断提高， 助推媒体采编播创新。 此外， 以内容应用、 终端器件、网络平台和内容生产为重点领域的产业生态初具规模， 内容与特定平台解耦加速生态成形，人工智能对虚拟现实的影响轨迹逐渐明晰，知识产权竞争态势趋于激烈，规模化应用试点开始落地。当前，我国各地积极出台虚拟现实专项政策，产业发展取得了较大成果，但也存在一些问题与挑战。技术研发缺乏针对性与原创性，对关键技术产业化进程敏感性不强；缺少富于产业影响力的优质内容平台，产业融合创新程度不足；应用推广以展厅观摩式为主，示范辐射能力不高。针对这一现状， 我国应紧抓 5G 与人工智能机遇期， 突破业界惯有展厅级、孤岛式、小众

5、性、雷同化的虚拟现实发展瓶颈，坚持走群众路线，强化技术预研与趋势预判，提高创新资源利用效率，开展规模化应用试点，探索具备落地潜力的解决方案，推动产业集聚融合，优化扶持政策，深化发展支撑环境，实现产业级、网联式、规模性、差异化的虚拟现实普及之路。 目目 录录 一、发展背景一、发展背景 . 1 1 二、关键技术趋势二、关键技术趋势 . 6 6 （一）现阶段技术发展进程处于部分沉浸期 . 6 （二）近眼显示：变焦显示与光波导成为热点，显示计算化初见端倪 7 （三）渲染处理：注视点渲染与混合渲染快速升温，端云协同、软硬 耦合的精细化渲染成为趋势 . 12 （四）网络传输：网联式云化虚拟现实加速发展，5

6、G 赋能云 VR . 18 （五）感知交互：眼球追踪成为焦点，多感官交互技术路径多元化 . 27 （六）内容制作：内容交互性不断提高，助推媒体采编播创新 . 32 三、产业发展趋势三、产业发展趋势 . 3737 （一）虚拟现实产业初具规模 . 37 （二）投资趋缓表明虚拟现实进入理性发展阶段 . 40 （三）内容与特定平台解耦加速生态成形 . 44 （四）人工智能对虚拟现实的影响轨迹逐渐明晰 . 46 （五）知识产权竞争态势趋于激烈 . 48 （六）5G 助推虚拟现实业务繁荣 . 52 四、典型应用案例分析四、典型应用案例分析 . 5353 （一）云化虚拟现实催化应用落地普及 . 53 （二）

7、云 VR 平台试商用案例 . 55 五、我国发展虚拟（增强）现实五、我国发展虚拟（增强）现实产业面临的问题及建议产业面临的问题及建议 . 6060 （一）我国面临的问题 . 60 （二）发展建议 . 67 图表索引图表索引 图 1 VR 与 AR 功能场景示意图 . 2 图 2 虚拟现实终端出货量份额 . 3 图 3 虚拟现实技术架构 . 4 图 4 虚拟现实技术要求比照示意 . 4 图 5 虚拟现实技术树 . 5 图 6 我国各地市虚拟现实产业政策情况 . 6 图 7 虚拟现实沉浸体验阶梯 . 7 图 8 虚拟现实沉浸体验分级 . 7 图 9 虚拟现实近眼显示技术产业化进程 . 8 图 10

8、 虚拟现实近眼显示技术路标 . 11 图 11 虚拟现实与传统内容的渲染负载对比参考 . 13 图 12 虚拟现实渲染处理技术产业化进程 . 14 图 13 虚拟现实渲染处理技术路标 . 17 图 14 虚拟现实精细化渲染技术趋势示意 . 18 图 15 虚拟现实网络传输技术产业化进程 . 19 图 16 虚拟现实网络传输技术路标 . 26 图 17 基于 MEC 平台实现 VR 直播 . 27 图 18 虚拟现实感知交互技术产业化进程 . 28 图 19 虚拟移动领域各类细分技术路线 . 32 图 20 虚拟现实感知交互技术路标 . 32 图 21 虚拟现实内容制作技术产业化进程 . 34

9、图 22 虚拟现实内容制作技术路标 . 36 图 23 中国虚拟（增强）现实产业地图 . 38 图 24 虚拟现实产业结构 . 39 图 25 全球虚拟现实市场规模（按终端形态划分） . 39 图 26 全球虚拟现实市场规模（按产业结构划分） . 40 图 27 全球虚拟现实风险投资市场情况 . 41 图 28 全球虚拟现实风险投资情况（按 VR/AR 终端业务形态划分） . 42 图 29 全球虚拟现实风险投资情况（按投资领域划分） . 43 图 30 全球虚拟现实风险投资情况（按地域划分） . 44 图 31 跨多品牌终端平台OPENXR . 46 图 32 WebXR 与 OpenXR

10、关联 . 46 图 33 虚拟现实各国专利申请量情况 . 49 图 34 全球虚拟现实知识产权热点领域 . 50 图 35 专利申请人类型对比图 . 50 图 36 福建移动全球首个运营商云 VR 业务试商用发布会 . 56 图 37 福建移动云 VR 平台架构 . 57 图 38 福建移动云 VR 栏目内容设计布局 . 57 图 39 福建移动云 VR 家庭网络 DAA 方案 . 58 图 40 福建移动云 VR 福州地区“头号玩家”招募 H5 页面 . 60 图 41 近眼显示国内外发展梯队视图 . 63 图 42 渲染处理国内外发展梯队视图 . 64 图 43 网络传输国内外发展梯队视图

11、 . 65 图 44 感知交互国内外发展梯队视图 . 66 图 45 内容制作国内外发展梯队视图 . 67 中国信息通信研究院 虚拟（增强）现实白皮书（2018 年） 1 一、一、发展背景发展背景 作为新一代人机交互平台，虚拟现实聚焦身临其境的沉浸体验，强调用户连接交互深度而非连接广度（数量） 。虚拟现实由来已久，钱学森院士称其为“灵境技术”，指采用以计算机技术为核心的现代信息技术生成逼真的视、听、触觉一体化的一定范围的虚拟环境，用户可以借助必要的装备以自然的方式与虚拟环境中的物体进行交互作用、相互影响，从而获得身临其境的感受和体验。随着技术和产业生态的持续发展，虚拟现实的概念不断演进。业界对

12、虚拟现实的研讨不再拘泥于特定终端形态，而是强调关键技术、产业生态与应用落地的融合创新。 本白皮书对虚拟 （增强） 现实 （Virtual Reality， VR/Augmented Reality，AR）内涵界定是：借助近眼显示、感知交互、渲染处理、网络传输和内容制作等新一代信息通信技术， 构建身临其境与虚实融合沉浸体验所涉及的产品和服务。早期学界通常在 VR 研讨框架内下设AR 主题， 随着产业界在 AR 领域的持续发力， 部分业者将 AR 从 VR 的概念框架中抽离出来。两者在关键器件、终端形态上相似性较大，而在关键技术和应用领域上有所差异。 VR 通过隔绝式的音视频内容带来沉浸感体验，对

13、显示画质要求较高，AR 强调虚拟信息与现实环境的 “无缝” 融合， 对感知交互要求较高。 此外， VR 侧重于游戏、 视频、直播与社交等大众市场， AR 侧重于工业、 军事等垂直应用。 从广义来看，虚拟现实包含增强现实，狭义而言彼此独立，如后文无特别区分虚拟（增强）现实白皮书（2018 年） 中国信息通信研究院 2 说明，本白皮书采用广义界定。 图 1 VR 与 AR 功能场景示意图 虚拟现实终端出货量持续提升，AR 与一体式增长显著。2018 年全球虚拟现实终端出货量约为 900 万台，其中 VR、AR 终端出货量占比分别 92%、 8%， 预计 2022 年终端出货量接近 6600 万台，

14、 其中 VR、AR 终端出货量占比分别 60%、40%，2018-2022 五年期间虚拟现实出货量增速约为 65%， 其中 VR、 AR 终端增速分别为 48%、 140%。 此外，随着 Facebook 的 Oculus Go、Quest、联想的 Mirage Solo、Pico、大朋等一体机的发展，一体式有望成为虚拟现实主要终端形态，出货量份额将从 2018 年 17%快速发展至 2022 年 53%的水平。 中国信息通信研究院 虚拟（增强）现实白皮书（2018 年） 3 来源：IDC 图 2 虚拟现实终端出货量份额 虚拟现实涉及多类技术领域，可划分为五横两纵的技术架构。由于虚拟现实所固有

15、的多领域交叉复合的发展特性， 多种技术交织混杂，产品定义处于发展初期，技术轨道尚未完全定型。本白皮书参考国家部委有关虚拟现实发展指导意见，结合 2018 年虚拟现实技术动态，对虚拟（增强）现实白皮书（2017 年） 中提出的五横两纵技术架构进一步更新完善。 “五横”是指近眼显示、感知交互、网络传输、渲染处理与内容制作， “两纵”是指 VR 与 AR，两者技术体系趋同，且技术实现难度均高于手机等传统智能终端，如手机等设备在芯片、屏幕等核心领域的性能过剩成为虚拟现实的性能门槛。 总体上看， VR 通过对现有手机技术体系的 “微创新” 实现产业化， AR 更多需要从无到有的技术储备与重大突破，其技术

16、实现难度高于 VR，这一差异主要反映在近眼显示与感知交互领域。对 VR 而言，近眼显示聚焦高画质的视觉沉浸体验。感知交互侧重于多通道交互。由于虚拟信息覆盖与外界隔绝的整个用户视野， 重点在于交互信息的虚拟化。 对 AR 而言，由于用户大部分视野呈现真实场景， 如何识别和理解现实场景和物体，虚拟（增强）现实白皮书（2018 年） 中国信息通信研究院 4 并将虚拟物体更为真实可信的叠加到现实场景中成为 AR 感知交互的首要任务。此外，由于现有技术方案在分辨率（清晰程度） 、视场角（视野范围） 、 重量体积 （美观舒适） 等方面的潜在冲突， 除保证视觉体验外，如何满足类似眼镜全天佩戴便捷成为 AR

17、近眼显示领域的重大技术挑战。 图 3 虚拟现实技术架构 图 4 虚拟现实技术要求比照示意 中国信息通信研究院 虚拟（增强）现实白皮书（2018 年） 5 来源：根据中国信通院虚拟（增强）现实白皮书（2017 年） 修订 图 5 虚拟现实技术树 我国积极推动虚拟现实发展。虚拟现实已被列入“十三五”信息化规划、 互联网+等多项国家重大文件中， 工信部、 发改委、 科技部、文化部、商务部出台相关政策。此外，各省市地方政府从政策方面积极推进产业布局， 已有十余地市相继发布针对虚拟现实领域的专项政策。 北京市发布 关于促进中关村虚拟现实产业创新发展的若干措施 ，提出以中关村石景山园区为中心，推动技术研发

18、、成果转化，产业促进服务平台等措施；青岛市发布崂山区促进虚拟现实产业发展实施细则 ，加大引入科研机构和重点企业，鼓励人才的引进和培养，并以贷款贴息扶持、政府购买服务方式支持产业发展；成都市发布成都市虚拟现实产业发展推进工作方案 ， 提出打造内容制作运营高地、虚拟（增强）现实白皮书（2018 年） 中国信息通信研究院 6 软件创新研发高地和硬件研发制造核心的“两高地、一核心”产业布局，并发布相关行业标准；南昌市出台关于加快 VR/AR 产业发展的若干政策（修订版） ，以红谷滩新区 VR 产业园及新建区 AR 硬件产业园为载体，通过奖励、补贴、基金等多种资金扶持方式带动技术研发、企业招引、创新创业

19、、应用示范、市场推广、人才引进等全面发展；福州市发布关于促进 VR 产业加快发展的十条措施 ，依托长乐产业园，从配套设施、创新创业、专项申报等方面推动产业发展。 图 6 我国各地市虚拟现实产业政策情况 二、关键技术趋势二、关键技术趋势 （一）现阶段技术发展进程处于部分沉浸期（一）现阶段技术发展进程处于部分沉浸期 业界对虚拟现实的界定认知由特定终端设备向联通端管云产业链条的沉浸体验演变。 参考国际上自动驾驶汽车智能化程度分级以及对虚拟（增强）现实白皮书（2017 年） 中分级标准修订增补，将虚拟现实技术发展划分为如下五个阶段， 不同发展阶段对应相应体验层次，目前处于部分沉浸期，主要表现为 1.5

20、K-2K 单眼分辨率、100-中国信息通信研究院 虚拟（增强）现实白皮书（2018 年） 7 120 度视场角、百兆码率、20 毫秒 MTP 时延、4K/90 帧率渲染处理能力、由内向外的追踪定位与沉浸声等技术指标。 来源：根据中国信通院虚拟（增强）现实白皮书（2017 年） 修订 图 7 虚拟现实沉浸体验阶梯 来源：中国信通院 图 8 虚拟现实沉浸体验分级 （二）近眼显示：变焦显示与光波导成为热点，显示计算化（二）近眼显示：变焦显示与光波导成为热点，显示计算化虚拟（增强）现实白皮书（2018 年） 中国信息通信研究院 8 初见端倪初见端倪 相比虚拟现实技术体系中的其他领域， 近眼显示技术轨道

21、呈现螺旋上升的发展态势，即近眼显示关键体验指标间的权衡取舍与 VR/AR的差异化功能定位成为推动各类近眼显示技术演进突破的主要动因。其中，高角分辨率、广视场角、可变焦显示成为核心发展方向，VR 近眼显示技术侧重提高视觉沉浸体验的发展路线，AR 侧重低功耗、全天可佩戴、外观轻便的近眼显示发展路线。借鉴 Gartner 技术成熟度曲线呈现形式，分析总结如下各类近眼显示技术产业化进程。 来源：京东方 图 9 虚拟现实近眼显示技术产业化进程 高性能 LCD 与 OLED 技术保持虚拟现实近眼显示主导地位，可变焦显示与光波导有望在五年左右成为主流。其中，快速响应液晶、AMOLED 与 OLEDoS 技术

22、均为成熟的可量产屏幕技术，近年内依然是虚拟现实的主流显示器件，由于虚拟现实市场自身尚需培养发展，因此中国信息通信研究院 虚拟（增强）现实白皮书（2018 年） 9 以上技术处于稳步爬升光明期；光波导（Optical waveguide）在 AR 领域的技术发展前景明确，由于 AR 比之 VR 处于更为早期市场发展阶段，且预计在中近期难以大规模普及。光波导技术中各类技术路线间存在明显的优势和短板，目前尚未确立主导地位技术方案。此外，由于受到基础物理定律的限制， 光波导要实现重大技术突破将面临巨大的研发困难，相关产品难以单独作为完整终端产品，须配套技术和零部件才可能产出被市场认可的 AR 终端，而

23、有关配套技术和零部件尚有相当比例需要进一步完善， 因此高性能光波导从科技诞生触发期发展至主流采用所需年限约为 5-10 年；多焦面显示技术（Multi-focal）以 Magic Leap One 为代表，根据虚拟物体在虚拟空间中的远近位置，将其对应投影至两个及以上焦平面。 由于该技术存在无法实现连续焦距变化，实现所需光学系统复杂，光学系统复杂程度且制造成本随焦面数量增加而成指数级增加等诸多不足， 相比起其他可连续变焦或光场显示技术，具备一定过渡性质，预判多焦面显示技术可能在达到高原期前即会过时；可变焦显示器技术（Varifocal）以 Oculus Half Dome原型机为代表， 采用机械

24、装置前后移动屏幕的位置来实现图像的焦距变化，配合眼动追踪、注视点渲染等多种软硬件技术，模拟出人眼在观察远近不同物体时发生的屈光调节和双目辐辏调节过程。 可变焦显示器大量采用已成熟的技术作为实现基础， 兼顾技术实现性和量产可行性，将成为下一代高端 VR 终端标配近眼显示技术，预计 2-5 年内成为主流； 焦面显示器技术 （Focal Surface） 使用光相位调制器 SLM 把虚拟（增强）现实白皮书（2018 年） 中国信息通信研究院 10 图像深度信息添加到普通 2D 屏幕画面中，让其在观察方向上模拟出图像的远近深度信息， 可作为近似的光场显示技术， 目前 Oculus 将其定义为下二代 V

25、R 显示的重要发展方向，目前该技术存在结构复杂，所需 SLM 价格昂贵，图像分辨率、显示视场偏小等技术瓶颈有待攻克，预计 5-10 年内有望成为主流；当前多种光场显示光场显示（Light Field）技术方案停留在实验室阶段， 其技术路径和配套设备存在大量研发瓶颈，中近期均无法量产普及。由于光场显示技术可以完全契合自然情况下人眼观察外界的原理，成为近眼显示领域追求的终极显示技术，预计十年以上才可能发展至主流采用。综上，现阶段 VR 和 AR 终端形态的差异致使未来的相当长时间内近眼显示技术将遵循不同的发展路径，VR 将长期使用 LCD、OLED 类型屏幕作为显示器件，近两年内须重点关注 100

26、0ppi 以上的 AMOLED、Fast-LCD，5 年内须重点关注可变焦显示器技术。AR 分为图像源器件（OLEDoS、LCoS）和显示光学器件（如光波导、折返光学透镜、自由曲面棱镜等） ，近 2-5 年内须重点关注 OLEDoS 和光波导显示技术的发展和实际应用。 中国信息通信研究院 虚拟（增强）现实白皮书（2018 年） 11 来源：根据中国信通院虚拟（增强）现实白皮书（2017 年） 修订 图 10 虚拟现实近眼显示技术路标 可变焦显示、光波导技术成为 2018 年近眼显示前沿领域聚焦热点。 从人眼双目视觉特性看， 眩晕感主要源自三方面。 一是显示画质，纱窗、拖尾、闪烁等过低的画面质量

27、引发的视觉疲劳。二是视觉与听觉、触觉、前庭系统等其他感官通道的冲突。三是辐辏调节冲突（Vergence Accommodation Conflict，VAC） ，由于双目视差在产生 3D效果的同时，造成双目辐辏调节与视觉屈光调节不匹配，头显难以如实反映类似真实世界中观看远近物体时焦距与辐辏的对应变化关系和视网膜模糊效果。目前，对于产生眩晕感的前两类因素，业界已有可量产的解决方案，然而，针对第三类挑战的产业实践几近空白。可变焦显示成为此类眩晕的“第一颗解药” ，2018 年 Oculus 研发出采用可变焦显示技术的原型机 Half Dome，解决了辐辏调节冲突，即通过虚拟（增强）现实白皮书（20

28、18 年） 中国信息通信研究院 12 眼动追踪获得使用者当前瞳孔视觉中心的位置， 从而计算出使用者当前注视点位置以及所关注的虚拟物体在虚拟空间中距离使用者主视角摄像机的距离。 通过机械装置前后移动屏幕改变物距及光学系统的焦平面位置，使像距与上述的距离相对应，由此人眼在 VR 头显中观察到物体的像距同虚拟世界中与该物体的距离（近似）相等，当注视点的物距发生变化时，对应头显光学系统的像距发生变化，人眼随之进行屈光调节， （近似）对应人眼的辐辏调节。注视点渲染将注视点以外区域图像模糊化渲染，模拟出人眼对焦产生的视网膜模糊效果，与上述过程配合，欺骗大脑实现辐辏-屈光调节生理上的仿真。 业界积极探索显示

29、计算化之路， 虚拟现实近眼显示有望更加智能。现阶段虚拟现实终端中的显示器仅作为图像输出设备， 本身不参与计算处理，这与电视、手机等传统终端显示器的功能定位一致，但针对更优的虚拟现实进阶体验，近眼显示具备极大的发展潜力。基于显示器内计算这一全新技术方向，近眼显示不仅呈现内容，还可计算用户状态。例如，为解决上文提及 VAC 这一产业痛点，英伟达等研发了显示器内计算的原型机，即在虚拟现实近眼显示器内进行两类计算，一是眼球追踪，二是为渲染动态的预畸变图像进行的光路计算。 （三）渲染处理：注视点渲染与混合渲染快速升温，端云协（三）渲染处理：注视点渲染与混合渲染快速升温，端云协同、软硬耦合的精细化渲染成为

30、趋势同、软硬耦合的精细化渲染成为趋势 渲染处理领域的主要矛盾表现为用户更高的体验需求与渲染能力的不足。当前，面向虚拟现实的渲染处理面临着“小马拉大车，既中国信息通信研究院 虚拟（增强）现实白皮书（2018 年） 13 要马儿吃得少，又要跑得快”的技术挑战。首先，相比主流游戏画面渲染与电影制作渲染的负载要求，时下虚拟现实渲染负载（部分沉浸体验级 PI）将分别提高七倍与两倍，相当于 4K 超高清电视每秒像素吞吐量。若以完全沉浸级 FI 乃至附带现有电影视觉保真度为渲染目标，虚拟现实渲染负载将在 PI 水平上再分别提高五十倍甚至数十万倍。 其次， 为获得即时反馈， 传统视频游戏用户交互延迟须低于 1

31、50ms，而虚拟现实 MTP 时延要求低于 20ms。最后，对于移动平台固有的功耗约束，虚拟现实渲染处理领域所面临的技术挑战正在进一步放大。因此，更优的静态画质、视觉保真度、渲染时延与功耗开销成为该领域的技术动因。虽然可以通过堆叠算力来提高渲染质量，但这一不具备成本经济性的技术路线将迟滞虚拟现实产业发展。目前，业界聚焦面向虚拟现实的注视点渲染、 深度学习渲染与混合云渲染等热点领域，旨在探索软硬耦合的精细化渲染之路。 图 11 虚拟现实与传统内容的渲染负载对比参考 虚拟（增强）现实白皮书（2018 年） 中国信息通信研究院 14 来源：中国信通院 图 12 虚拟现实渲染处理技术产业化进程 在渲染

32、时延帧率以及功耗开销方面，注视点渲染、云渲染、异构渲染、混合渲染等有望在五年内成为虚拟现实领域主流渲染技术。其中，异步时间扭曲（Asynchronous Time Warp, ATW）显著改善了用户转头期间难以及时渲染生成复杂内容所造成的画面卡顿问题， 该技术由 Facebook 在 2016 年推出， 现已成为虚拟现实渲染标配， 2017 年国内厂商全志推出了包含 ATW 功能的虚拟现实芯片 VR9。MultiView 渲染利用左右眼图像信息相近的原理，由 CPU 向 GPU 提交一次指令即可完成双目渲染，助推渲染帧率提升。目前 ARM 在 T8xx、Mali-G7x及 Mali-G5x 系

33、列芯片、英伟达在 Pascal 架构中均集成了该渲染技术。多分辨率渲染基于 MultiView 技术，可渲染生成同一屏幕内差异化分辨率的内容， 从而降低渲染负载， 2018 年高通推出了集成多分辨率渲染的虚拟现实专用芯片 XR1。注视点渲染（Foveated Rendering）基于中国信息通信研究院 虚拟（增强）现实白皮书（2018 年） 15 人眼由中心向外围视觉感知逐渐模糊的生理特性， 搭配眼球追踪技术，在不影响用户体验的情况下，显著降低注视点四周的渲染负载，最多可减少近 80%画面渲染。除注视点渲染突出的技术成效外，由于该技术与 MultiView、多分辨率渲染、眼球追踪、实时路径追踪

34、、注视点传输以及可减少视觉伪影的注视点图像处理等热点技术交织关联， 注视点渲染已成为 Facebook、 谷歌、 微软等研发力量重兵集结的必争之地，产业化进程持续加速，预计 2-5 年内望成为主流。云渲染旨在帮助用户在低配头显上实现渲染能力更强的 PC 级虚拟现实沉浸体验，通过降低虚拟现实终端购置成本，推动用户规模快速增长。由于该技术采用云端渲染处理、终端交互呈现的技术架构，对于虚拟现实这一时延敏感型业务，新增时延对于用户体验潜在影响较大。GPU 只是一只脚（机器学习）踏入云计算的门槛，另一只脚（图形渲染）还在传统主机上，云渲染技术将加速 GPU 云化进程，其发展有赖于相关网络传输技术、GPU

35、 虚拟化（GPU 计算资源共享） 、低时延编解码等领域的协同创新。目前，英伟达、微软、谷歌、英特尔等纷纷布局，我国三大运营商积极尝试。 混合渲染旨在解决云渲染所引入的新增时延以及编码压缩造成的画质损失， 将虚拟现实渲染处理拆分为云端与本地渲染协同进行， 利用云端强大的渲染与存储能力实现静态画质与视觉保真度的提升，同时基于本地渲染满足时延控制要求，其研究焦点在于如何拆分虚拟现实渲染任务流， 清华大学研究团队通过优化分配部分前景交互和背景环境的渲染负载，显著提升了移动 VR 渲染效率。异虚拟（增强）现实白皮书（2018 年） 中国信息通信研究院 16 构渲染与混合渲染发展思路相仿，即将本地渲染处理

36、拆分至 GPU 与其他计算架构单元协同进行。如为避免与内容渲染竞争 CPU、GPU 资源，ARM 计划将虚拟现实渲染处理中的光学畸变与色散校正从 GPU卸载到定位为其协处理器的显示处理器上（Display Processing Unit，DPU） ，从而优化渲染时延，降低渲染功耗。深度学习渲染成为人工智能在图像渲染领域的重要技术创新，可实现图像降噪、抗锯齿以及因注视点渲染带来的渲染负载减少。目前，学术界与产业界正在越来越多地投入深度学习渲染这一新兴热点中， 但预计五年内进入技术实质应用期的可能性不高。 在静态画质以及视觉保真度方面， 光场渲染不同于现有仅展示物体表面光照情况的 2D 光线地图，

37、光场可以存储空间中所有光线的方向和角度，从而产出场景中所有表面的反射和阴影，目前光场信息的采集、存储及传输面临着诸多基础研究挑战，光场渲染尚处于初期探索阶段，预计十年以上有望进入主流。实时光线追踪无须阴影地图，通过直接渲染镜头中的桶形失真图像，无须再对镜头畸变进行处理，从而消除有关延迟障碍。此外，由于无须光栅化中 3D 到 2D 图像的平面投影，光线追踪技术可解决 VR 视场投影问题，即直接在 360 度球形视场内渲染图像。光线追踪支持三角形、点、光场、乃至文本等混合图元， 因而在内容优化方面更加灵活。 2018 年英伟达发布第八代GPU 架构 Turing，Turing 架构配备了名为 RT

38、 Core 的专用光线追踪处理器，能够以高达每秒 10 Giga Rays 的速度对光线和声音在 3D 环境中国信息通信研究院 虚拟（增强）现实白皮书（2018 年） 17 中的传播进行加速计算， 将实时光线追踪运算加速至 Pascal 架构的 25倍，并以高出 CPU 30 多倍的速度进行电影效果的最终帧渲染。随着实时光线追踪开发生态逐渐完善，预判五年内有望成为技术主流。实时路径追踪可进一步提高图像的视觉保真度， 业界现已可以进行实时光线追踪，但路径的实时追踪仍然存在极大挑战。由于当前电影领域路径追踪的计算负载约为光线追踪的一万倍， 虽然学界尝试采用注视点渲染及深度学习渲染降噪，但预计该技术需要十年以上进入主流。 来源：根据中国信通院虚拟（增强）现实白皮书（2017 年） 修订 图 13 虚拟现实渲染处理技术路标 虚拟现实渲染处理由粗放式向精细化渲染方向发展。 虚拟现实画面渲染负载与时延要求数倍高于传统游戏， 算力堆叠这一粗放式的渲染方式难以在渲染质量、时延与成本间取得平衡，精细化渲染成为业界主攻方向。从渲染质量上看，精细化渲染趋势呈现为分辨率、帧率等静态画质的持续提升， 以及虚拟现实用户对动态光影等更高视觉保虚拟（增强）现实白皮书（2018 年） 中国信