基于RK3588的VR一体机设计开发

 2023年1月25日第40卷第2期

ＤＯＩ：１０．１９３９９／ｊ．ｃｎｋｉ．ｔｐｔ．２０２３．０２．００６

设计应用技术

基于RK3588的VR一体机设计开发

耿海飞

（国光电器股份有限公司，广东 广州 510800）

摘要：随着5G技术的发展以及高性能图形处理芯片的发展，虚拟现实（Virtual Reality，VR）技术得到了普及。

设计一种基于RK3588平台的VR一体机，搭载安卓12操作系统，运行OpenXR开发VR生态App，相比其他同类

平台，具有更高的性价比、更高的运行效率。

关键词：5G技术；虚拟现实（VR）；性价比

Design and Development of VR All-in-One Machine Based on RK3588

GENG Haifei

(Guoguang Electric Co., Ltd., Guangzhou 510800, China)

Abstract: With the development of 5G technology and the development of high-performance graphics processing

chips, Virtual Reality (VR) technology has been popularized. This paper designs a VR all-in-one machine based on

RK3588 platform, which is equipped with Android 12 operating system and runs OPENXR to develop VR ecological

APP. Compared with other similar platforms, it has higher cost performance and higher operating efficiency.

Keywords: 5G technology; Virtual Reality (VR); cost to performance

0 引 言

作为元宇宙的初级核心载体，虚拟现实（Virtual

Reality，VR）技术诞生以来，国家就对其保持高度关

注。随着5G高速传输、物联网、人工智能、柔性显

示、移动式高性能图形处理器（Graphic Processing Unit，

GPU）等技术的出现，VR技术应用已经成为了我国的

重点发展方向之一。2019年，Oculus发布第一代6DoF

VR一体机Quest，以Quest为代表的移动VR逐渐替

代PC VR，成为时代主流，并成功推动消费端内容生

态走向正向循环。本文介绍了一种基于瑞芯微RK3588

平台的VR一体机设计开发方案，相比市面上流行的

高通XR2平台更具有价格优势，在性能不变的前提下，

深度挖掘RK3588平台的硬件资源，优化软件架构设计，

以达到VR一体机更流畅的运行效果，为广大客户提

供更具性价比的国产化VR一体机平台

[1]

。

1 总体设计

VR是一种可创建和体验虚拟世界的计算机系统，

具体定义是综合利用计算机图形技术以及周边接口，

在三维环境中生成可交互的沉浸感技术。其中，三维

环境为虚拟环境。随着社会经济的发展，计算机已经

成为社会生活中不可缺少的重要组成部分，友好的

人机接口技术很早已成为人们关心的一个重要课题。

VR技术就是为实现更好的人机交互而诞生的，可广

泛应用于城市规划、工业仿真、桥梁道路设计、房地

收稿日期：

2022-11-10

作者简介：

耿海飞（1985—），男，山西晋中人，硕士研究生，

资深工程师，主要研究方向为嵌入式系统集成。

产销售、旅游教学、教育培训等众多领域，为其提供

切实可行的解决方案。

1.1 传统的VR产品

传统的VR产品是基于PC实现的，VR硬件本

身就是一个显示器，需要和电脑搭配一起使用，也就

是说VR上运行的游戏实际上是电脑里的游戏，所有

运算能力来自于PC。PCVR的优点是游戏内容丰富，

stream平台有4 000+的VR内容，缺点是有一堆线缆

连接，无法脱离PC运行，而且部分产品还需要安装

定位基站，使用起来非常不方便

[2]

。

1.2 改进后的VR产品

随着移动处理器性能的提升以及5G技术的发

展，使得VR移动一体机的实现变为可能。相比传统

的VR头显，移动一体机已不再是一个简单的显示设

备，而是可以脱离PC独立运行的沉浸式计算机系统，

具备了独立运算、输入和输出的功能。VR一体机包

括头盔和手柄两部分，手柄配备红外发射器，结合头

盔的双目摄像头，可实现手部6DoF追踪。除游戏外，

VR一体机也可实现观影、视频对话、语音唤醒等功能，

相比其他电子产品更刺激，更具备身临其境的感觉。

2 硬件设计

RK3588是瑞芯微发布的最新一代高性能旗舰

SoC芯片。该芯片采用ARM架构，先进的8 nm制程

工艺，集成了4核Cortex-A76和4核Cortex-A55（共

8核）以及单独的NEON协处理器，支持8K视频编

解码，提供了许多功能强大的嵌入式硬件引擎，为高

端应用提供了极致的性能，同时提供了丰富的功能接

·

　１７　

·

2023125402

口，可满足不同行业的产品定制需求，能够广泛应用

于包括智能座舱、智慧大屏、虚拟/增强现实、边缘

计算、网络摄像机（IP Camera，IPC）、网络视频录

像机（Network Video Recorder，NVR）、高端平板及

ARM PC等领域。

2.1 头显设计

VR头显是展示VR技术的头戴式显示设备。利

用头戴式显示设备将佩戴者对外界的视觉、听觉封

闭，引导用户产生一种身在VR虚拟3D环境中的感

觉。其显示原理是左右眼屏幕分别显示左右眼的图

像，人眼获取这种带有差异的信息后在脑海中产生

立体感。图1为基于RK3588的头显硬件设计，配置

了8 GB LPDDR4、256 GB Nand Flash，双液晶显示器

（Liquid Crystal Display，LCD）分别用于双眼图像显示，

4个相机串行接口（Camera Serial Interface，CSI）的

camera用于追踪手部动作，AP6275P用于无线串流，

N52833用于手柄数据交互，ES8388用于录音数据采

集以及放音数据的播放，SC89890H用于头显设备供电，

磁力传感器（Magnetic sensor，MAG sensor）、红外传

感器（Infra-Red，IR sensor）、6轴微机电系统传感

器（6-axis mems sensor）用于追踪头部移动。整机电

源采用Typec接口，支持9 V/2 A充电，以驱动各个

电源管理芯片（Power Management IC，PMIC）芯片工

作，进而驱动外设模块正常工作。

图1 基于RK3588的头显硬件

图2为典型的Pancake镜头成像原理，本设计采

用2个Pancake模组，视场角（Field Of View，FOV）

为105°，厚度为31 mm，透镜的口径约为52 mm，

并搭配2.56寸的Fast LCD屏幕。显示屏的分辨率为

2160×2160，色域为100%sRGB，像素密度（Pixel Per Inch，

PPI）为1200，单眼分辨率为2K，双眼可达4K，屏

幕刷新率可达90 Hz。为了实现光轴对准，将屏幕与

Pancake模组用胶水粘起来。显示屏的背光模组采用

传统的侧背光模组，背光源由11颗LED灯珠组成

[3]

。

采用计算机视觉+位姿传感器融合追踪方案，

以实现头显和手部的6DoF追踪。头显的4个边角各

放置一颗视频图形阵列（Video Graphic Array，VGA）

摄像头，传感器为OV7251，采用了3 μm全局快门

架构，1/7.5英寸的光学格式，分辨率为640×480。

这种小尺寸、低功耗、高效率的Camera模组非常适

用于VR一体的计算机机器视觉开发。

环境光距离传感器放置于镜片的中间位置，可

·

　１８　

·

用于检查设备是否佩戴以控制屏幕自动亮灭，同时

可以感知环境光的强弱，以控制屏幕自动调节亮度。

IMU传感器采用TDK ICM-42688，其中包含了高精

度的3轴电子陀螺传感器和3轴加速度计，以提供一

体机的运动信息。同时配合电子罗盘的3轴磁力数据，

可融合为9轴的传感器数据，以实现更加精确的定位

和位姿跟踪，进而消除飘移和抖动

[4]

。

反射式偏振膜RP（红）

1/4相位延时片QWP（绿）

显示屏

1/4相位延时片QWP（绿）半透半反膜BS（蓝）

图2 Pancakee镜头成像原理

供电方面采用2块内含新能源科技有限公司的

软包电池，总容量为5 300 mA，支持PD快充，最大

功率为20 W。扬声器采用双立体扬声器，分别置于

 2023年1月25日第40卷第2期

两侧绑带贴耳处，通过内置的空间音效算法产生立体

声空间音频，降噪可达30 dB。

2.2 手柄设计

手柄是用来跟头显进行数据交互的设备，相当

于笔记本的鼠标。采用蓝牙私有协议，可传输手柄的

各种传感器数据到头显，实现手柄发射射线、视线聚

焦、抓取等基本功能。

手柄的主控芯片为Nordic nRF52832蓝牙芯片，

集成了ARM Cortex-M4处理器以及2.4G射频芯片，

支持蓝牙5.1，功耗为5 mA左右，支持测向功能。该

芯片主要完成IMU数据的采集处理，并通过射频私

有协议上传到头显。同时负责手柄其他外设如红外感

应灯驱动芯片CAT4104VP2、震动马达驱动芯片LRA

Driver AW86224以及各个按键的处理。

线性马达的直径为20 mm，振频范围为

50～500 Hz，振幅越宽，能模拟的力感反馈就越多，

VR实际体验中触感和振感也越强。手柄还上均匀

分布了18颗红外发光二极管（Light Emitting Diode，

LED），通过发泡海绵，防止LED漏光。头显的

6DoF摄像头拍摄红外灯的位置和姿态，结合手柄本

身的IMU传感器数据，以实现精确定位跟踪手柄。

手柄采用了ALPS的3D摇杆，可实现旋转和垂

直按压，而且支持触摸感应，其原理是摇杆内置的

弹簧线圈在触摸时会产生微小压缩，从而改变电容

值，这也极大提升了用户体验。IMU芯片采用ICM-

42688，包含了3轴电子陀螺仪以及3轴加速度计，

可提供手柄的运动信息，通过蓝牙协议上传到头显，

结合计算机视觉（Computer Vision，CV）追踪算法，

实现手柄的精确定位和跟踪。

算法的数据运算量比较大，需要强劲的SoC支持。本

设计基于同步定位与建图（Simultaneous Localization

and Mapping，SLAM）算法进行设计，并将其运行于

RK3588内置的神经网络加速器（Natural Processing Unit，

NPU），极大提升了算法的运行效率

[5]

。

OpenXR是一个针对VR应用程序的接口，用于

将VR/增强现实（Augmented Reality，AR）应用和头

显之间的通信方式标准化，可以让不同厂家开发的

SDK通过统一的底层接口运行在不同的平台上。它通

过统一的接口，提供对AR和VR设备的高性能访问，

自身还集成了一些常用的基本功能，减少了开发者对

一些功能的重复开发。此外，OpenXR通过OPENXR

Loader和基于硬件层的OpenXR Runtime，以支持运

行在上层的基于OpenXR接口开发的App，类似于

java虚拟机。综上所述，OpenXR无疑是VR开发的

一个里程碑，将允许游戏和其他应用程序在各种硬件

平台上轻松运行，而无需专有的SDK。

第三方应用通过载入器调用OpenXR的功能，载入

器负责与接口层、运行库进行数据交互。运行库负责与

AR/VR设备交互并驱动设备提供的功能，载入器根据功

能需要，在第三方应用与运行库之间提供数据交互。

4 结 论

本文介绍了一种基于RK3588平台的VR一体机

开发设计方案，分别从软、硬件的角度进行详细阐述。

实际在测试中，传统的安卓平台流媒体播放延时大概

在90 ms左右，本设计经过一系列软硬件优化，播放延

时可以控制在50 ms内，较好提升了实际的用户体验。

移动一体机是VR未来的发展趋势，高刷新、高分辨率、

去掉手柄进行裸手操控以及开发更多的VR应用，使得

VR能真正替代手机，进而普及到普通消费者的手中。

参考文献：

3 软件设计

软件整体设计包含底层驱动以及上层应用开发

，

软件基于android12开发，最底层是硬件，往上一层

为基于Linux内核的核心驱动，包括Wi-Fi6、BT、

Camera、LCD、IMU sensors、Power Manager等；再

往上一层为硬件抽象层（Hardware Abstract Layer，

HAL），用于封装底层驱动的读写接口，并向上

Service层提供调用；再往上一层是OpenXR Loader，

用于提供VR应用所需的服务；最顶层是应用层，包

括通用App以及VR App。

基于双目摄像头的6DoF追踪算法是VR一体机

设计的核心技术。通过它可以实时实现地图的初始

化、强大的追踪和环境的测量估算。与单眼解决方案

相比，双目鱼眼摄像头可以更快地扩展场景，并能更

准确的测量环境尺度从而防止漂移。即使传感器数量

加倍，计算复杂度也不比单眼视觉系统高很多。但该

[1] 孙克男，赖晓阳，唐厚君.基于ARM与Linux

的工业机器视觉系统设计[J].自动化技术与应用，

2016，35（4）：15-19.

[2] 田 野，陈宏巍，王法胜.室内移动机器人的

SLAM算法综述[J].计算机科学，2021，48（9）：

223-234.

[3] 李菲菲.基于VR技术的3D手术操作练习模

拟器的设计与开发[J].科技创新与应用，2020

（16）：40-42.

[4] 周 勇.Cardboard虚拟现实VR app交互设计开

发研究[J].中国新通信，2017，19（5）：84.

[5] 张海月.基于VR技术的虚拟家装系统的设计

与开发[D].天津：天津科技大学，2018.

·

　１９　

·