嵌入式实时虚拟机ZVM + 智能感知域(Ubuntu)+ 人机决策域(openEuler Embedded)+ 运动控制域(Zephyr RTOS)+ VisualZVM可视化(PC)
由ZVM技术团队研发的两轮自平衡小车ZBalancer,采用基于ZVM的“一芯多OS”架构,在同一芯片上协同运行智能感知域(Ubuntu)、人机决策域(openEuler Embedded)和运动控制域(Zephyr RTOS),实现感知、决策与执行一体化。
智能感知域负责摄像头信息采集、分析与显示,人机决策域负责融合感知信息与遥控APP指令生成控制决策,运动控制域负责执行控制指令并实现小车自平衡。作为三域协同运行的关键底座,嵌入式实时虚拟机ZVM支撑系统形成完整闭环,并通过PC端VisualZVM 实现运行状态的实时监控。

图1:“一芯多OS”两轮自平衡小车ZBalancer外观图:采用基于ZVM的“一芯多OS”架构,可有效减少传统多板卡、多设备分散部署带来的硬件成本、功耗负担和系统复杂度,提升系统集成度、协同效率与场景适应能力。
一、整体架构(硬件层、ZVM层、客户OS层)

图2:ZBalancer采用三层架构设计,从下至上依次为:硬件层、ZVM层、客户OS层
(1)硬件层: 采用瑞芯微RK3588主控平台,具备多核CPU、GPU、丰富外设接口及较强边缘智能处理能力,可为视觉感知、人机交互、实时控制等多类任务提供统一硬件支撑。平台集成USB、HDMI、UART、I2C、GPIO、PWM等关键接口,可满足摄像头采集、显示输出、姿态传感、轮速检测、电机驱动及远程监控等功能需求,为“一芯多OS”混合部署提供硬件基础。
(2)ZVM层:ZVM-RK3588发行版部署于主控平台,提供“一芯多OS”混合关键部署能力:自研Zshm实现低延迟共享内存通信;支持CPU、内存、定时器等基础硬件隔离及GIC、CRU、SYSCON等关键设备虚拟化与隔离;支持UART、I2C、GPIO等外设完全虚拟化,支持VirtIO半虚拟化框架及设备直通框架。
(3)客户OS1:智能感知域(Ubuntu):USB摄像头基于GStreamer多媒体框架采集800×480@30fps分辨率、MJPEG格式的视频流,数据经GPU通道做硬件加速,由Paddle Lite完成AI推理;推理结果通过HDMI通道实时渲染输出至显示屏。
(4)客户OS2:人机决策域(openEuler Embedded):并行接收智能感知域AI推理结果与遥控APP下发的蓝牙控制指令,综合解析后生成最终决策信号,并通过Zshm共享内存通信机制,将决策信号低延迟转发至运动控制域,确保小车能及时响应控制指令。
(5)客户OS3:运动控制域(Zephyr RTOS):运行Zephyr RTOS,负责姿态感知、状态估计与闭环控制,系统通过GPIO、I2C、PWM实时采集MPU6050姿态与霍尔编码器轮速,经滤波融合与姿态解算后获取车身倾角,由PID平衡算法结合倾角、速度与决策信号生成控制信号,并通过PWM与GPIO实时作用于电机。
(6)PC端:VisualZVM可视化:VisualZVM运行于PC端,在ZVM端通过UART传输数据至WiFi模块,再由WiFi模块发送至VisualZVM,由VisualZVM完成数据解析、处理并实时展示,实现对ZVM运行状态的远程监控。
二、材料明细(主控板、外设、辅材)

图3:ZBalancer采用RK3588作为主控,展示自带外设与外接外设连接关系图
表1:ZBalancer所需要的零部件配置明细(主控板、外设、辅材)

表2:ZBalancer各功能域所分配的外设明细

表3:ZBalancer的各外设虚拟化方式明细

三、运行效果

图4:ZBalancer运行效果:分四个区域展示系统核心功能运行效果,各区域分别对应智能感知、人机决策、运动控制及可视化,体现各域独立运行与协同交互过程
智能感知域(左上角):小车前端的USB摄像头实时采集道路画面,经过图像处理后,在顶端显示屏上输出带有处理标注的视频流,画面清晰且延迟低;
人机决策域(右上角):用户通过手机蓝牙APP先完成与小车蓝牙模块的配对,连接成功后,点击左下角五向操作环(上、下、左、右、停)或右下角的左旋/右旋按钮,小车即刻响应相应运动指令;
运动控制域(左下角):发出指令时,小车根据APP指令执行前进、后退、转向等动作;无指令时,通过PID算法动态调整电机转速,使车身始终维持在直立平衡状态;
可视化界面(右下角):VisualZVM界面实时展示各OS域的运行状态,动态刷新CPU使用率、内存使用率及已启用外设列表等硬件信息。
上述功能域的划分与协同,支撑自平衡小车实现感知、决策、控制的完整闭环,同时借助PC端VisualZVM对ZVM运行状态的实时监控,彰显了“一芯多OS”架构在智能机器人/装备等领域的可行优势。