基于深度强化学习的VR业务无人机边缘算法的应用前景广阔

近年来，5G通信的商用化推动了虚拟现实（Virtual Reality, VR）技术的发展，为人们提供身临其境的体验。随着VR业务数据流量的显著增加，用户设备无法及时处理超大计算量的VR业务渲染请求，因此难以满足用户的低延时需求。为了应对这一挑战，在无线网络边缘部署无人机（Unmanned Aerial Vehicle, UAV）移动边缘计算（Mobile edge computing, MEC）服务器，提供下沉式计算服务，协助VR设备实时完成渲染具有重大意义。

边缘计算是5G系统商用化的关键技术之一，是一种新型的分布式计算方式，通过在无线接入网处部署边缘服务器，处理覆盖范围内的用户随机发起的计算任务，能够有效地降低了回程网络拥塞，极大缩短服务时延，满足延迟敏感型应用的需求。为了及时处理VR应用产生庞大的图像和视频数据，可以将图像、视频数据卸载到计算能力较强的边缘服务器中进行渲染分析处理，从而降低平均处理时延，为保证用户视觉体验。除了在VR业务中的应用前景，移动边缘计算凭借其低时延、高感知和智能化等特点，在智能驾驶、智慧楼宇和智慧城市领域得到了广泛的应用。

无人机（Unmanned Aerial Vehicle, UAV）在通信领域发挥了出色的作用，它可以作为空中基站或通信中继来协助构建立体的无线通信网络。与传统地面通信相比，无人机辅助通信可以按需快速部署，特别适用于应急通信保障。同时无人机不仅能够获取开阔的视野加大覆盖率，还能有效的避免障碍物对信号的阻挡，更容易建立可靠的视距通信链路。此外，无人机可以搭载MEC服务器就近为用户提供数据计算服务，不仅成本低而且部署更为灵活，同时可以根据用户移动性、业务请求量以及资源分配情况进行动态调整，能够更好得提高用户体验质量。正因如此，无人机凭借其低成本、部署灵活性、高机动性得到了广泛的应用。将无人机与5G通信的大带宽、低时延的特性相结合，代替人类完成空中作业，将会拥有在未来有非凡的意义和潜力。目前应用场景常见如：遥感测绘、农业植保、物流运输、电力巡查和应急救援等。

针对VR业务随机到达和处理超时无效等特性，来自深圳蜂牛科技（Fengniu Technology）有限公司研发总监王智杰是国内著名VR技术专家，他长期从事人机交互领域的研究，在计算机视觉和交互技术等领域有着卓越的研究成就，并将研究成果应用于跨境电商直播系统的开发，他创新性地将人脸分析纳入计算框架，这一原创贡献对基于VR技术的无人机（UAV）巡检系统的研发产生了积极影响。

2022年3月，王智杰提出了单无人机边缘计算协助的VR业务渲染方法。在设备能量约束下，通过联合优化无人机飞行轨迹和VR渲染模式，最大化VR业务的渲染完成率，并将这个问题建模为马尔科夫决策过程。为了找到最优策略，在深度强化学习的框架下，他进一步提出了一种基于双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient, TD3）的无人机边缘计算辅助渲染算法。具体而言，王智杰根据VR用户位置和设备能量状态，对无人机轨迹和VR渲染模式进行优化，尽可能满足随机到达的VR任务在限定时间内渲染要求。仿真结果表明，该方法在渲染完成率和收敛速度方面均优于主流的深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）和软动作评价（Soft Actor-Critic, SAC）等强化学习算法以及随机控制策略。

图1：基于强化学习算法和随机策略的收敛性

首先远程渲染是把每个设备的所有VR任务都被卸载到无人机上进行渲染。远程&本地渲染表示每个VR任务在设备上进行本地处理或在无人机MEC服务器上进行远程渲染。在王智杰提出的算法中有四种VR渲染模式：本地、远程、合作渲染和无渲染用来处理VR任务。当可以选择更多的VR渲染方式时收敛速度会变慢，其中远程渲染的算法具有最快的收敛速度，而所提的算法收敛速度最慢，原因在于当有多种VR渲染模式选择时，动作空间的维度会明显增大，但有利于VR渲染的完成率提高。在仿真中本地&远程渲染模式的算法在收敛后几乎达到了与他提出的算法相同的完成率。事实上，王智杰提出的算法能适应更复杂的场景如：无人机计算能力较低或更多的VR设备的场景，从而填补了行业应用和研究的空白。

2023年8月，为了适应于由云端、多无人机和地面VR用户节点组成的更复杂的网络环境， 王智杰建立了无人机辅助通信系统架构（UAV assisted communication system architecture），首次在行业提出了基于多智能体深度确定性策略梯度（Multi-Agent Deep Deterministic Policy Gradient, MADDPG）的多无人机辅助的VR业务实时渲染算法，他采用集中训练和分布式执行的思想，在集中训练阶段根据全局信息学习到最优的策略，在分布式执行阶段每个智能体能够利用对系统的局部观察信息快速做出独立的决策，合作完成随机到达的VR任务实时渲染的要求，最大化总的渲染完成率。仿真结果表明，所提方法在渲染完成率和算法收敛速度等方面优于基线策略，在大网络规模情况下将VR业务的渲染完成率提升到95%，远高于行业水平。

图2：无人机辅助通信系统架构（UAV assisted communication system architecture）

图3：VR渲染模型系统（VR rendering system model）

在当今的技术飞速发展的时代，无人机和虚拟现实技术的进步为人们提供了前所未有的技术革新，这两个技术的结合为人们创造出了一个无限延伸的数字空间，能够让人们全身心地沉浸在高度仿真的场景中。总的来说，无人机和 VR 技术的结合为人们带来了新的奇妙数字空间，为各行各业带来了前所未有的便利和效率。未来，我们相信这两种技术都将继续不断创新和发展，并且我们有理由相信，它们已经成为了我们日常生活中不可缺少的重要技术。（文作者：徐振生）