火山引擎 RTC 智能驾驶远程车控方案，90ms 低延时打造平行驾驶新体验

随着 5G 行业和智能驾驶技术的快速发展，虚实互动的平行驾驶应运而生。从智能化服务园区的无人物流车，到恶劣环境作业的矿区无人驾驶矿车，到大幅提升工作效率的港口智能驾驶集卡，以及远程接管脱困的云代驾，垂直场景的应用开始促进平行驾驶的爆发性增长。

作为新一代的云端化网联智能驾驶技术，平行驾驶通过实时音视频和实时信令传输将智能车辆与控制平台、驾驶模拟器三方连接起来，利用并行视觉与感知、并行学习、并行规划及并行控制等技术，实现了虚实互动的远程驾驶模式和辅助智能驾驶的远程接管与控制。

为保证驾驶操作安全、可靠、稳定的进行，实时音视频与实时信令在平行驾驶场景中的应用当前需要解决三大问题。一是音视频 + 信令超低时延要求，在远程车控场景中，假设在车辆以 30km / h 中低速行驶，从车机视频采集到远端操作员看见画面做出指令再到指令实现整段延时超过 200ms，将导致控制距离延长近 2m，影响驾驶安全。二是卡顿容忍度低，如果视频发生卡顿，会引起车辆状态与画面不同步，远端操作者无法准确感知车辆周边情况。三是网络情况复杂，在车辆行驶过程中，由于基站距离相对变化，场景网络波动较大，网络时延抖动与丢包等弱网情况时有发生；同时，基站与基站交叉位置可能涉及网络盲区。总之，平行驾驶场景的网络情况要比其他场景复杂得多。

超低时延、稳定可靠、安全的火山引擎 RTC 智能驾驶远程车控方案

火山引擎 RTC（实时音视频）智能驾驶远程车控方案基于超低时延、稳定可靠、安全的实时音视频和实时信令服务打造，提供平行驾驶中多路视频实时通信、远程控制指令、视频录制与回看以及车辆与驾驶舱管理等能力，实现驾驶舱与车辆的一对多控制和管理。其能够应用于港口集卡、矿区无人驾驶矿车、园区物流车等远程驾驶与远程作业、汽车自主泊车以及云代驾的远程接管和辅助脱困等场景。

火山引擎 RTC 智能驾驶远程车控方案架构

车机场景专属优化，超低延时画面实时呈现

针对平行驾驶场景超低延迟的需求，火山引擎 RTC 通过采集、编码、传输全链路进行优化，使音视频端到端延时缩短至百毫秒以内。

在采集编码方面，常规 GMSL 车规级摄像头采集编码耗时较长，约 70-100ms，成为影响延时的一大痛点。火山引擎 RTC 针对 NVIDIA、高通等主流车机的采集编码进行了专门优化，包括主流车机音视频 SDK 内部采集优化，无需视频源采集转码，同时适配主流车机硬编码以提升编码效率，保障车机端可多路流同时低时延传输，最大化降低采集编码耗时。考虑到车机传输多为移动高码率画面，火山引擎 RTC 提供自动码率控制的机制，保证画面清晰前提下，自适应节省码率。

在传输方面，火山引擎 RTC 实现国内中小运营商、三四线城市边缘流媒体节点全覆盖，保障用户和车辆就近接入传输网络；在满足车机场景抗弱网需求的基础上采用更极致的低数据缓存低延迟模式，结合智能调度策略减少中间链路跳转，大幅降低数据缓存传输时延。

实测采用 GMSL2 车规级 1080P 摄像头，从摄像头采集到控制端画面显示的端到端时延可降低至 90ms，5G 公网场景平均时延 160ms。

超低延时控制信令响应，车控状态实时反馈

在平行驾驶场景中，操作者需要根据看到的实时情况进行远程操作控制，因此对控制指令触达和车辆状态反馈的要求非常高。火山引擎 RTC 的实时信令 RTS（Real-time Signaling），采用自研可靠的 UDP 协议，复用 RTC 传输网络，具备优异的弱网对抗性能，能提供超低延时、高可靠的信令传输能力，端到端平均延时降低至 51ms，实现车辆控制指令与状态的实时同步。通过多节点同时建联策略，在复杂网络条件丢包 80% 下，仍可保证信令 100% 到达，并应用消息压缩、加密发送等传输技术，保证传输安全的同时，显著降低网络带宽，提高传输效率。

同时，实时信令 RTS 可提供控制信令响应延迟实时数据，响应延迟是远程车控中非常重要的指标，通过实时计算从用户给出操作到视频画面反馈回来的延时，可帮助操作者更及时地感知车辆状态并进行操作调整。

多链路传输结合智能抗弱网策略，保障网络波动下的流畅车控

由于车辆行驶中涉及与基站相对位置变化，不可避免地存在网络信号波动或断网情况，平行驾驶一般采用多卡多待和一网多卡等方案解决不同位置单一运营商网络覆盖和质量不可靠的问题。火山引擎 RTC 针对车机多网卡场景，实时监测当前网络的变化和连通性，提供网络中断后的秒级快速恢复能力，尽可能减少网络中断对远程车控的影响。同时，提供在复杂网络场景下的网络通道优选，选择最优运营商网络通道进行实时音视频传输，并支持多链路传输策略，多运营商网络通道同时传输有效解决单条网络通道出现抖动等弱网下的卡顿问题，减少网络盲区情况的发生，提高用户的带宽传输上限。

同时，火山引擎 RTC 通过实时网络类型探测、高效的带宽探测以及基于 4G / 5G 网络的自适应拥塞控制策略，结合应用 FEC、ARQ、HARQ、自适应 Jitter Buffer、自适应码率下发等弱网策略，平衡平行驾驶中的延时和卡顿体验。在常规网络条件下，100ms 卡顿率小于 0.1%；在 30% 丢包和 50ms 网络抖动情况下，100ms 卡顿率小于 1%。

实时车控质量数据监测，提升运营效率和服务体验

为了解决运营者对于远程车控体验质量无法量化衡量、缺少体验问题排查优化手段的痛点，火山引擎 RTC 提供综合的远程车控场景化质量数据，包括实时音视频和实时信令质量实时数据以及端到端 QoS 指标，帮助运营者实时监控音视频和信令质量。其能够有效定位问题原因并快速解决，可针对固定路线或者封闭区域的网络进行优化，以保证远程车控的服务体验。

不同场景对指标的可用性、流畅度、实时性以及性能的要求不同，观察的指标也不尽相同。火山引擎 RTC 可按照不同业务场景推荐更符合该场景的指标。由于车机画面经常处在移动状态，操作者更容易感知画面卡顿，因此在"视频卡顿率"指标上，火山引擎推荐"100ms / 200ms 视频卡顿率"这个更加"严苛"的指标，更直观地反馈操作者的感知体验，更符合远程车控业务的实际情况。

车牌人脸按需脱敏与音视频全链路加密，符合汽车数据安全管理要求

远程车控对安全性要求严格，火山引擎 RTC 提供 Token 加密和用户接入鉴权、音视频传输数据 AES256 加密等，保障音视频全链路加密并与用户业务数据隔离。

根据《汽车数据安全管理若干规定（试行）》，车内处理原则，除非确有必要不向车外提供；脱敏处理原则，尽可能进行匿名化、去标识化等处理。火山引擎 RTC 结合火山引擎人脸车牌脱敏算法，对视频流进行车牌和人脸的按需脱敏，满足汽车场景数据安全与个人隐私保护的合规要求。

火山引擎 RTC 支持车牌 / 人脸按需打码脱敏，保护数据隐私