实战 | 从模仿学习到强化学习：自动驾驶轨迹规划的范式演进与代码实现

1. 自动驾驶轨迹规划的技术演进从模仿到强化学习第一次尝试用模仿学习做自动驾驶轨迹规划的场景还历历在目。那是个简单的十字路口场景我用了近100小时的专家驾驶数据训练模型在封闭测试场表现相当不错——直到遇到突然横穿马路的行人。模型像被施了定身术完全不知道该如何反应。这让我意识到**行为克隆Behavioral Cloning**就像教小孩背乘法表会做题但不懂原理。模仿学习的本质是通过大量数据拟合专家行为其优势非常明显开发周期短准备好数据就能训练稳定性高在训练数据覆盖的场景中表现可靠实现简单代码结构与常规监督学习无异但它的致命缺陷在动态环境中暴露无遗因果混淆模型无法区分刹车是因为红灯还是前车刹车分布偏移小错误会累积导致状态空间偏离训练数据分布长尾难题罕见场景如工程车占道难以通过数据覆盖# 典型的行为克隆代码结构 class BC_Model(nn.Module): def __init__(self): super().__init__() self.encoder ResNet18() # 视觉编码器 self.lstm nn.LSTM(512, 256) self.head nn.Linear(256, 3) # 输出x,y,theta def forward(self, img_sequence): features [self.encoder(img) for img in img_sequence] traj, _ self.lstm(torch.stack(features)) return self.head(traj[-1]) # 预测最后一步轨迹2. 强化学习的范式突破从结果反推行为当我把问题转向强化学习时整个设计思路发生了根本性转变。最震撼的是在CARLA仿真中看到经过训练的车辆会主动变道超车——这个行为完全来自reward设计而非数据模仿。**强化学习Reinforcement Learning**的核心优势在于目标导向直接优化最终驾驶目标安全、效率等因果建模通过状态-动作-奖励的闭环建立因果关系探索能力能发现专家数据中不存在的解决方案但实现过程远比想象复杂。第一个挑战就是奖励函数设计最初只设置了碰撞惩罚(-10)和速度奖励(0.1)结果车辆学会了倒车绕圈——既安全又高效地刷分。经过多次迭代才形成这套奖励体系指标权重计算方式安全1.0碰撞:-10, 危险距离:1/(d0.1)舒适度0.3加速度变化率的负指数效率0.5min(当前速度/目标速度, 1)规则遵守0.2越线:-2, 闯红灯:-5def calculate_reward(self, state): safety 1/(self.min_distance 0.1) comfort torch.exp(-torch.norm(self.last_acceleration)) efficiency min(state[speed]/self.target_speed, 1) violation -5 if state[run_red_light] else 0 reward 1.0*safety 0.3*comfort 0.5*efficiency violation return reward3. 算法实战从PPO到实际部署在尝试了DQN、A3C等算法后最终选择**PPOProximal Policy Optimization**作为基础框架主要考虑三点训练稳定性优于原始策略梯度支持连续动作空间转向/油门控制样本利用率相对较高实际部署时遇到几个关键问题及解决方案问题1训练初期探索效率低解决方案先用模仿学习预训练策略网络代码实现# 预训练阶段 pretrain_loader DataLoader(expert_dataset, batch_size32) for img_seq, action in pretrain_loader: pred model(img_seq) loss F.mse_loss(pred, action) # 行为克隆损失 optimizer.step() # 强化学习阶段 for episode in episodes: states, actions, rewards rollout(env, model) advantage compute_gae(rewards) # 广义优势估计 update_policy(states, actions, advantage) # PPO更新问题2仿真与现实差距Sim2Real解决方案构建多级仿真环境理想环境无噪声传感器噪声环境添加相机畸变、雷达误检动力学噪声环境轮胎摩擦系数变化问题3长尾场景覆盖不足创新方案构建对抗生成网络class ScenarioGenerator: def __init__(self): self.generator GAN() # 生成异常场景 self.discriminator CNN() # 判断场景真实性 def generate_hard_cases(self): z torch.randn(batch_size, 128) # 噪声向量 fake_scenes self.generator(z) validity self.discriminator(fake_scenes) return fake_scenes[validity 0.8] # 筛选高真实感场景4. 效果对比与工程实践经过6个月的开发迭代最终模型在以下指标上显著超越模仿学习指标模仿学习强化学习提升幅度复杂路口通过率72%89%23%紧急制动成功率65%93%43%平均行驶速度45km/h52km/h15%乘客舒适度评分3.8/54.5/518%实际部署时总结出几条黄金法则混合训练架构先用模仿学习初始化再用强化学习微调课程学习设计从简单场景逐步过渡到复杂场景安全层设计强化学习输出需经过规则校验层实时监控系统记录每个决策的Q值估计异常时触发接管最终的部署架构如下图所示伪代码class AutonomousSystem: def __init__(self): self.rl_policy PPONetwork() # 强化学习策略 self.safety_checker RuleSystem() # 安全规则校验 self.fallback_controller PIDController() # 备用控制器 def execute_step(self, sensor_data): state self.process_sensors(sensor_data) action self.rl_policy(state) if self.safety_checker.validate(action, state): return action else: return self.fallback_controller(state)在特斯拉HW3.0硬件上的性能测试表明整套系统能在8ms内完成从感知到规划的完整 pipeline满足实时性要求。最让我欣慰的是看到测试车辆在暴雨天气中自主选择了打开双闪并减速靠边的策略——这个行为从未在训练数据中出现过完全是算法通过reward函数自主演化出的安全策略。