1. 项目背景与核心挑战四旋翼飞行器的控制问题一直是无人机领域的研究热点。传统PID/PD控制器虽然结构简单、易于实现但在面对复杂环境扰动和非线性动态时往往表现不佳。我在实际飞控系统开发中发现当遇到强风扰动或负载突变时固定参数的PD控制器需要频繁手动调整才能维持稳定飞行。深度确定性策略梯度DDPG算法作为强化学习在连续控制领域的代表其核心优势在于通过Actor-Critic架构同时学习策略和价值函数经验回放机制打破数据相关性目标网络结构提升训练稳定性适合处理四旋翼这类高维连续状态空间问题2. 系统建模与问题转化2.1 四旋翼动力学模型采用牛顿-欧拉方程建立六自由度模型% 姿态动力学方程 I * omega_dot cross(omega, I*omega) M; % 位置动力学方程 m * acc R * [0;0;T] - [0;0;m*g] - kd * vel;其中关键参数包括转动惯量矩阵I ∈ R^(3×3)质量m螺旋桨推力系数kf阻力系数kd2.2 PD控制器参数化将传统PD控制表示为u Kp*e Kd*ė需要优化的参数向量θ [Kp, Kd] ∈ R^(6×1)对应roll/pitch/yaw三通道3. DDPG算法实现细节3.1 网络架构设计% Actor网络策略网络 actorLayers [ featureInputLayer(obsDim,Name,obsIn) fullyConnectedLayer(128,Name,fc1) reluLayer(Name,relu1) fullyConnectedLayer(64,Name,fc2) reluLayer(Name,relu2) fullyConnectedLayer(actDim,Name,out) tanhLayer(Name,tanh1)]; % 输出归一化 % Critic网络价值网络 criticLayers [ featureInputLayer(obsDim,Name,obsIn) fullyConnectedLayer(128,Name,fc1) reluLayer(Name,relu1) concatenationLayer(1,2,Name,concat) fullyConnectedLayer(64,Name,fc2) reluLayer(Name,relu2) fullyConnectedLayer(1,Name,out)];3.2 关键训练参数参数名取值作用说明ReplayBufferSize1e6经验回放容量BatchSize128每次训练采样量Gamma0.99折扣因子Tau0.005目标网络更新系数ActorLearnRate1e-4策略网络学习率CriticLearnRate1e-3价值网络学习率4. Matlab实现技巧4.1 仿真环境搭建使用Simulink与RL Toolbox结合env rlSimulinkEnv(QuadrotorModel,QuadrotorModel/RL Agent,... obsInfo, actInfo); env.ResetFcn (in) quadResetFcn(in);4.2 训练过程优化课程学习策略从简单任务悬停逐步过渡到复杂任务轨迹跟踪噪声衰减采用Ornstein-Uhlenbeck噪声随训练逐步减小并行采样利用parfor加速数据收集5. 实际测试结果对比5.1 阶跃响应对比指标传统PDDDPG-PD提升幅度上升时间(s)1.20.833%超调量(%)15566%稳态误差(m)0.30.167%5.2 抗扰测试施加2m/s突风扰动时传统PD需要1.5s恢复稳定DDPG-PD仅需0.6s6. 工程实践建议硬件在环HIL测试时注意实时性要求确保步长≤0.01s传感器噪声在obs中添加噪声层执行器饱和在reward函数中添加惩罚项参数调试经验先固定Critic网络调Actor初期加大探索噪声监控Q值变化幅度理想在1~10之间部署注意事项量化网络参数到FP32使用CMSIS-NN加速推理保留PD控制器作为安全备份7. 扩展应用方向多飞行器协同控制集中式训练分布式执行增加通信延迟补偿视觉伺服控制将图像特征作为obs输入使用CNN提取视觉特征在线自适应设计参数自适应机制结合meta-learning思路关键提示实际飞行测试前务必进行充分的仿真验证建议在Gazebo等物理引擎中测试至少1000次完整起降。我在某次现场调试中曾因未考虑电机响应延迟导致炸机后来在reward函数中增加了电机动态特性惩罚项后解决了该问题。