引用格式：
Zhao D, Liu S, Chang X, Zhang L, Deng X. Design of Intelligent Control Law Embedded with Dynamic Flow Field Perception Method for High-Angle-of-Attack Maneuvers of Numerical Virtual Flight Agent[J]. International Journal of Aerospace Engineering, 2024, 2026.
摘要：
在数值虚拟飞行（NVF）任务中，强非定常流场干扰会改变气动特性并降低控制面效能，导致大攻角机动时气动建模困难与控制失稳。由于传统气动建模方法难以捕捉气动力的强非线性与历史依赖性，且深度强化学习（DRL）在进行控制时缺乏物理约束。为此，该文将基于Stacked LSTM的气动模型嵌入了TD3强化学习环境，提出了一种嵌入动态流场感知模块的智能控制律。将该方法在带舵NACA0012翼型的跨音速及深失速环境中进行了数值虚拟飞行验证，实现了精准的俯仰姿态控制；在大攻角机动验证与上千次随机攻角实验中，该智能控制律能够可靠地控制升降舵，实现飞行器上仰与自主改出，平均角度误差，平均响应时间等指标上均优于现有方法。该论文已在领域知名期刊 International Journal of Aerospace Engineering 上发表。
方法概述：
该文提出一种端到端的智能控制律设计框架，整体框架如图1所示。基于该框架，设计了嵌入动态流场感知模块的智能控制律。该方法在传统深度学习方法上进行了环境适配性改进：一是构建了动态流场感知模块（Stacked LSTM），对于迟滞效应强烈的大攻角机动，利用堆叠的长短期记忆网络处理历史状态序列（攻角、角速度、舵偏等），以替代高成本的CFD实时求解，实现毫秒级气动力预测；二是设计了基于TD3的智能控制律，将感知模块输出的气动特征嵌入状态空间，通过双Critic网络与延迟更新机制，抑制非定常气流扰动下的Q值过估计，在高度动态的环境中为智能体提供平滑、物理一致的控制动作输出。
图1 嵌入动态流场感知模块的智能控制律设计框架。
首先，基于带舵NACA0012翼型，在非定常模拟中规定强迫运动函数，利用NVF系统的CFD求解器生成多种状态的气动数据，在丰富训练集的同时降低了计算成本。利用这些数据，构建了一个基于Stacked LSTM的动态流场感知模块，以高效预测机动过程中的力矩系数。随后，在智能体的动作策略中嵌入该流场感知模块，使智能体能够学习符合物理约束的动作策略。为了实现Stacked LSTM与TD3算法之间的紧密耦合，重新定义了智能体的状态更新机制，将感知模块预测的气动特征以及通过运动方程实时计算的飞行参数嵌入到DRL的状态表示中。最终在DRL中经过状态-动作-奖励-环境闭环训练，实现对升降舵的智能控制，从而在满足物理约束的条件下，提高飞行器在大攻角非定常条件下的控制精度。
结果展示：
该文在高保真数值虚拟飞行系统HyperFLOW中评估了智能控制律的性能，涵盖了跨音速大攻角机动的复杂工况。实验结果分为三个部分展示，包括动态流场感知模块预测性能实验，目标攻角控制律验证，随机动态攻角机动实验。
1. 动态流场感知模块（Stacked LSTM）预测性能
首先验证了基于Stacked LSTM的流场感知模块的预测精度。该模块旨在以极低的计算成本替代CFD求解器，实时预测非定常气动力系数。
图2 不同气动模型的预测结果的对比
如表1所示，Stacked LSTM在测试集上展现了极高的气动力矩预测精度，其在非定常效应强烈的流场中的预测平均误差（MSE）较ANN、GRU和LSTM分别提升了约98.52%、16.18%和39.36%。这表明该模块能够精准捕捉气动力随时间变化的非线性规律和历史依赖效应，为后续的智能控制提供了可靠的物理环境反馈。
表1 不同气动模型的性能指标对比
Model |
MAE of all cycle |
MAE of unsteady period |
ANN |
0.0410 |
0.0385 |
GRU |
0.0076 |
0.0068 |
LSTM |
0.0095 |
0.0094 |
Stacked LSTM |
0.0073 |
0.0057 |
2. 目标攻角控制律数值虚拟飞行验证
该实验测试了智能控制律在固定目标攻角下的控制性能。实验设定了低攻角10°与高攻角45°两个具有不同非定常效应的目标攻角，涵盖线性区至深失速区。
图3 0.755Ma/ Re= 1.75735×10⁷升降舵控制情况下飞行参数随时间的变化
图4 0.755Ma/ Re= 1.75735×10⁷智能控制情况下的马赫数轮廓线和速度流线
表2 NVF框架下不同强化学习算法的性能对比
Target AoA(°) |
DRL Algorithms |
Source of aerodynamic data |
MAE(°) |
Maximum error(°) |
Minimum error(°) |
ISE(deg2·s) |
10 |
DDPG |
Dynamic flow field perception module |
0.6398 |
1.3221 |
0.0011 |
1.2280 |
SAC |
Dynamic flow field perception module |
0.3802 |
0.9122 |
0.0006 |
0.5636 |
TD3 |
CFD |
0.1593 |
0.6895 |
0.0000 |
0.1334 |
TD3 |
Dynamic flow field perception module |
0.3231 |
0.7821 |
0.0002 |
0.3132 |
45 |
DDPG |
Dynamic flow field perception module |
0.6172 |
1.7943 |
0.0018 |
1.4681 |
SAC |
Dynamic flow field perception module |
0.3820 |
0.9333 |
0.0006 |
0.6645 |
TD3 |
CFD |
0.1603 |
0.6792 |
0.0000 |
0.0770 |
TD3 |
Dynamic flow field perception module |
0.3279 |
0.7928 |
0.0002 |
0.4507 |
图4显示，随着攻角的增加，翼型上表面的高马赫数区域逐渐向前缘偏移。与此同时，原位于尾缘附近的低马赫数区域向前延伸，反映了沿表面逆压梯度增大和流动减速的存在。随着流动变得越来越不稳定，在速度流线上观察到多个分离涡。这种表面流动特性的重新分布伴随着多个分离涡的出现，随着翼型攻角的上升和俯仰下倾运动的加剧，分离涡变得越来越突出和不稳定，体现了强非定常状态和复杂的涡相互作用。实验结果验证了所提控制律的有效性，尽管在大攻角机动过程中，流场变得非常复杂，并且由此产生的气动力使飞行控制更具挑战性，但智能控制律在控制目标俯仰姿态方面仍然具有优异的性能。
表2结果显示，基于动态流场感知模块的TD3算法在两种目标攻角下均展现出优于DDPG和SAC的控制精度和稳定性，且性能接近基于CFD的TD3，也侧面验证了动态流场感知模块在降低计算成本的同时，仍能有效支持高精度控制。流场云图显示该控制策略符合物理涡旋演化规律，未出现非物理的剧烈震荡。
3. 随机动态攻角数值虚拟飞行实验
为验证算法泛化性与鲁棒性，进行了随机动态攻角俯仰控制实验。目标攻角指令在[0°, 45°]范围内随机生成并快速切换，对控制律的瞬态响应能力提出了极高要求。
图5 [0°，45°]随机实验结果
图6 随机目标AoA下飞行参数随时间的变化
表3 [0°，35°]不同误差阈值下的性能指标
Thresholds (°) |
3 |
2.5 |
2 |
1.5 |
1 |
Success Rate (%) |
100 |
100 |
100 |
100 |
58 |
RMSE (°) |
1.167 |
MAE (°) |
1.027 |
Maximum Error (°) |
1.339 |
STD (°) |
0.550 |
MRT (s) |
0.007 |
表4 [35°，45°]不同误差阈值下的性能指标
Thresholds (°) |
3 |
2.5 |
2 |
1.5 |
1 |
Success Rate (%) |
100 |
100 |
98 |
86 |
68 |
RMSE (°) |
1.086 |
MAE (°) |
0.902 |
Maximum Error (°) |
2.414 |
STD (°) |
0.602 |
MRT (s) |
0.007 |
如表3和4所示，在1000次随机初始化的试验中，本文提出的智能控制律展现了优秀的泛化能力。在极具挑战的[35°, 45°]深失速区间，RMSE低至1.086°。轨迹跟踪曲线表明，智能体能够平滑地跟随快速变化的指令，证明了该智能控制律在未见过的复杂动态环境中依然保持高性能的表现，充分验证了该控制律具备较强的泛化能力，能够适应更广泛的飞行工况与任务需求。也证明了所提出的端到端数值虚拟飞行框架能够有力支持智能控制律的开发与验证。
未来展望
尽管该方法在二维数值虚拟飞行环境中取得了优异表现，未来仍有多项工作值得深入。首先，将框架扩展至三维流场与六自由度全姿态动力学（6-DoF），并引入多操纵面与推力矢量协同控制。其次，构建包含大气湍流、参数摄动及传感器噪声的复杂干扰环境，提升模型的鲁棒性。最后，通过硬件在环（HIL）与真实飞行试验，验证其在物理实体上的泛化能力与工程应用价值。
原文链接：
