徐州祥云做网站,wordpress 主题复用,德阳定制建站网站建设制作,图床外链生成工具一、说明 在本博客系列中#xff0c;我们将了解最优控制的经典方法#xff0c;这些方法在某种程度上为强化学习等更熟悉的主题奠定了坚实的基础。这两个领域之间存在着不可避免的共同边界#xff0c;本系列旨在提出这些最优控制的形式化方法#xff0c;作为强化学习方法的有… 一、说明 在本博客系列中我们将了解最优控制的经典方法这些方法在某种程度上为强化学习等更熟悉的主题奠定了坚实的基础。这两个领域之间存在着不可避免的共同边界本系列旨在提出这些最优控制的形式化方法作为强化学习方法的有效替代方案。最优控制或RL旨在在某些约束和不断变化的系统动态下找到顺序行动/控制的最佳方法。 二、关于最佳控制 图1要遵循的航点 在我们进入主题之前让我们举一个简单的动机示例它有助于在最佳控制方法中形式化不同的术语。 轨迹优化您的汽车被赋予一项任务以遵循定义的航点或轨迹的方式控制自己。 If ᵢ is the control of car at time step iᵢ { throttle, Steering }ᵢ 所以汽车需要应用一系列控制步骤Uu₀u₁u₂... un 并到达所有航点如图 1 所示。问题的这种顺序性质使这个问题与其他问题非常不同这些问题可以使用最优控制轻松解决 我们需要更正式的定义来为该方法和我们的直觉提供结构。 三、正规化Formalism 任务是找到一个允许的控制轨迹U使用动态系统f生成相应的状态轨迹X使得成本函数JU最小化。 不要被突然涌入的行话吓倒如果打破定义并使用我们的动机示例理解每个术语它们非常直观。 1.控制轨迹U控制UI是时间步骤i的输入系列是这些控制步骤油门转向将帮助汽车达到通过所有航点的目标。 2.S tate 轨迹 X状态 xi 是对当前场景的描述。例如我们汽车的“状态”包括机器人在世界上的当前位置例如XY坐标和方向偏航γ。此状态显然受到控制输入更改的影响。 3. 动态系统f这只是一个数学模型它讲述了世界是如何运作的。简单来说这个数学模型 f 预测从状态 xi 执行操作 UI 时的下一个状态 xi₁。 在动力车的例子中我们可以使用简单的运动学方程在数学上确定系统动力学f 4. 成本函数J最优控制是关于成本函数的。它帮助我们在数学上描述顺序问题陈述的目标/任务。最优控制方法通过优化成本函数 JU 来计算最优轨迹 U。 在开始时定义的轨迹问题中目标是到达定义的航点。我们可以将成本函数定义为汽车位置和下一个航点之间的余弦距离因此当我们最小化余弦距离成本时我们更接近下一个航点。 四、线性二次稳压器 LQR 最优控制问题的一个特例其中动态方程f是线性的目标函数是x和u的二次函数。 这个子问题在最优控制中是非常基本的因为存在使用微分李嘉蒂方程的LQR问题的解析解。 让我们快速定义 LQR 的系统动力学函数 f、成本函数 JU我们将通过用 python 编码 LQR 解决方案来解决汽车轨迹优化问题。 所以这个想法很简单动力学方程是线性的我们使用矩阵A和B来描述线性。成本函数 JU 不太明显它是 x 和 u 的二次函数 Qt 称为状态成本矩阵。Q 帮助我们权衡状态向量中每个状态的相对重要性。Q 惩罚不良性能。Q 使我们能够通过使相应的 Q 值变大来定位我们想要低误差的状态。 Rt 是输入成本矩阵。此矩阵会惩罚控制。 五、解代数里卡蒂方程 我们将简要讨论 LQR 问题的解析解。这是一种简化可以得出有效的解决方案控制律可以表示为线性状态反馈 R 是输入成本矩阵B 是输入矩阵。现在 St 是微分李嘉蒂方程的解 这个问题的解决方案可以使用向后归纳法找到我们将直接跳到最终的解决方案 六、轨迹跟踪问题LQR 现在我们将使用 LQR 和 python 实现汽车轨迹跟踪问题。为了在最优控制范式中定义问题我们需要定义状态、控制、系统动力学和成本函数。 我们在引入问题本身时定义了状态向量。 接下来我们需要定义线性的系统动力学方程。 控制 UI 包括速度和转向输入。现在我们可以使用一个简单的无摩擦运动学方程来近似世界上的汽车运动。 接下来是使用矩阵操作来查找 A 和 B 矩阵 Q 惩罚您希望汽车的位置与现在的位置之间的巨大差异。Q 使我们能够通过使相应的 Q 值变大来定位我们想要低误差的状态。Q 沿对角线具有正值其他地方为零。 代码在此存储库中可用打开ipython以提供不同的航点并自己测试分析解决方案。 七、结果和演示 这是一个简单的问题其中时间步长保持较大这意味着代理可以覆盖更大的距离是单个时间步长。航点彼此垂直因此汽车从一个航点到另一个航点采取半圆形轨迹。 我们提供了更平滑的轨迹航点保持非常接近。LQR 非常有效地工作。 让我们给出更复杂的轨迹并观察不同的控制参数 我们可以在这里观察到轨迹非常接近。 感谢您抽出宝贵时间 Kowshik chilamkurthy
