强化学习加速了机器人假肢的调整

来自北卡罗来纳州立大学，北卡罗来纳大学和亚利桑那州立大学的研究人员开发了一种智能系统，用于“调整”动力假肢膝盖，使患者能够在几分钟内舒适地使用假肢装置行走，而不是设备所需的时间。由训练有素的临床医生调整。该系统是第一个完全依靠强化学习来调整机器人假体的系统。

当患者接收机器人假肢膝盖时，需要调整该装置以适应该特定患者。新的调整系统调整12个不同的控制参数，在整个步态周期中解决假体动力学，例如关节僵硬。

通常，人类从业者与患者一起修改一些参数。这可能需要数小时。新系统依赖于计算机程序，该计算机程序利用强化学习来修改所有12个参数。它允许患者使用动力假膝盖在大约10分钟内在水平表面上行走。

“我们首先给患者提供一个带有随机选择参数的动力假膝，”Helen Huang说，他是该工作论文的共同作者，也是北卡罗来纳州和北卡罗来纳大学生物医学工程联合部的教授。“然后我们让患者在受控制的情况下开始行走。

“通过设备中的一套传感器收集设备上的数据和患者的步态，”Huang说。“计算机模型调整设备上的参数，并将患者的步态与正常步行步态的轮廓进行实时比较。模型可以判断哪些参数设置提高了性能，哪些设置会影响性能。使用强化学习，计算模型可以快速确定允许患者正常行走的一组参数。现有的方法，依靠训练有素的临床医生，可能需要半天时间。“

虽然目前的工作是在受控的临床环境中完成的，但目标之一是开发系统的无线版本，这将允许用户在真实环境中使用时继续微调动力假体参数。

“这项工作是针对患者在水平面上行走的情况完成的，但原则上，我们还可以为楼梯上升或下降等情况开发强化学习控制器，”该论文的共同作者Jennie Si说。亚利桑那州立大学电气，计算机和能源工程教授。

“我从动态系统控制的角度研究了强化学习，其中考虑了传感器噪声，环境干扰以及系统安全性和稳定性的要求，”Si说。“我认识到学习实时控制同时受到人类用户影响的假肢装置的前所未有的挑战。这是一个共同适应问题，无法从传统控制设计或当前的控制设计中获得现成的解决方案。最先进的强化学习控制机器人。我们很高兴地发现，我们的强化学习控制算法确实学会了在这样一个激动人心的应用环境中使假肢装置作为人体的一部分工作。“

黄说研究人员希望这个过程更有效率。“例如，我们认为我们可以通过识别或多或少可能成功的参数组合来改进流程，并训练模型首先关注最有希望的参数设置。”

研究人员指出，虽然这项工作很有希望，但在广泛使用之前，需要解决许多问题。

“例如，本研究中的假体调整目标是在行走时满足规范的膝关节运动，”Huang说。“我们没有考虑其他步态表现(例如步态对称性)或用户的偏好。另一个例子，我们的调整方法可用于微调诊所和实​​验室外的设备，使系统随着时间的推移自适应但是，我们需要确保实际使用的安全性，因为控制中的错误可能导致绊倒和摔倒。需要进行额外的测试以显示安全性。“

研究人员还指出，如果该系统确实有效且广泛使用，则可能通过限制患者临床访问与从业者合作的需要来降低患者的成本