Physics-Informed Deep Learning for Musculoskeletal Modeling: Predicting Muscle Forces and Joint Kinematics From Surface EMG

肌肉骨骼模型被广泛应用于生物力学的分析，能够很好地解释神经肌肉驱动、肌肉动力学、身体与关节运动参数之间的关联，但这种分析的效率较低，阻碍了实时的应用。数据驱动方法是一个有潜力的替代方法，拥有简单快速的优点，但不能反应深层的神经控制过程。这篇文章提出了一种用于肌肉骨骼建模的新方法：物理明确的深度学习框架，用物理域经验作为loss function的约束。实验室的设备测量的力是外部力，这篇文章提供了一种估计生物力的方法。

1. 引言

肌肉骨骼模型是基于物理建模的，能够解释神经兴奋、肌肉运动以及关节参数之间的变化。通过使用一些非侵入式的信号，如EMG、GRFs、局部身体运动学等，能够估计生理属性，如肌力、关节弯矩等。然而，这些非侵入式的模型存在许多干扰，于是静态优化（包括逆运动学等）通常被用来解决这些冗余。

对以上问题的一种替代解决方法是使用EMG驱动的神经-肌肉估计模型，包括：

• 神经驱动的正向运动学模型
• 静态优化元素

EMG能够通过最优化关节弯矩的估计，把肌肉肌腱参数标定为独立的属性（如：肌腱松弛长度、最佳肌纤维长度）。EMG同时也改善了关节力矩的估计。尽管EMG驱动的模型克服了静态优化的局限并且已经可以实现，但是是耗时的，有着较高的延迟。

为了解决高延迟，数据驱动模型（Data-driven 和 EMG-driven 不是一个东西？）被尝试着用来建立运动变量和神经肌肉状态之间的联系，比如，从 EMG 到关节运动参数和肌力。这种方法是不耗时的。一些学者的工作：

• 使用LSTM通过HD-sEMG估计grasping forces
• 使用CNN-Attention通过sEMG估计连续手指运动参数
• 使用深度神经网络学习从运动空间到肌肉空间的映射特征

同时估计肌力和关节负载/运动的工作：

• RNN、CNN、全链接神经网络、主成分分析来预测估计的关节接触和肌肉力的趋势和大小
• CNN预测ground reaction force和moments

上述列举的这些工作都没有清晰的物理建模，属于“黑箱”模型。因此，为了解决physics-based和data-driven的缺点，本文提出了physics-informed deep learning musculoskeletal model framework.

Hu等人[21]利用长短期记忆（LSTM）网络来估计高密度表面肌电（sEMG）的抓取力。耿等人[22]提出了一种与注意力机制网络（CNN注意力）的卷积，用于从sEMG进行连续手指运动学预测。Rane等人[23]使用深度神经网络来学习从运动空间到肌肉空间的特征映射，因此可以从运动学预测肌肉骨骼力。[24]，[25]，[26]，[27]中也报道了类似的想法。除了单独预测肌肉力或关节运动学之外，还有一些工作可以同时预测肌肉力和关节载荷/运动。例如，Burton等人[28]实施了四种机器/深度学习方法，包括递归神经网络（RNN）、卷积神经网络（CNN）、完全连接的神经网络和主成分回归，以预测估计的关节接触和肌肉力的趋势和大小。Johnson等人[29]利用CNN预测实验室环境外的地面反作用力和力矩。

2. 方法

CNN部分用于自动提取高阶特征，并且建立EMG信号和关节运动/肌力之间的关系。physics-informed部分用于确保关节运动和肌力之间深层的物理关系。

2.1 CNN

一个简单的CNN：

• 一个卷积块

  • convolutional layer（128个卷积核）
    • 内核大小为3
    • 边界填充为3
    • 步长为1
  • ReLU
  • batchnorm
  • dropout

• 两个全连接块

  • ReLU
  • batchnorm
  • dropout

• 隐藏节点个数为128

• 一个回归块

在模型训练阶段，批量大小设置为1，CNN通过动量随机梯度下降训练。此外，最大迭代次数为1200，初始学习率设置为0.01，丢弃率为0.3。

CNN的回归块输出得到肌力和关节运动学预测。

2.2 Loss Functions

1. MSE loss：为了最小化MSE of the ground truth and prediction
2. physics-based loss：为了保留物理参数的限制

在预测变量之间添加了深层的物理含义，构造的总的loss function：

$$\begin{aligned} L_{\text {total }} & =L_F+L_\theta+L_P \\ L_F & =M S E(F) \\ L_\theta & =M S E(\theta) \\ L_P & =\Phi(F, \theta) \end{aligned}$$

其中：

$$\begin{aligned} & \operatorname{MSE}(F)=\frac{1}{T} \sum_{t=1}^T \sum_{n=1}^N\left(F_t^n-\hat{F}_t^n\right)^2 \\ & \operatorname{MSE}(\theta)=\frac{1}{T} \sum_{t=1}^T\left(\theta_t-\hat{\theta}_t\right)^2 \\ & \Phi(F, \theta)=\frac{1}{T} \sum_{t=1}^T\left(M\left(\theta_t\right) \ddot{\theta}_t+C\left(\theta_t, \dot{\theta}_t\right)+G\left(\theta_t\right)-\tau_t\right)^2 \end{aligned}$$

将实验数据导入OpenSim，以缩放每个受试者的通用肌肉骨骼模型[34]。分别通过逆运动学（IK）和逆动力学（ID）工具计算关节运动学和关节扭矩。使用计算肌肉控制（CMC）工具计算肌肉力，以确保肌肉激活遵循测量的EMG

选择膝盖关节作为关节角度和肌力的估计对象，股二头肌短头和股直肌分别作为屈肌和伸肌

什么是重采样？为什么要进行重采样？

OpenSim有三个工具：

• IK：通过marker的数据能够得到手腕运动学参数
• ID：得到关节力矩
• CMC：得到手腕肌力

2.3 ANOVA

一区的文章一般都加入了ANOVA分析，能够更有说服力，考虑在文章中加入这部分内容以丰富discussion。

3. 实验

被试：6人

两个task：手腕收缩和伸张。每个task重复6次

在实验中，受试者的肩膀保持90°竖直和肘关节保持90°弯曲。

4. 结果

深度学习（CNN-based、ML-ELM）的比机器学习（SVR、ELM）的效果，因为深度学习能够自动提取更高阶的特征。本文提出的物理规律嵌入式架构可以修正CNN，因而达到了最好的预测效果。同时，由于CNN网络较简单，本文框架的性能也与复杂的纯CNN相近。

注意intrasession和intersession的区分。

本文提出的方法在不同速度的混合数据集、受试泛化能力、数据集规模、相同结构的CNN下都取得了更好的效果。本文对CNN的结构作了进一步研究，发现PINN-3型结构有着最好的效果。

除了CNN之外，当我们想要从运动学测量中提取空间和时间表示时，数据驱动组件中的深度神经网络可以被CNN+LSTM替代[41]，或者当需要独立于领域的特征时，可以被生成对抗网络（GAN）替代[42]。此外，当只有少数训练数据可用时，应考虑few-shot学习[43]，或者在解决数据隐私问题时，首选联合学习[44]。我们还可以将希尔肌肉模型纳入所提出的框架中，预测的力应该等于希尔肌肉模型预测，这可以用作网络中的第二物理定律。