纽约时报以AI捕捉运动员3D姿势，改进运动赛事播报

为了改善新闻中体育赛事的报导方式，纽约时报研发人员开发以人工智能3D姿势量测模型，从连拍相片中计算出体操选手的3D骨架，撷取人们容易看漏的姿势细节，让记者有更完整的资料，报导运动员的表现。

纽约时报提到，他们本来因为要准备2020夏季奥运的播报，因此在去年的时候，开始探索在运动赛事中应用电脑视觉技术，以更好地了解运动员的表现，在运动员没有配戴实体标记的条件下，也能量测运动员的动作。传统的动作捕捉技术需要搭配实体标记才能达成，但是在现场运动赛事不可能要求运动员配戴标记，因此纽约时报于是想透过摄影师拍摄的照片，结合机器学习和电脑视觉技术，捕捉运动员的动作细节。

这项技术目前主要锁定体操项目，因为体操运动员的姿势，包括关节的位置，是得分的关键，而且在夏季运动会中，女子体操是很受欢迎的项目。这项研究的成果，纽约时报现在仅用3台摄影机拍摄的连续相片，就能撷取实况运动赛事运动员的3D姿势和效能指标。

在比赛现场，纽约时报的摄影师会从多个角度拍摄运动员，并且在摄影机间同步影格，机器学习技术会算出每个影格中运动员的2D姿势，接着利用相机参数，以电脑视觉算法从2D姿势回推3D姿势，而计算出来的3D姿势序列，系统就能计算出旋转速度、跳跃高度等运动选手评分指标。

要从多角度同步捕捉运动员的照片，需要物理连接相机，但在实际赛事却难以达成，因此研发团队打造了新硬件，能够使用GPS时钟以及远端无线触发器，来同步多台相机的快门，进而在不同角度同时拍摄照片。研发团队解释，因为摄影师本来就会以连拍纪录运动赛事，而且相片比影片中的影格还要清楚很多，可让机器学习模型更准确地捕捉运动员姿势。

（图片来源／纽约时报）

机器学习模型能从照片中，估算出运动员的2D姿势，研发人员表示，他们试了各种电脑视觉模型，但是都无法成功算出运动员的姿势，原因是这些模型都是使用日常活动，像是走路等照片训练，因此无法辨识体操选手的姿势，最后电脑视觉厂商Wrnch提供了开箱即用的模型，才得以正确辨识体操选手的动作。

在计算运动员3D姿势之前，系统还需要知道相机的参数，包括位置以及朝向，传统的方法要求相机摆放在固定的位置，并且在所有相机可拍摄到的地方，放置实体校准板，但这种方法同样无法用于运动赛事中，因为比赛时无法在多台相机中间摆放校准板，最后研发人员参考了华盛顿大学、脸书和Google共同发表的方法，以体操平衡木作为校准物体，而这个方法也能被扩展应用到网球或是田径等其他运动比赛上。

一旦计算出相机的位置以及朝向，就能以三角化算法从2D姿势推算出3D姿势，而这将会得出运动员每个关节的xyz座标，只要对相片序列的每个影格进行计算，就能够算出运动员完整动作的3D姿势，还能进一步推算跟运动员表现相关的指标，像是跳跃高度、身体加速度或是旋转速度等资讯。

（图片来源／纽约时报）