追寻0.5秒后的自己

640?wx_fmt=png

640?wx_fmt=jpeg


来源:engadget

转载自:大数据文摘(ID:BigDataDigest

原标题《先发制人!东京工业大学开发AI预测系统,可预测0.5秒后的动作》


预测这件事情的重要性不言而喻。毕竟如果你比别人提前知道信息就能够抢占先机。


先不说抢占先机这件事情,如果你能够预测的对方接下来的动作,至少下面这种情况不会发生。


640?wx_fmt=gif


现在,通过人工智能或许能够改善一些。


近日,东京工业大学研究小组发布了一套格斗训练系统“FuturePose”,通过深度学习能预测 0.5 秒后对手的动作。



在这项研究中,研究人员开发了一套系统,通过从一个 RGB 相机捕获的图像中,从 30 fps(1帧= 1/30秒)图像中预测15帧后,即0.5秒后的动作,然后进行战斗训练。对战对手不同装束,而受训者可以戴 VR 头盔来同时观察对手的当前姿势和预测的0.5秒后的姿势。


640?wx_fmt=png


首先,通过残差网络(学习输出减去输入残差的机器学习)来分析RGB图像,以估计对手的2D位置。该位置输入到 LSTM(可以学习长时序列数据的模型)以学习时序特征,并且预测未来的2D位置。


之后用网格光流(为向量来视觉化表示物体移动。通过将物体网格化减少计算量),将我们使用晶格光流(它表示物体的运动作为视觉表示中的矢量。物体的复杂性通过晶格简化以减少计算量),将位置信息转换成了人便于看的“运动”表示。


在视频中,研究者分别进行了走路、跳跃以及拳击等动作进行了测试☟


640?wx_fmt=gif

640?wx_fmt=gif

640?wx_fmt=gif


从上面可以看出,通过这种方式预测的姿势由红色骨架模型表示,同时人体运动的预测可以实时可视化。虽然0.5秒看起来很短,但实际上在早期的一些格斗游戏中,同样 30 fps中因为一帧而导致胜负的情况也有,所以15帧可以说是一个很大的优势。


之后在实验中,让佩戴了HTC Vive的用户在没有预测和有预测两种情况下进行测试。结果是,没有预测平均反应时间是0.62秒,而有预测的响应是大约0.41秒,这表明有预测的情况更容易避开攻击。


此外,在实际实验视频中,确实反应速度会增加,但在现实情况下,因为大脑处理视觉信息到身体反应存在时滞,因此会造成还差一点点就能躲开但是没躲开的感觉。虽然总能在超能力战斗漫画中看到“我能在几秒内看到未来”的敌人,但到底0.5秒还是太短了,可能还是得需要10多秒。


640?wx_fmt=gif

640?wx_fmt=gif


此外,该研究也适用于在线视频,实验证明它也可以预测足球守门员的动作和舞蹈的动作。于是我们就可以期待各种各样的应用,比如观众在0.5秒前预测守门员是向左还是向右扑,还有在跳交际舞的时候通过预判对方的动作,让舞蹈更流畅。


640?wx_fmt=png

往期推荐

640?wx_fmt=png

一文看尽微软开发者大会 让AI和云驱动一切

640?wx_fmt=png
▲点击图片观看

社交网站上的照片,也许已经被用来训练人工智能

640?wx_fmt=jpeg ▲点击图片观看

深度|蔚来的“危险游戏”


640?wx_fmt=jpeg

▲点击图片观看


- 加入社群吧 -

网易智能AI社群(AI芯片、医疗AI、金融AI、电商AI、自动驾驶、教育AI、AIoT、机器人等12个社群)火热招募中,对AI感兴趣的小伙伴,添加智能菌微信 kaiwu_club,说明身份即可加入。

640?wx_fmt=png




猜你喜欢

转载自blog.csdn.net/McIl9G4065Q/article/details/90034272