MIT谷歌伯克利三强联手 ,AI创造超现实主义3D运动雕塑

作者:湖北诺贝特科技有限公司  来源:www.nbt158.com未知  发布时间:2018-12-27 11:12:46
MIT谷歌伯克利三强联手 ,AI创造超现实主义3D运动雕塑

  新智元 AI World 2018 世界人工智能峰会

  全程回顾

  新智元于9月20日在北京国家会议中心举办AI WORLD 2018世界人工智能峰会,邀请机器学习教父、CMU教授 Tom Mitchell,迈克思・泰格马克,周志华,陶大程,陈怡然等AI领袖一起关注机器智能与人类命运。

  爱奇艺

  上午:http://www.iqiyi.com/v_19rr54cusk.html

  下午:http://www.iqiyi.com/v_19rr54hels.html

  新浪:http://video.sina.com.cn/l/p/1724373.html

  新智元报道来源:venturebeat作者:Kyle Wiggers 编译:肖琴【新智元导读】你知道3D运动雕塑吗?MIT、Google和UC Berkeley的研究人员创建了一个名为MoSculp的AI系统,只需视频输入,利用AI检测人体2D图像并恢复成3D模型,就能创造出超现实主义的3D运动雕塑。震撼!AI WORLD 2018世界人工智能峰会开场视频

  雕塑大家都认识,3D电影想必大家也都看过,但你知道3D运动雕塑吗?

  简单地说,这是一种独特的展示人体如何运动的方式。3D运动雕塑(3D motion sculpture)可以将任何物体的移动路径形成3D视图,物体的形状、运动轨迹都会影响最后的效果。

  将雕塑和3D这两种艺术混合起来的这些作品,是由MIT计算机科学与人工智能实验室、Google Research以及加州大学伯克利分校的研究人员共同创造的。他们利用AI系统产生了这些超现实主义的运动与姿势的混合。 作为输入的运动影像创作3D运动雕塑

  这个系统被称为MoSculp,在论文《MoSculp:形状和时间的交互式可视化》中有详细描述。该论文将于下个月在德国柏林的用户界面软件与技术大会(UIST)上发表。

  论文的第一作者、MIT博士生张修明(Xiuming Zhang)认为,这一技术可以用来为想要提高技能的运动员提供详细的运动研究。

3D运动雕塑可用作运动研究

  张修明说:“想象一下,你有一段费德勒在网球比赛中发球的视频,还有一段你自己练习打网球的视频。你可以用MoSculp创建两种场景的运动雕塑,然后进行对比,更全面地研究你需要改进的地方。”

  具体来说,这个系统的工作有多个步骤:

  首先,MoSculp能够检测人体及其2D姿态,利用的是CMU感知计算实验室开发的多人关键点实时检测库OpenPose,估计每个帧中的关键点(踝关节,肘关节,髋关节等)。 自动检测关键点

  接下来,MoSculp将2D姿态恢复成一个3D人体模型,展现人体的整体形状和人体随时间运动的姿态。   AI通过3D空间扫描这个模型,以创建初始运动雕塑,但正如研究人员指出的那样,这个模型缺乏纹理和结构细节,比如精细的面部结构、头发和衣服。

  有没有聪明的解决方案呢?

  研究人员提出将雕塑插入到原始视频中,而不是将3D内容从视频映射到场景中。

  为了防止出现伪影和遮挡,MoSculp估计出每个帧中人物和雕塑的深度图(depth map),并将两者进行比较,以确定人是比雕塑更接近摄像机还是更原理摄像机。

  然后,MoSculp从所有帧中提取主体的前景蒙版,以细化初始深度图。

原始视频估计模型

  以下是该系统在实践中的工作原理:

  将视频加载到系统后,MoSculp将检测到的关键点覆盖在输入帧上,并通过几个随机选择的帧来验证。(内置的校正工具可以让用户在必要时进行调整。)在对“暂时不一致的检测”进行校正后,它会生成运动雕塑,并将其加载到自定义界面中。

  在MoSculp中,用户可以在雕塑周围导航,或使用3D打印机进行打印。系统提供工具允许用户自定义材料、身体部位、场景背景、光照条件和其他美学特征。

MoSculp的界面

  目前,MoSculp只使用于单个主体的视频,不过研究团队希望将其扩展到多人。未来,他们认为这个系统可以用来研究社会障碍、团队动力和人际互动等。

  “舞蹈和高技能运动通常看起来像'移动的雕塑',但它们只能形成稍纵即逝的短暂形状,”Adobe传播负责人Courtney Brigham说。

  “这项工作展示了如何利用动作,并将动作转换为具有客观运动可视化的真实雕塑,为运动员提供了一种分析他们的训练动作的方式,而且成本只需一台运动相机和一些计算时间。”

  参考资料

  http://venturebeat.com/2018/09/19/mit-csail-uses-ai-to-create-3d-motion-sculptures/2/

新智元AI WORLD 2018

  世界人工智能峰会全程回顾

  新智元于9月20日在北京国家会议中心举办AI WORLD 2018世界人工智能峰会,邀请机器学习教父、CMU教授 Tom Mitchell,迈克思・泰格马克,周志华,陶大程,陈怡然等AI领袖一起关注机器智能与人类命运。

  全程回顾新智元 AI World 2018 世界人工智能峰会盛况:

  爱奇艺

  上午:http://www.iqiyi.com/v_19rr54cusk.html

  下午:http://www.iqiyi.com/v_19rr54hels.html

  新浪:http://video.sina.com.cn/l/p/1724373.html

本文首发于微信公众号:新智元。文章内容属作者个人观点,不代表财经库立场。投资者据此操作,风险请自担。

pictureIds(责任编辑:邱光龙 HF056)

推荐阅读/观看:模板网站 https://www.9543.biz


上一篇:怎么加盟冰沙店
下一篇:最后一页