【ECCV 2018】推特(Twitter)开发姿态转换模型,只需一张照片就能让它跳舞(摄像)

左为源图像,中为源图姿势,右为指标姿势

图片 1

但如果唯有依据几何来扭转,又会因为DensePose采集数据不够准确,还有图像里的本身遮挡
(比如身体被手臂挡住) ,而显得不那么真实。

研商人士以壹种高效的、自下而上的方法,将每种人体像素与其在身体参数化的坐标关联起来,开发了缠绕
DensePose 揣测系统开始展览姿势转换的办法。

Facebook团队,把担负感知的三人姿势识别模型DensePose,与负责生成深度生成互联网构成起来。

下边包车型客车录制展现了更多生成结果:

图片 2

变形模块使用 DensePose
表面对应和图像修复(inpainting)来扭转人物的新视图,而预计模块是2个通用的黑盒生成模型,以输入和目的的
DensePose 输出作为规范。

大会将第三遍发表AI开发框架,从AI模型练习到AI模型陈设的满贯开发一站式实现!让AI开发触手可及!回去博客园,查看越多

图 4:与初叶进的 德福尔mable GAN (DSC)
方法的心志相比。

尽管如此,脸部好像烧焦的规范,但现已很鬼畜了。在下不由得想起:

主要编辑:

原题目:用DensePose,教照片里的人学跳舞,系群体鬼畜 | ECCV 201八

表 1 展现,大家的 pipeline
在布局逼真度(structural fidelity)方面有醒目优势。在以IS
作为目标的感知质量方面,大家模型的出口生成具有更加高的身分,或可与存活工作相比美。

栗子 发自 凹非寺

作者们在 DeepFashion
数据集上实行实验,该数据集带有 52712 个时装模特图像,1302玖件区别姿势的衣衫。大家挑选了 1202九 件衣服展开磨练,别的 一千件用于测试。

爱上您的代码,爱做 “改变世界”的行动派!

图片 3

图片 4



  • Rıza Alp Güler,INRIA, CentraleSupélec
  • Natalia Neverova,Facebook AI Research
  • Iasonas Kokkinos,Facebook AI Research

照片中人需求学习的舞姿,来自另一位的肖像,大概摄像截图。

笔者们在 DeepFashion 和 MVC
数据集实行了尝试,结果评释大家能够赢得比最新技术更加好的定量结果。

此外组织用DeepFashion数据集,比较了眨眼间间自笔者算法和其余同行。

图片 5

责编:

倒计时**10**天

然后,负责修补图像的自编码器,就来预测肖像中人的不等角度会是如何体统。这步预测,也是在扭转的坐标系里完毕的。

具体来说,DensePose 利用深度学习将 2D LANDPG
图像坐标映射到 3D 人体外部,把一人分开成许多 UV 贴图(UV
坐标),然后处理密集坐标,实现动态人物的精明确位和态度推断。

图片 6

图 1:pose transfer pipeline
的大概浏览:给定输入图像和对象姿势,使用 DensePose 来施行生成进度。

本来无法唯有DensePose

图片 7

先来看一下,新投入的图像修复步骤,生成的效劳:

图 3:Warping 模块的结果

图片 8

图片 9

图片 10

vs

图片 11

练习成果怎样

尝试和结果

【新智元导读】DensePose团队在ECCV
201八宣布又一大作:密集人体姿态转换!那是二个依照DensePose的姿势转换系统,仅依照一张输入图像和指标姿势,生成数字人物的动画效果。

图片 12

除了那个之外姿势转换的特定难点外,所建议的神经济合作成与
iPad-based
的表示相结合的艺术也有梦想消除虚拟现实和增进现实的更加宽广难点:由于
苹果平板-based
的意味,合成的进度特别透明,也更便于与物理世界连接。以往,姿势转换任务恐怕对数码集增强、磨炼伪造检查评定器等采纳很有用。

图片 13

不久前,该协会更进一步,发表了依照DensePose 的三个架子转换系统:Dense Pose Transfer,仅依据一张输入图像和目的姿势,创建出
“数字化身” 的动画片效果。

那么,团队拍卖遮挡的主意是,在外部坐标系里,引进3个图像修复(Impainting)
互联网。把那些网络的展望结果,和1个更古板的前馈条件和成模型展望结合起来。

Dense Pose Transfer

比如说,Berkeley舞痴变舞王,优点是逼真,缺点是不能够兑现三个人共舞

编辑:肖琴

相关文章