用DensePose,教照片里的人学舞蹈,系群众体育鬼畜 | ECCV 2018

美高梅手机版登录 1

例如,伯克利舞痴变舞王,优点是活龙活现,缺点是不能够兑现几个人共舞

美高梅手机版登录 2

这项研讨成果,入选了ECCV 2018

表 一 出示,大家的 pipeline
在构造逼真度(structural fidelity)方面有明显优势。在以IS
作为指标的感知品质方面,大家模型的输出生成具备更加高的质感,或可与现存工作相比美。

但如果偏偏根据几何来变化,又会因为DensePose搜罗数据不够标准,还有图像里的自小编遮挡
(比如身体被手臂挡住) ,而显得不那么真实。

美高梅手机版登录 3

DensePose 是 Facebook 商讨员 Natalia
Neverova、Iasonas Kokkinos 和法兰西 INHavalIA 的 LANDıza Alp Guler
开拓的贰个令人咋舌的躯体实时姿势识别系统,它在 贰D 图像和身体3D
模型之间创立映射,最后实现密集人群的实时姿态识别。

美高梅手机版登录 4

近期,该集体更进一步,发表了依照DensePose 的三个姿势调换系统:Dense Pose Transfer,仅依照一张输入图像和指标姿势,创立出
“数字化身” 的动画效果。

那么,团队拍卖遮挡的方式是,在表面坐标系里,引进三个图像修复(Impainting)
网络。把那几个互联网的展望结果,和五个更古板的前馈条件和成模型前瞻结合起来。

下边包车型地铁摄像显示了愈来愈多生成结果:

不管是哪个人的使人迷恋姿势,都能附体到四妹身上,把他单壹的静态,形成丰盛的动态。

编辑:肖琴

如何让二个面朝镜头美高梅手机版登录美高梅集团4688,、静止不动的大姨子,跳起你为他选的跳舞,把360度身姿全面表现?

大家在 DeepFashion 和 MVC
数据集举办了实验,结果证明我们能够得到比最新技艺越来越好的定量结果。

www.4688com,那项商讨,是用基于表面包车型地铁神经济同盟成,是在闭环里渲染一张图像,生成各类新姿势。

意志结果如图 四 所示。

结果是,组织相似度(Structural Similarity) ,改朝换代度 (Inception
Score) 以及检查测试分 (Detection Score)
那3项目标,推文(Tweet)法家的算法表现都当先了先辈。

变形模块使用 DensePose
表面对应和图像修复(inpainting)来扭转人物的新视图,而推测模块是1个通用的黑盒生成模型,以输入和目的的
DensePose 输出作为基准。

美高梅手机版登录 5

归来微博,查看愈多

栗子 发自 凹非寺

在这项职业中,大家介绍了三个采取密集人体姿态估摸的
two-stream
姿态调换架构。大家早就认证,密集姿势测度对于数据驱动的躯干姿势预计而言是壹种强烈优化的调剂复信号,并且经过
inpainting
的不2秘诀在自然的体表参数化进程中树立姿势调换。在以后的干活中,大家打算进一步斟酌这种艺术在照片级真实图像合成,以及处理愈多品类方面包车型大巴潜力。

爱上您的代码,爱做 “改造世界”的走动派!

大家以两种补偿的不2秘技利用 DensePose
输出,对应于预测模块和变形模块(warping module),如图 壹 所示。

美高梅手机版登录 6

诸君请持续期待,DensePose越多鬼畜的行使吧。

【新智元导读】DensePose团队在ECCV
201八刊登又一佳作:密集人体姿态调换!那是二个遵照DensePose的姿态转变系统,仅根据一张输入图像和对象姿势,生成数字人物的动画效果。

DensePose系统,负责把两张照片涉嫌起来。具体方法是,在一个公共表面UV坐标系
(common 苹果平板 coordinates) 里,给两者之间做个映射

美高梅手机版登录 7

美高梅手机版登录 8

图 2:warping stream
上架子调换的监察功率信号:通过 DensePose
驱动的空中改变互联网,将左手的输入图像扭曲到原来的外表坐标。

美高梅手机版登录 9

在这项工作中,商量者希望仅依靠基于表面(三星GALAXY Tab-based)的对象表示(object
representations),类似于在图片引擎中使用的目的表示,来获得对图像合成进程的更加强把握。

杂文字传递送门:

论文:

美高梅手机版登录 10

那三个模块具备互补的优点:预测模块成功地使用密集条件输出来为熟稔的姿势生成合理的图像;但它不能够加大的新的姿态,或撤换纹理细节。

魅族云•普惠AI,让开荒充满AI!

咱俩先是将大家的框架与方今有的依据关键点的图像生成或多视图合成方法开始展览相比。

美高梅手机版登录 11

研究者关怀的主假若人体。模型建立在近日的 SMPL 模型和 DensePose
系统的根基上,将那八个系统结合在1道,从而能够用一体化的外部模型来证实一位的图像。

美高梅手机版登录 12

小编:

把DensePose的格调纹路,修复一下,照旧有显著效用的。

具体而言,那项技艺是由此 苹果平板-based
的神经济同盟成,渲染同一位的例外姿势,从而推行图像生成。指标姿势(target
pose)是经过一个 “pose donor”
的图像表示的,也等于教导图像合成的另一个人。DensePose
系统用于将新的肖像与公共表面坐标相关联,并复制预测的外观。

美高梅手机版登录 13

用平等人物 (一样装扮)
多个静态姿势来作监督,替代了360度旋转的肉身。

肖像中人索要上学的舞姿,来自另一个人的相片,恐怕录制截图。

相关文章