CVPR 2022 | 阿里达摩院新技术，美体塑形一键就成

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

来源丨人脸人体重建

亚洲 四 大 "邪 术"，想必大家都早已耳闻

作为四大 "邪 术" 之首，中国的 PS 术想必大家肯定都有所见识，俗话说“工欲善其事，必先利其器”，一个优秀的 PS 工具必然能够显著增加单位时间的 P 图量，从而有效提升每天的 PO 图量。如果有一个优秀的一键美体的工具，对于中国 PS 术的进一步提升必然有着重大意义！阿里巴巴达摩院最近也为这项艰巨的任务做出了一点贡献，在计算机视觉顶级会议 CVPR 2022 发表了一篇文章，提出了一种一键美体的新方案。话不多说，先看效果！

瘦胳膊▲

瘦腿瘦腰▲

背景扭曲貌似有点严重▲

文章作者均来自阿里巴巴达摩院，作者提出了一种基于结构感知的流场生成框架，来用于端到端的人体变形。

项目仓库：https://github/JianqiangRen/FlowBasedBodyReshaping

方法

文章方法的流程如下图所示，给定一张高分辨率的肖像图 ， 首先将其降采样到低分辨率图 ，再通过 pose estimator 模块提取人体骨架图 和 Part Affinity Fields (PAFs) ，人体骨架暗含局部变形方向，PAFs 能够协助对需要变形的部位进行定位。接下来将骨架图 和图片 拼接在一起送入 Flow Generator，Flow Generator 的跳跃连接包含一个 Structure Affinity Self-Attention (SASA) 模块，用于提高生成的流场 与 PAFs 指导的一致性。流场 生成后，再将其上采样到原图分辨率，通过变形运算 得到最终的结果。

数据集

作者从 Unsplash 网站收集了 5000 张分辨率为 2K 的高质量肖像图，由于本文的人体美化任务与人脸无关，为了保护隐私作者对图片的人脸区域做了模糊处理。考虑到美体在女性群体中更受欢迎，数据集中的大部分图片都是女性，涵盖不同年龄、种族、姿态和外衣。作者邀请了三个专业的艺术家，使用 Adobe Photoshop 独立地对这些图片进行美化，以达到当前流行的美学标准，并从三个结果图中选择最好的一个作为 GT。

结果

下图展示了文章方法与其他方法的对比结果，文章方法可以实现更逼真、更自然的美体效果。

文章方法的局限性主要有两点：

1. 文章方法是通过预测变形流场来对图片进行变形，因此可能对背景区域带来扭曲。不过这一问题可以通过人体Matting技术来改善，通过对前景中的人体进行变形，再和提前采集的背景或 image inpainting 修复的背景融合，可以得到没有瑕疵的结果。

2. 人体变形任务一般涉及全身的多维度属性，包括体重和身高。但本文主要关注体重的编辑，无法改变人体骨架的方向和长度。但身高的变形可以通过对骨架长度方向进行非均匀缩放来实现。

参考

1. Structure-Aware Flow Generation for Human Body Reshaping. Jianqiang Ren, Yuan Yao, Biwen Lei, Miaomiao Cui, Xuansong Xie. CVPR, 2022.

本文仅做学术分享，如有侵权，请联系删文。

3D视觉精品课程推荐：

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~