捏脸玩法是装扮类应用的一个核心功能。本文主要介绍了捏脸的AI相关玩法之一即基于用户上传的照片在淘宝人生2（又名：第二人生）一键生成专属3D数字人，阐述了淘天FC淘宝人生技术团队在图片捏脸上探索的心路历程，核心原理以及技术框架。本文的视角也不局限于图片捏脸本身，也介绍了其他AI类相关玩法在装扮类应用落地的情况，希望能对大家有所启发和帮助。
一、背景
淘宝人生是国内用户规模较大的装扮类应用之一，在淘宝中扮演了用户的第二人生的重要作用。淘宝用户在淘宝既能购物，又能自由捏脸，打造自己的虚拟形象和装扮自己的小屋。
淘宝人生系列应用也内置了很多互动类玩法，通过提供多元的玩法体验让用户在逛淘宝时觉得好逛又好玩。
淘宝人生1和淘宝人生2风格对比
淘宝人生先后推出了两个版本，淘宝人生1和淘宝人生2（又名：第二人生），淘宝人生2作为淘宝人生1的延续，相比于之前的卡通风格更偏向于超写实风格，同时淘宝人生2也是市面上少有的将超写实风格落地到移动端的装扮类应用。
淘宝人生2的AI玩法
虚拟服饰资产生成
左：AI 算命师 中：照片风格化 右：照片捏脸
淘宝人生2提供了很多AI相关的玩法。比如购买淘宝真实的衣服为你生成一套该样式的虚拟服饰资产并穿搭到自己捏好的虚拟形象中，AI星象占卜师涂山赫言通过提供财运占卜等服务迎合当下年轻人的精神需求，同时照片风格化可以将捏好的形象二次创作，产生更多好玩的风格。
用户还可以通过上传图片一键生成带有自己特征的虚拟数字形象，大幅提升用户的捏脸效率。
本文将详细介绍照片捏脸的功能。
二、照片捏脸背景介绍
捏脸玩法是淘宝人生2中用户刚需且高频使用的一个核心功能。用户在玩捏脸时一般会倾向于利用提供的捏脸滑杆DIY一个类似自己或者自己喜爱的idol的3D虚拟形象。
根据提供的捏脸滑杆手动捏脸且要与自己心目中的形象达到一定的相似度是一个非常耗时的过程。
整个捏脸的调节项有80多个，用户需要每次进入各个五官调节项的界面去调节每个值，同时每个五官调节项对应还有各个细分区域的子调节项。
整体捏一张比较像的人脸不算上细节上的微调，大概需要半小时左右。
三、照片捏脸解决的痛点
为了追求超写实风格的3D数字人形象，我们无法对八十多个五官捏脸调节项进行精简去提升用户的捏脸效率，不然会影响捏脸的表达能力。但是整个复杂的专业捏脸系统很容易消耗用户的耐心，用户往往在捏个10分钟因为无法得到满意的形象而被劝退，给用户带来不好的产品体验。
为了提升用户的捏脸体验，减少用户的捏脸时间，有没有什么方法可以让用户更快的生成心目中的3D数字人形象呢？
回到文章的标题，如何在淘宝人生2中一键定制3D数字人，解决用户侧手动捏脸耗时较长的痛点？
经过反复讨论，我们的解决方案是用户上传自己的照片或者自己idol的照片通过AI算法一键生成用户的专属3D数字人。
通过上传用户照片自动捏脸可以带来的优点有：
四、业界3D照片捏脸应用
2D的照片风格化应用较多， 基于输入照片重建3D卡通形象由于技术难度较高相关应用较少。
一般业界基于照片自动重建3D卡通形象的应用有三个方向：
五、照片捏脸技术指标
淘宝人生2的照片捏脸更偏向于第二个方向，为淘宝用户提供一个既像又美的数字分身，技术同学主要的负责的是“像”，美术同学负责让形象更“美”。那么如何设置一个可靠的技术指标去评估最终的效果有没有达到“像”的预期呢？经过团队反复的探讨与调研，淘宝人生2的照片捏脸采用了业界3D人脸重建领域常用的评估方式之一NME指标并结合主观评测打分的方式评估3D数字人形象与输入图片的相似度。
NME指标
公式参考：
NME指标全称是normal mean error，该指标用来评估3D重建的人脸与真实人脸的重建误差，业界评估基于图片重建3D人脸的NME常用的做法是将照片建模的3D人脸投影到2D平面上并计算该人脸轮廓关键点和用户照片的人脸关键点的距离，来衡量捏脸的面部五官和输入照片的相似度。这里的d一般取人脸框的对角线距离。
NME越大，代表重建误差越高。
真实人脸重建算法对应指标
|
真实人脸重建算法 |
评估指标 NME |
基于卡通形象的基础模型的3D数字人有一定的风格化特征，所以基于图片捏脸的卡通形象重建都会比真实人脸重建的重建误差要高一些。
淘宝人生2捏脸采用的评估方式
NME指标 + 主观评测打分评估3D风格化捏脸
淘宝人生2的照片捏脸采用量化指标加主观评判的方式相结合，量化指标覆盖的只是人脸关键点部分的误差，更侧重于“形”，在整体“神”的相似度上还需要结合不同的人的主观打分来评估。
六、照片捏脸难点
超写实人脸重建
用户上传的是2D照片，如何把2D的人脸特征迁移到3D的人脸模型上
风格人脸重建
不但要映射到3D数字人的基础模型（简称基底）上还要有一定的风格化特征，比如说有些3D形象的基础模型是偏卡通的风格，或者是偏武侠的风格，如何保持整个基底的风格化同时又很像用户是整个项目的核心难点
离散属性匹配对相似度的影响
除了脸型轮廓鼻型眼型还有哪些特征会影响到像的评判？
--- 发型，眼镜，胡型等其他人脸属性都会对像有影响
做照片捏脸重建要解决的主要难点有3个，第一个是如何将用户上传的2D照片的特征映射到3D人脸模型上。第二个是不但要将2D人脸的特征映射到3D人脸模型上，还要基于该风格的卡通形象有一定的风格化特征同时不丢失用户的2D特征。第三个是除了脸型以外如何通过其他面部非脸型属性去提升用户的重建数字人的相似度。
七、淘宝人生2照片捏脸技术框架
为了解决上述照片捏脸的难点，整个照片捏脸技术框架分为四个模块，预处理模块，面部人脸属性&非面部人脸属性模块以及数字人形象生成模块。
预处理模块
针对用户输入的图片进行合格性校验以及剔除敏感人物，同时会检测用户输入的人脸五官关键点以及发型的mask，为接下来的面部人脸属性模块和非面部属性模块提供有效信息。
面部人脸属性模块
为了解决难点一基于单张照片进行3D真实人脸重建的问题，淘宝人生2使用的是基于3DMM(3D Morphable Model)重建人脸的方案。
基于3DMM技术将2D照片转换到3D人脸的核心思想是任何一张3D人脸都可以由一张3D平均人脸与一系列人脸正交基相加组合而成。所以可以将基于单张照片重建3D人脸的问题转化为求解目标3D人脸投影到2D人脸上并通过迭代求解不断贴合输入2D图片对应的人脸正交基系数的问题。
3DMM人脸形状基底和纹理基底
3DMM求解过程
基于3DMM重建后的3D真实人脸的特征会通过图形学的变形操作迁移到淘宝人生2的3D卡通形象的基础模型上，这样就巧妙的解决了难点二的问题，既保留了用户特征又有了一定的风格特征。但是由于图形学对人脸网格形变整体的耗时较慢，我们是利用一个MLP（多层感知机）训练了一个真实人脸系数到淘宝人生2捏脸系数的映射模型，提升了整体照片捏脸的性能，争取给用户带来更好的使用体验。
非面部属性模块
为了加强一些离散属性（一般眼镜类型，发型，眉毛种类以及胡型在捏脸系统都由一些离散的素材ID来表示，所以一般称为离散属性）的表达来提升整体的相似度，我们对用户的眼镜，发型，眉型以及胡型都进行了细粒度的分类，提升用户的非面部属性特征与捏脸系统素材的匹配度，最终使得整体重建的形象更加立体饱满。
数字人形象生成模块
通过上述模块得到的淘宝人生2捏脸系数，以及对应的素材ID会经过引擎渲染得到淘宝人生2的3D数字人形象。
这四个模块相互配合，最终实现了用户上传一张图片，一键定制用户的专属3D数字人的功能。此外每个重建的3D数字人都带有用户的特征，达到了生成形象的千人千面。
八、照片捏脸效果
九、总结以及后续规划
当前算法仅支持女版的卡通形象，基于淘宝人生2的男版卡通形象的照片捏脸正在同步研发，期待后续尽快落地。同时在眼型嘴型等五官细节拟合上仍需要提升，后续随着捏脸自由度的提升和算法的迭代会进一步提升这一块的相似度。
从友商的测试结果来看，受限于base风格的损失，业界的大多数照片捏脸应用也无法做到对用户特征的百分百的还原，但是输出的捏脸形象都比较美观，相信这也是经过了算法同学和美术产品同学的大量的联调得到了一个符合大众审美的捏脸形象，只有这样才能成功出圈，在用户侧打造很好的口碑。
淘宝人生2照片捏脸的迭代会延续既像又美的技术路线继续深耕，给用户带来更好的产品体验。同时计划引入更多模态的捏脸支持，使得用户可以通过文字或者语音自由捏脸。
十、引用
[1] Blanz V, Vetter T. A morphable model for the synthesis of 3D faces[C]. international conference on computer graphics and interactive techniques, 1999: 187-194.
[2] Cao C, Weng Y, Zhou S, et al. FaceWarehouse: A 3D Facial Expression>[3] Paysan P, Knothe R, Amberg B, et al. A 3D Face Model for Pose and Illumination Invariant Face Recognition[C]. advanced video and signal based surveillance, 2009: 296-301.
十一、附：照片捏脸秘籍
十二、团队介绍
我们是淘天FC淘宝人生技术团队，我们肩负着淘宝人生各类数字人玩法和为淘宝用户提供数字分身的使命，是淘天集团3D数字人业务的主阵地。淘天FC淘宝人生技术团队本着让用户在逛淘宝“好玩”的初心，构建了以3D捏脸为核心、互动类AI玩法(AI写真，淘宝购后链路虚拟服饰生成，AI占卜师等)相结合的玩法体系，为业务打造出覆盖千万级的淘宝人生用户的内容社区，通过3D和AI技术相结合，为淘宝用户提供既像又美的数字分身，降低3D内容的生产成本，提升淘宝人生的用户黏性和成就更高的商业价值。
原文链接：