从前，人们很难在数字人物脸上看到睫毛。现在，“EyelashNet”给人们带来了“看不见”的细节——零失真睫毛。你知道吗？2019年，三位学生把AI“Matt”带到SIGGRAPH Asia的Real-Time Live!舞台上，他们用实时数字人脸表演给大家带来了很大的惊喜。两年后，这三位学生又把注意力放在高精度重建任务上，这次他们还把EyelashNet和浙江大学CAD与CG国家重点实验室的技术结合在一起，让每个人都能轻松实现“睫毛重塑”的未来。大家想象一下，在电影特效、游戏角色或者虚拟主播里，一根睫毛的小错误都可能被放大成明显的问题。传统做法是先把睫毛扫掉，再手动修复眼睑。一个专业美工可能需要花五小时才能让眼皮看起来自然。但即便这样，重建结果还是有可能出现凹凸不平和眼皮抖动的尴尬情况。现在我们有了EyelashNet，“一根睫毛都不放过”，它就是全球首个睫毛抠图数据集和基准模型。那么为什么“抠睫毛”会这么难呢？这是因为睫毛细如发丝，位置会随着表情实时变动；而且它与眼皮颜色相近、边界模糊。另外现有公开数据集要么靠蓝幕合成，要么场景单一，无法覆盖不同肤色、年龄、性别和光照下的睫毛变化。这些都导致了最先进算法在真实图像上“水土不服”。EyelashNet给我们带来了“双剑合璧”的方案：他们自己开发了荧光标记采集系统，15台单反相机、3台UVA闪光灯还有头部定位装置被用于捕捉图像。志愿者在睫毛上均匀涂抹隐形荧光剂，通过闪光模式捕捉图像后用光流法矫正误差。这个系统生成了多视角、多表情、多肤色、多年龄的睫毛抠图数据集。这个团队还采用了渐进式弱标注精炼网络：先用合成数据预训练网络，再从自动结果中挑选“看起来对”的蒙版加入训练集，经过两轮迭代就让网络快速适应真实数据。“EyelashNet”不仅可以用来自动输出高保真睫毛蒙版，在三维重建环节还可以一键去掉左右眼睫毛噪声降低眼睑区域噪声。此外还可以给睫毛上色、加长或者加卷等美容操作，“一键去睫毛”也不再是梦了。实验结果显示“EyelashNet”的蒙版边缘比其他方法更贴近真值。这个数据集和算法带来的改变让数字人物的高保真成为常态。“EyelashNet”打通了数据到算法的最后一公里给人们展示了数字人物脸上每一根细如发丝的睫毛。未来随着数据集规模持续扩大与算法迭代，“看不见”的睫毛将不再拖后腿！