1.Introduction
编辑图像中的物体材料。本文中,给定一个物体的单一图像和另一个材料示例图像,目标是直接在2D中将材料外观从示例转移到目标物体。1.材料迁移的明确方法需要理解示例和输入图像中的许多物体级属性,例如几何形状和光照。随后,将材料信息从这些属性中分离出来,将其应用到新图像,2.目前没有真实世界的数据集来监督此任务,收集展示同一物体具有多种材料和示例的高质量数据集相当繁琐。
ZeST是zero-shot的,无训练,单图像材料迁移;无需显式的3D、照明和材料;多个下游应用。
2.Method
材料转移,最近的方法通过在3-5张材料示例微调扩散模型,以捕捉隐空间中的纹理材料,来解决与网格上的纹理合成相关的问题,ZeST只需要一张材料示例图和一张输入图像,zero-shot。
3.1 Problem Setting