最早诞生玻璃感光底片只对蓝光紫外光敏感,1873年推出的新感光乳胶也只对绿光和蓝光敏感。
由于他们都缺乏对红光的敏感性,造成了人物脸上的雀斑和皱纹被放大,嘴唇变黑。
所以我们今天来看林肯的原始照片,会发现林肯脸上呈现出很多夸张的皱纹:
1907年,对红蓝绿都敏感的全色底片诞生。所以1913年采用新技术拍摄的潘克斯特(时年55岁),脸部皮肤要干净和平整得多:
因此,恢复这些历史照片不仅要考虑照片的模糊、褪色、噪点、低分辨率等问题,还要考虑不同老照片对颜色的感光差异。
而这款“穿越相机”相比之前的方法,在人物的还原上避免了当时技术造成的失真。土木日斤
从StyleGAN2出发
对于1873年之前的照片,作者使用了蓝光敏感模型,对于1873年至1907年的照片,手动在蓝光敏感和正色底片之间选择,然后在1907年以后拍摄的照片,则在所有模型中手动选择。
作者利用StyleGAN2框架将旧照片映射到现代高分辨率照片的空间中,从而在统一的框架中实现所有这些效果。
作者使用其他彩色样本图像作为参考,它们与黑白图像具有相似的面部特征,但包含高频细节以及自然色和照明。为了进一步减小输入图像和现代人像之间的感知身份差距,他们还设计了特别适合于老照片的重建损失。
模型的结构如下:
1、同级编码器
以低分辨率灰度参考图像I作为输入,生成具有真实颜色和相似面部特征的同级图像Is。
2、同级颜色和细节转换
为了进一步限制颜色和皮肤细节,使其与同级图像匹配,模型引入了颜色转换损失Lcolor强制StyleGAN2的ToRGB层输出与同级图像的相似性。
3、老照片的重建损失
为了进一步减小输入图像和现代人像之间的感知身份差距,作者特别设计了适合于老照片的重建损失Lrecon,它对老照片的缺陷具有鲁棒性。
4、潜在编码优化
将之前的所有损失函数叠加起来,以此进行优化,生成最终图像Î。
据作者介绍,生成这样一张1024×1024的照片,需要在英伟达Titan X上运行10分钟。
与其他几种恢复老照片的方法相比,“穿越相机”的效果显然有着更真实的观感。