沃卡惠移动端logo

沃卡惠  案例应用

资讯详情

这个人工智能系统可以让旧照片焕然一新

2022-08-11 09:50:264636

腾讯研究人员基于Nvidia的StyleGAN-2构建了创新系统。

超越DALL-E2,一种新的AI模型正在引起关注——GFP-GAN。

该模型全称为Generative Facial Prior-Generative Adversarial Network,可以恢复受损和低分辨率的图片。

该工具由中国公司腾讯的研究人员开发,可免费使用,可通过GitHub下载。

该工具使用腾讯自己的模型和Nvidia的预训练StyleGAN-2模型——类似于用于开发GauGAN的系统,Nvidia的图像生成模型。

在一篇概述该模型如何工作的论文中,腾讯的AI团队使用这两种模型有效地填补了旧图像中缺失的元素。在短短几秒钟内,两种模型的联合力量可以将低质量的图像变成新的更好的图像。

rn

该论文表明,以前,图像恢复需要一个参考点来重新创建特定的细节。然而,GFP-GAN通过将来自Nvidia模型的预训练人脸与来自正在恢复的照片的数据输入相结合来创建一个“在真实性和保真度之间取得良好平衡”的图像。

“由于强大的生成面部先验和精致的设计,我们的GFP-GAN只需一次前向传递就可以联合恢复面部细节并增强颜色,而GAN反演方法需要在推理时针对图像进行优化,”论文中写道。

“大量实验表明,我们的方法在合成数据集和真实世界数据集上都取得了优于现有技术的性能。”

该论文表明,由于预训练数据和来自输入图像的数据相结合,该模型“在大多数深色皮肤的面部和各种人群中表现良好”。

腾讯的团队确实注意到,输入肖像中的人的颜色可能会比灰度图像中的原始肤色看起来更浅,因为“输入不包含足够的颜色信息”。为了进一步纠正这一点,该论文的作者建议需要一个多样化且平衡的数据集来充分发挥模型的潜力。

人工智能和图像

GFP-GAN出现在DALL-E2在社交媒体上掀起波澜,用于从文本提示生成图像。

该模型由OpenAI开发,已被用于生成约翰内斯·维米尔(Johannes Vermeer)的《戴珍珠耳环的女孩》的替代版本、《Cosmopolitan》杂志的封面图片以及调味品品牌亨氏的番茄酱图片。

来源:AI Business