您的位置:首页>栏目首页 > 管理 >

爆火DragGAN正式开源,GitHub近18k星!清华校友带GAN逆袭,大象一秒P转身

2023-06-28 00:06:38    来源:新智元公众号

【新智元导读】就在刚刚,引爆AI绘图圈的DragGAN,正式发布了开源代码!

上个月,一项名为「Drag Your GAN」的核弹级研究,在AI绘图圈炸响。


(相关资料图)

论文由MPII、MIT、宾大、谷歌等机构的学者联合发布,并且已被SIGGRAPH2023录用。

从此,我们只需一拖一拽,就能实现完美P图了,哪里不准修哪里!

拍的照片表情不好?修!脸型不够瘦?修!脸冲镜头的角度不对?修!

而就在刚刚,团队正式放出了官方代码!

项目地址:https://github.com/XingangPan/DragGAN

首先,需要下载预训练StyleGAN2的权重:

shscripts/download_model.sh

如果想尝试StyleGAN-Human和Landscapes HQ(LHQ)数据集,则需要将下载的权重放到./checkpoints目录下。

接着,启动DragGAN GUI来编辑GAN生成的图像:

shscripts/gui.sh

如果要编辑真实图像,则需要使用像PTI这样的工具执行GAN反演。然后将新的潜在代码和模型权重加载到GUI中。

有网友在上手试用后表示,只会占用大约6G显存,但是使用效果不是很理想,坐等后续改进。

GAN逆袭归来,一秒把大象P转身

顾名思义,通过DragGAN,我们可以任意拖动图像进行编辑,无论是对象的形状、布局、姿态、表情、位置、大小,都可以做到精准控制。

项目地址:https://编程客栈vcai.mpi-inf.mpg.de/projects/DragGAN/

在确定关键点的起始和终止位置之后,再根据对象的物理结构,用GAN生成符合逻辑的图像,一张挑不出破绽的图就做好了。

比如,轻轻一拖动,就能想把耷拉着的狗耳朵提起来,让狗狗从站着变成趴下,以及让狗狗瞬间张嘴微笑。

模特的姿势可以随意改变,短裤可以变成九分裤,短袖可以变长袖。

湖边的树可以瞬间长高,湖里的倒影也跟着一起改变。

原图中的太阳没露脸?无所谓,DragGAN会给你造个日出。

对此网友调侃称,现在甲方提出「让大象转个身」的要求,终于可以实现了。

DragGAN:图像处理新时代

在这项工作中,团队研究了一种强大但还未被充分探索的控制GAN的方法——以交互的方式将图像中任意一点精确「拖动」至目标点。

DragGAN主要包括以下两个主要组成部分:

1.基于特征的运动监控,驱动操作点向目标位置移动

2.一个新的点跟踪方法,利用区分性的GAN特征持续定位操作点的位置

通过DragGAN,任何人都可以对像素进行精确的控制,进而编辑如动物、汽车、人类、风景等多种类别的姿态、形状、表情和布局。

由于这些操作在GAN的学习生成图像流形上进行,因此它们倾向于生成逼真的输出,即使在富有挑战性的场景下也是如此,例如被遮挡的内容和变形的图像。

定性和定量的对比表明,DragGAN在图像操作和点跟踪任务中,都明显优于先前的方法。

拖拽编辑

在DragGAN的加持下,用户只需要设置几个操作点(红点),目标点(蓝点),以及可选的表示可移动区域的mask(亮区)。然后,模型就会自动完成后续的图像生成,

其中,动态监控步骤会让操作点(红点)向目标点(蓝点)移动,点追踪步骤则通过更新操作点来追踪图像中的对象。此过程会一直持续,直到操作点达到其相应的目标点。

流程

具体来说,团队通过在生成器的特征图上的位移修补损失来实现动态监控,并在相同的特征空间中通过最近邻搜索进行点追踪。

方法

值得注意的是,用户可以通过添加mask的方式,来控制需要编辑的区域。

可以看到,当狗的头部被mask时,在编辑后的图像中,只有头部发生了移动,而其他区域则并未发生变化。但如果没有mask的话,整个狗的身体也会跟着移动。

这也显示出,基于点的操作通常有多种可能的解决方案,而GAN会倾向于在其从训练数据中学习的图像流形中找到最近的解决方案。

m编程ask的效果

在真实图像的编辑中,团队应用GAN反转将其映射到StyleGAN的潜空间,然后分别编辑姿势、头发、形状和表情。

真实图像的javascript处理

不仅如此,DragGAN还具有强大的泛化能力,可以创建出超出训练图像分布的图像。比如,一个张得巨大的嘴,以及一个被极限放大的车轮。

泛化能力

作者介绍

论文一作Xingang Pan,目前已经正式成为了南洋理工大学计算机科学与工javascript程学院的助理教授。

研究方向主要集中在生成式AI模型、AI与人类协同内容生成、3D/视频编辑和生成、神经场景表示和渲染,以及物理感知内容生成。

在此之前,他于2016年在清华大学获得学士学位,2021年在香港中文大学多媒体实验室获得博士学位,导师是汤晓javascript鸥教授。随后在马克斯普朗克计算机科学研究所从事了博士后研究,由Christian Theobalt教授指导

Lingjie Liu是宾夕法尼亚大学计算机和信息科学系的Aravind K. Joshi助理教授,负责宾大计算机图形实验室,同时也是通用机器人、自动化、传感和感知(GRASP)实验室的成员。

在此之前,她是马克斯普朗克计算机科学研究所的Lise Meitner博士后研究人员。并于2019年在香港大学获得博士学位。

参考资料:

https://github.com/XingangPan/DragGAN

关键词:

相关阅读