GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型|世界动态
来源:程序员客栈
时间:2023-05-27 08:49:05
(资料图片)
点蓝色字关注“机器学习算法工程师”
设为星标,干货直达!
自从 DALL·E 2 之后,在图像生成方面扩散模型替代GAN成了主流方向,比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日, Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿(1B)的GAN模型:GigaGAN,其在文生图效果上接近扩散模型效果,而且推理速度更快,生成512x512大小图像只需要0.13s,生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能,比如latent插值,风格混合,以及向量运算等。
GigaGAN改进了StyleGAN架构,采用两阶段训练策略:一个是64x64的图像生成器和一个512x512的图像超分2器,其图像生成器架构如下所示(这里也是采用CLIP text encoder来引入text condition):GigaGAN在 LAION2B-en和 COYO-700M数据集上训练,其在COCO数据集上的FID达到9.09,超过stable diffusion 1.5,推理速度比stable diffusion快20倍多(2.9s vs 0.13s):GigaGAN除了文生图能力,还可以实现可控的合成,比如风格混合,如下图所示:更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/
点蓝色字关注“机器学习算法工程师”设为星标,干货直达!自从DALL·E2之后,在图像生成方面扩散模型替代GA
2023-05-27
美国债务违约风险逼近,引发华尔街机构避险情绪高涨。据路透社26日报道,美国华尔街的银行和资管机构正严阵
2023-05-27
截至2023年5月26日收盘,燕塘乳业(002732)报收于21 91元,上涨1 67%,换手率0 93%,成交量1 46万手,成交额3162 83万元。
2023-05-27
安琪酵母:公司水解糖满产运行,可部分替代糖蜜原料,糖蜜,食糖,保健品,水解糖,安琪酵母,生物制品,食品添加剂
2023-05-27
5月26日,广发新兴产业混合A最新单位净值为2 317元,累计净值为2 722元,较前一交易日上涨0 56%。历史数据
2023-05-27
【索尼发布PS5便携式游戏机“ProjectQ”】据日经新闻,5月25日,索尼集团旗下的游戏业务公司索尼互动娱乐(
2023-05-27
1、我经常看到此广告据我所知现在都是免费赠阅的地址:大冶市东风路商会大厦《金点子广告》是一种目前大冶人
2023-05-27
受益于国际航运业的快速发展,我国造船行业承接了来自全球的大批新船订单。记者走访了上海几个大型造船基地
2023-05-27
本文来源:时代财经作者:林前近日,“一汽丰田智能电混技术发布暨新卡罗拉上市发布会”在珠海国际会展中心
2023-05-27
1、G9200支持OTG功能,需要购买专用OTG转接线,连接简单的USB设备(如:U盘、鼠标、键盘)。2、三星S6(G9
2023-05-26