Pathways Autoregressive Text-to-Image model (Parti)

提出了一个不同于diffusion的text2image模式，并且随着参数量不同增加(350M->750M->3B->20B)，模型性能也在不断scaling，模型越大生成的image越好
足够大的模型压缩了足够多的真实世界知识，使得生成的图像更加合理(符合人的认知)
提出了一个PartiPrompts benchmark，prompt从简单到复杂，用于评估不同Text2Image模型的好坏
结果：SOTA zero-shot FID score of 7.23 and finetuned FID score of 3.22 on MS-COCO.

思路不算很复杂，主要在于巨量数据和大模型，大模型才是硬道理啊
我最开始以为这是很新的工作，后来发现这是去年的工作了
看起来是很顺理成章的工作，唯一的问题在于就开源了一个prompt……太难follow了，也就看个思路吧
看paper很多东西其实做的并没有那么progressive，想法很大胆，实现很一般……你以为的：Text2Image的translator，实际上：Text token <-> Image token(这不还是CLIP/VQ-VAE吗？) + image token detokenizer(ViT-VQGAN)

Google Pathways系列模型

T5
- 1910.10683
- 不是pathway系列，对标的是GPT-2
- Text-To-Text Transfer Transformer (T5)，将NLP的范式统一为text2text的transfer learning，使用的是类BERT的encoder-decoder结构
- 使用的数据集是Colossal Clean Crawled Corpus (C4)
PaLM
- 2204.02311
- Pathways Language Model (PaLM)
- Scaling to 540 Billion Parameters for Breakthrough Performance
- 对标GPT-3，使用Pathways系统训练
PaLI
- 2209.06794
- PaLI: A Jointly-Scaled Multilingual Language-Image Model
- 最大模型17B(ViT-e@4B+Transformer@13B)
- 使用了100+种语言的text-image数据集WebLI
- 对标多语言版本的CLIP
Parti
- 2206.10789
- Pathways Autoregressive Text-to-Image model(Parti)
- 对标DALL-E，用Autoregressive的方式做text2img