作者 | 維克多
自從今年1月份OpenAI祭出120億參數魔法模型DALL·E，眾多科研工作者開始對其進行多方位的剖析，希望也能做出給定“自然語言文字描述直接生成對應圖片”的程序或軟件。
120億參數.........這意味著只有“頂級玩家”才能入局。如果縮小模型參數，程序還能跑出高質量的結果么？
今日，谷歌和Hugging Face的研究員們開放了一款DALL·E mini的小程序。顧名思義，作為DALL·E的復刻版，模型規模比原版小了27倍，且只在單個TPU v3-8上訓練了3天。
mini版的DALL·E創造思路非常簡單：在官方開源代碼以及預訓練模型的基礎上，簡化體系結構和減少模型內存需求。
效果如何？作者在博客中說：
“在硬件資源受限的情況下，雖然質量比較低，但結果仍然是令人印象深刻的。”
AI科技評論將其與正版DALL·E進行了對比，結果如下：
圖注：左邊為DALL·E mini輸出結果，右邊為OpenAI官方博客中的示范圖注：左邊為DALL·E mini輸出結果，右邊為OpenAI官方博客中的示范圖注：左邊為DALL·E mini輸出結果，右邊為OpenAI官方博客中的示范通過以上對比，mini版的DALL·E只在“鱷梨形狀的扶手椅”交出了令人滿意的答卷，在“遛狗”和“店面”測試中，前者生成的是抽象派畫面，后者只生成了店面......果然，魔法還是念完完整咒語，才能發揮最完美的效果。https://huggingface.co/spaces/flax-community/dalle-mini考慮到較小規模的模型架構，以及只訓練了三天，因此，其模型結構和訓練方法對我們也有借鑒意義。模型架構 
1.圖像通過VQGAN編碼器進行編碼，該編碼器將圖像轉換為一系列tokens。2.文字描述通過BART編碼器進行編碼。其中，BART解碼器是一個自回歸模型，其目標是預測下一個tokens。3.損失函數來自VQGAN中真實圖像編碼和預測值之間的softmax cross entropy。在推理時候，只有標題（captions）可用，圖像生成過程如下：3.基于解碼器在下一個 token的預測分布，對圖像 token進行順序采樣前面也提到，對于圖像的編碼和解碼，作者使用VQGAN。VQGAN的目標是將一幅圖像編碼成一系列離散的 token，這些 token可用于transformers模型。圖注：訓練transformers以實現高分辨率圖像合成值得一提的是，為了充分利用TPU，該模型用JAX編程。此外，為了加快數據加載速度，作者使用圖像編碼器對所有圖像進行了預編碼。其中，每個TPU處理的Batch size為56，這可以最大限度地增加每個TPU的可用內存；采用Adafactor為優化器，提高內存效率，使我們可以使用更高的Batch size。作者們還花了半天的時間，通過啟動超參數搜索來為模型找到一個好的學習率（0.005）。與OpenAI DALL·E相比
1.Dall·E使用120億參數版本的GPT-3。相比之下，Dall·E mini的模型小27倍，參數約為4億。
2.Dall·E mini使用大量預先訓練好的模型(VQGAN、BART編碼器和CLIP)，而OpenAI從頭開始訓練。
3.在圖像編碼方面，表( vocabulary )的對比是8192 vs 16384，tokens的對比是1024vs256。Dall·E使用VQVAE，而作者使用VQGAN。
4.在文本編碼方面，表( vocabulary )的對比是16384 vs 50264，tokens的對比是256 vs 1024。
5.Dall·E通過自回歸模型讀取文本，而Dall·E mini使用雙向編碼器。
6.Dall·E接受了2.5億對圖像和文本的訓練，而Dall·E mini只使用了1500萬對。
綜上，以上的設置差異使得Dall·E mini的訓練時間大大縮小，即只在單個TPU v3-8上訓練了3天。據作者計算，模型的訓練成本不到200美元，即使算上在TPU和超參數搜索上的實驗，額外的開銷也不超過1000美元。基于此，Dall·E生成的圖像的質量雖然比Dall·E mini模型高得多，但調用的資源非常少。不得不承認這個模型在復現OpenAI幾個官方示例中確實失敗了。
?差在哪？
作者也承認了Dall·E mini的幾個缺陷，在文末，他們總結到：3.很難預測該模型的優勢和缺陷，例如該模型很擅長生成“鱷梨形狀的扶手椅”，但不能生成與“計算機logo ”相關的任何內容；經過分析，作者認為之所以出現缺陷，可能是因為數據集，畢竟數據偏見一直是研究社區所討論的；另外，模型本身以及訓練的流程、推理的流程都有可能是出問題的地方。雷鋒網雷鋒網雷鋒網
雷峰網特約稿件，未經授權禁止轉載。詳情見轉載須知。
