小白都能看懂的 Stable Diffusion 原理！還記得火爆全網(wǎng)的圖解 Transformer 嗎？最近這位大佬博主 Jay Alammar 在博客上對大火的 Stable Diffusion 模型也撰寫了一篇圖解，你從零開始徹底懂圖像生成模型原理，還配有超細(xì)的視頻講解！章鏈接：https://jalammar.github.io/illustrated-stable-diffusion/視頻鏈接：https://www.youtube.com/ watch?v=MXmacOUJUaw圖解 Stable DiffusionAI 模型最新展現(xiàn)出的圖像生成力遠(yuǎn)遠(yuǎn)超出人們預(yù)期，直接根據(jù)字描述就能創(chuàng)造具有驚人視覺效的圖像，其背后運(yùn)行機(jī)制顯得十神秘與神奇，但實(shí)影響了人類創(chuàng)藝術(shù)的方式。Stable Diffusion 的發(fā)布是 AI 圖像生成發(fā)展過程的一個里程碑，當(dāng)于給大眾提供一個可用的高性模型，不僅生成圖像質(zhì)量非常高運(yùn)行速度快，并有資源和內(nèi)存的求也較低。相信要試過 AI 圖像生成的人都會了解它到底是如工作的，這篇文就將為你揭開 Stable Diffusion 工作原理的神秘紗。Stable Diffusion 從功能上來說主要包括兩方：1）其核心功能為僅根據(jù)文本提作為輸入來生成圖像（text2img）；2）你也可以用它對圖根據(jù)文字描述進(jìn)修改（即輸入為本 + 圖像）。下面將使用圖示輔助解釋 Stable Diffusion 的組件，它們之間如交互，以及圖像成選項(xiàng)及參數(shù)的義。Stable Diffusion 組件Stable Diffusion 是一個由多個組件和型組成的系統(tǒng)，非單一的模型。我們從模型整體角度向模型內(nèi)部察時，可以發(fā)現(xiàn)其包含一個文本解組件用于將文信息翻譯成數(shù)字示（numeric representation），以捕捉文本的語義信息。雖目前還是從宏觀度分析模型，后才有更多的模型節(jié)，但我們也可大致推測這個文編碼器是一個特的 Transformer 語言模型（具體來說 CLIP 模型的文本編碼器）模型的輸入為一文本字符串，輸為一個數(shù)字列表用來表征文本中每個單詞 / token，即將每個 token 轉(zhuǎn)換為一個向量然后這些信息會提交到圖像生成（image generator）中，它的內(nèi)部包含多個組件。像生成器主要包兩個階段：1. Image information creator這個組件是 Stable Diffusion 的獨(dú)家秘方，相之前的模型，它很多性能增益都在這里實(shí)現(xiàn)的。組件運(yùn)行多個 steps 來生成圖像信息，其中 steps 也是 Stable Diffusion 接口和庫中的參數(shù)，通常默認(rèn) 50 或 100。圖像信息創(chuàng)建器完全在圖像信空間（或潛空間中運(yùn)行，這一特使得它比其他在素空間工作的 Diffusion 模型運(yùn)行得更快；從技術(shù)上來看該組件由一個 UNet 神經(jīng)網(wǎng)絡(luò)和一個調(diào)度（scheduling）算法組成。擴(kuò)（diffusion）這個詞描述了在該組件內(nèi)部行期間發(fā)生的事，即對信息進(jìn)行步步地處理，并終由下一個組件圖像解碼器）生高質(zhì)量的圖像。2. 圖像解碼器圖像解碼器根據(jù)從像信息創(chuàng)建器中取的信息畫出一畫，整個過程只行一次即可生成終的像素圖像。以看到，Stable Diffusion 總共包含三個主要的組，其中每個組件擁有一個獨(dú)立的經(jīng)網(wǎng)絡(luò)：1）Clip Text 用于文本編碼。入：文本輸出：77 個 token 嵌入向量，其中每個向量包含 768 個維度2）UNet + Scheduler 在信息（潛）空間中逐步處理 / 擴(kuò)散信息。輸入：文本嵌入和個由噪聲組成的始多維數(shù)組（結(jié)化的數(shù)字列表，叫張量 tensor）。輸出：一個經(jīng)過處理的信陣列3）自編碼解碼器（Autoencoder Decoder），使用處理過的信矩陣?yán)L制最終圖的解碼器。輸入處理過的信息矩，維度為（4, 64, 64）輸出：結(jié)果圖像，維度為（3，512，512），即（紅 / 綠 / 藍(lán)，寬，高）什么是 Diffusion？擴(kuò)散是在下圖中粉紅色圖像信息創(chuàng)建器件中發(fā)生的過程過程中包含表征入文本的 token 嵌入，和隨機(jī)的初始圖像信矩陣（也稱之為 latents），該過程會還需用到圖像解碼器繪制最終圖像的息矩陣。整個運(yùn)過程是 step by step 的，每一步都會增加更多的相關(guān)息。為了更直觀感受整個過程，以中途查看隨機(jī) latents 矩陣，并觀察它如何轉(zhuǎn)化為視覺聲的，其中視覺查（visual inspection）是通過圖像解碼器進(jìn)行的整個 diffusion 過程包含多個 steps，其中每個 step 都是基于輸入的 latents 矩陣進(jìn)行操作，并生成另個 latents 矩陣以更好地貼合「輸入的文」和從模型圖像中獲取的「視覺息」。將這些 latents 可視化可以看到這信息是如何在每 step 中相加的。整個過程是從無到有，看來相當(dāng)激動人心步驟 2 和 4 之間的過程轉(zhuǎn)變看起來特別有趣就好像圖片的輪是從噪聲中出現(xiàn)。Diffusion 的工作原理使用擴(kuò)散模型生圖像的核心思路是基于已存在的大的計(jì)算機(jī)視覺型，只要輸入足大的數(shù)據(jù)集，這模型可以學(xué)習(xí)任復(fù)雜的操作。假我們已經(jīng)有了一圖像，生成產(chǎn)生些噪聲加入到圖中，然后就可以該圖像視作一個練樣例。使用相的操作可以生成量訓(xùn)練樣本來訓(xùn)圖像生成模型中核心組件。上述子展示了一些可的噪聲量值，從始圖像 (級別 0，不含噪聲) 到噪聲全部添加 (級別 4) ，從而可以很容易控制有多少噪聲加到圖像中。所我們可以將這個程分散在幾十個 steps 中，對數(shù)據(jù)集中的每圖像都可以生成十個訓(xùn)練樣本。于上述數(shù)據(jù)集，們就可以訓(xùn)練出個性能極佳的噪預(yù)測器，每個訓(xùn) step 和其他模型的訓(xùn)練相。當(dāng)以某一種確的配置運(yùn)行時，聲預(yù)測器就可以成圖像。移除噪，繪制圖像經(jīng)過練的噪聲預(yù)測器以對一幅添加噪的圖像進(jìn)行去噪也可以預(yù)測添加噪聲量。由于采的噪聲是可預(yù)測，所以如果從圖中減去噪聲，最得到的圖像就會接近模型訓(xùn)練得的圖像。得到的像并非是一張精的原始圖像，而分布（distribution），即世界的像素列，比如天空通是藍(lán)色的，人有只眼睛，貓有尖朵等等，生成的體圖像風(fēng)格完全決于訓(xùn)練數(shù)據(jù)集不止 Stable Diffusion 通過去噪進(jìn)行圖像生成，DALL-E 2 和谷歌的 Imagen 模型都是如此。需要注意是，到目前為止述的擴(kuò)散過程還有使用任何文本據(jù)生成圖像。因，如果我們部署個模型的話，它夠生成很好看的像，但用戶沒有法控制生成的內(nèi)。在接下來的部中，將會對如何條件文本合并到程中進(jìn)行描述，便控制模型生成圖像類型。加速在壓縮數(shù)據(jù)上擴(kuò)為了加速圖像生的過程，Stable Diffusion 并沒有選擇在像素圖像身上運(yùn)行擴(kuò)散過，而是選擇在圖的壓縮版本上運(yùn)，論文中也稱之「Departure to Latent Space」。整個壓縮過程，包括后續(xù)解壓、繪制圖像是通過自編碼器成的，將圖像壓到潛空間中，然僅使用解碼器使壓縮后的信息來構(gòu)。前向擴(kuò)散（forward diffusion）過程是在壓縮 latents 完成的，噪聲的片（slices）是應(yīng)用于 latents 上的噪聲，而非像素像，所以噪聲預(yù)器實(shí)際上是被訓(xùn)用來預(yù)測壓縮表（潛空間）中的聲。前向過程，使用使用自編碼中的編碼器來訓(xùn)噪聲預(yù)測器。一訓(xùn)練完成后，就以通過運(yùn)行反向程（自編碼器中解碼器）來生成像。前向和后向程如下所示，圖還包括了一個 conditioning 組件，用來描述模型應(yīng)該成圖像的文本提。文本編碼器：個 Transformer 語言模型模型中的語理解組件使用的 Transformer 語言模型，可以將輸入文本提示轉(zhuǎn)換為 token 嵌入向量。發(fā)布的 Stable Diffusion 模型使用 ClipText (基于 GPT 的模型) ，這篇文章中為了方便講解擇使用 BERT 模型。Imagen 論文中的實(shí)驗(yàn)表明，相比選更大的圖像生成件，更大的語言型可以帶來更多圖像質(zhì)量提升。期的 Stable Diffusion 模型使用的是 OpenAI 發(fā)布的經(jīng)過預(yù)訓(xùn)練的 ClipText 模型，而在 Stable Diffusion V2 中已經(jīng)轉(zhuǎn)向了最新布的、更大的 CLIP 模型變體 OpenClip.CLIP 是怎么訓(xùn)練的？CLIP 需要的數(shù)據(jù)為圖像及其標(biāo)題數(shù)據(jù)集中大約包 4 億張圖像及描述。數(shù)據(jù)集通從網(wǎng)上抓取的圖以及相應(yīng)的「alt」標(biāo)簽文本來收集的。CLIP 是圖像編碼器和本編碼器的組合其訓(xùn)練過程可以化為拍攝圖像和字說明，使用兩編碼器對數(shù)據(jù)分進(jìn)行編碼。然后用余弦距離比較果嵌入，剛開始練時，即使文本述與圖像是相匹的，它們之間的似性肯定也是很的。隨著模型的斷更新，在后續(xù)段，編碼器對圖和文本編碼得到嵌入會逐漸相似通過在整個數(shù)據(jù)中重復(fù)該過程，使用大 batch size 的編碼器，最終能生成一個嵌入向，其中狗的圖像句子「一條狗的片」之間是相似。就像在 word2vec 中一樣，訓(xùn)練過程也要包括不匹配的片和說明的負(fù)樣，模型需要給它分配較低的相似分?jǐn)?shù)。文本信息入圖像生成過程了將文本條件融成為圖像生成過的一部分，必須整噪聲預(yù)測器的入為文本。所有操作都是在潛空上，包括編碼后文本、輸入圖像預(yù)測噪聲。為了好地了解文本 token 在 Unet 中的使用方式，還需要先解一下 Unet 模型。Unet 噪聲預(yù)測器中的層（無文本）一不使用文本的 diffusion Unet，其輸入輸出如下所示在模型內(nèi)部，可看到：1. Unet 模型中的層主要用于轉(zhuǎn)換 latents；2. 每層都是在之前層的輸出上進(jìn)操作；3. 某些輸出（通過殘差接）將其饋送到絡(luò)后面的處理中4. 將時間步轉(zhuǎn)換為時間步長嵌入量，可以在層中用。Unet 噪聲預(yù)測器中的層帶文本）現(xiàn)在就要將之前的系統(tǒng)裝成帶文本版本。主要的修改部就是增加對文本入（術(shù)語：text conditioning）的支持，即在 ResNet 塊之間添加一個注意力。需要注意的是ResNet 塊沒有直接看到文內(nèi)容，而是通過意力層將文本在 latents 中的表征合并起，然后下一個 ResNet 就可以在這一過程中用上文本信息。考資料：https://jalammar.github.io/illustrated-stable-diffusion/https://www.reddit.com/r/MachineLearning/comments/10dfex7/d_the_illustrated_stable_diffusion_video/本文來自微信公眾：新智元 （ID：AI_era）