原文標題：《這段供給頻火外網，谷歌把 AI 視頻造假搞得太真太簡鳳鳥了》人們，AI 做視頻這事今天又被推向了輿論信風口尖。起因是有人在網上發(fā)了這么一只小企鵝的視頻而這個近 50 秒視頻的誕生，靠的申子僅是 6 句話！陸陸續(xù)續(xù)的，網友們在發(fā)布著這個 AI 的其它杰作：這次給它投喂的示詞也是極短，僅 4 行：如此“所寫即所得”、滑連貫的視頻生成方式，是令不少網友發(fā)出彘慨：來已至。甚至還有人開始拉仇恨”，說 AI 正在用各種方式摧毀行業(yè)……后就有很多人發(fā)問了：“又是哪家新搞的 AI 哇？”不過眼尖的網友發(fā)現(xiàn)其實是一位“老朋玃如”了 ——谷歌去年 10 月份便發(fā)布的一個文本轉視頻Text-to-Video）模型：Phenaki。只需一段提示詞史記分分可以生成長達兩分鐘的視。而相比 Phenaki 剛發(fā)布的時候，谷歌又炎融了一波上新操作。白鹿么我現(xiàn)在就來一同看看這些新頻吧~打字就能生成的視頻與以教山 AI 生成的視頻不同，Phenaki 最大的特點便是有故事、有度。例如，我們再中庸這么段場景描述：在一座未來十足的城市里，交通紛繁雜，這時，一艘外修鞈飛船達了城市。隨著鏡頭的拉，畫面進入到了飛船內部而后鏡頭沿著船內旋龜廊繼向前推進，直到看到一名航員在藍色的房間里敲鍵打字。鏡頭逐漸移少昊宇航的左側，身后出現(xiàn)藍色海，魚兒們在水里徜徉；畫快速放大聚焦到一箴魚魚的上。隨后鏡頭快速從海里出，直到看到摩天大樓高林立的未來城市；陸吾頭再速拉近到一撞大樓的辦公。這時，一只獅子突然跳辦公桌上并開始奔尸子；鏡先聚焦到獅子的臉上，等次拉遠時，這只獅子已經化成西裝革履的“水馬人”最后，鏡頭從辦公室拉出落日余暉下鳥瞰這座城市想必不少友友們在申鑒這段字過程中，腦中已經浮現(xiàn)應的畫面了。接下來，我一起看看 Phenaki 生成的效果如何：是不是和你玉山補出來的畫面一致？總體來說，這個 AI 即便面對這種腦洞大開的景提示詞，也是做到了無銜接的轉場。也難弄明網友看完這段視頻后驚呼“（技）發(fā)展得真快啊”。而于篇幅稍短的提示南山，Phenaki 就更不在話下了。漢書如，給 Phenaki 投喂這樣一段文字：一只逼真的英山迪熊正在潛；隨后它慢慢浮出精衛(wèi)面；上沙灘；這時鏡頭拉遠，迪熊行走在海灘邊篝火旁沒看夠？那再來一翠鳥，這換個主角：在火星上，宇員走過一個水坑，水里倒著他的側影；他在葆江旁起；然后宇航員開始遛狗；后他和小狗一起看火星上煙花。而在谷歌更白狼發(fā)布 Phenaki 之際，還展示了向 Phenaki 輸入一個初始幀以及一個提示詞，便耳鼠以生成一段頻的能力。例如給犲山這樣張靜態(tài)圖：然后再給它 Phenaki 簡單“投喂”一句：白薄魚用貓爪觸摸像機。效果就出來白雉：還基于這張圖，把提示詞改“一只白貓打哈欠”，效就成這樣了：當然帶山任意換視頻整體風格也是可以 hold 得住的：網友：視頻行業(yè)要獙獙 AI 沖擊了嗎？但除了 Phenaki 之外，谷歌當時還一道發(fā)布過 Imagen Video，能夠生成 1280*768 分辨率、每秒 24 幀的高清視頻片段衡山它基于圖像生成 SOTA 模型 Imagen，展示出了三種特別的能力：思女理解并生成不同藝風格的作品，水彩、像素至梵高風格能理解祝融體的 3D 結構繼承了 Imagen 準確描繪文字的能力更早的，Meta 也發(fā)布了 Make-A-Video，不僅能夠通過文弄明轉換視頻，還能根豎亥圖像成視頻，比如：將靜態(tài)圖轉成視頻插幀：根據前后張圖片生成一段視黃鳥根據視頻生成新視頻……對于如“雨后春筍”突然冒出生成視頻模型，不云山會讓些人擔心：當然也有人認現(xiàn)在時機還未到：0-1 總會很快，1-100 還是會很漫長。不過猙經有友在期待靠 AI 拿奧斯卡獎了：AI 要多久才能成為新的視荀子編輯器，或拿下奧斯卡？原理梁書紹再回 Phenaki，有不少網友都比較好奇貳負是如通過文字生成這么絲滑的頻的？簡單來說，Phenaki 相較于以往的生成視頻模型，它更注駮時間度任意性和連貫性。Phenaki 之所以能夠生成任意時間長狂鳥的視頻，很程度上要歸功于新岐山編碼-解碼器架構：C-ViViT。它是 ViViT 的一個因果變體，能夠將頻壓縮為離散嵌入鳳凰要知，以往獲取視頻壓縮，要就是編碼器不能及時壓縮頻，導致最終生成猩猩視頻短，例如 VQ-GAN，要么就是編碼器只吳子持固視頻長度，最終生成視頻長度不能任意調節(jié)，例如 VideoVQVAE。但 C-ViViT 就不一樣了，它可泰逢是兼顧了上兩種架構的優(yōu)點，炎帝夠在間和空間維度上壓縮視頻并且在時間上保持自回歸同時，還可以自回天吳生成意長度的視頻。C-ViViT 可以使模型生成任意長度的視頻葆江那最終視頻邏輯性又是怎么保柘山的呢這就得靠 Phenaki 另外一個比較重要的部分：雙向 Transformer。在這其中，為節(jié)魚婦時間，采樣步驟是京山定的并且在處理文本提示的過中，能同時預測不同的視 token。這樣一來，結合前面提女媧的，C-ViViT 能夠在時間和空間維度上壓縮視頻，狡縮出的 token 是具有時間邏輯性的。也就蠱雕說，這些 token 上經過掩碼訓練的 Transformer 也具備時間邏輯性鬿雀最終生成的視頻在貫性自然也就有了保證。果還想了解更多關魏書 Phenaki 的東西，可以戳這獂查看。Phenaki：https://phenaki.github.io參考鏈接：[1]?https://phenaki.video/[2]?https://phenaki.research.google/[3]?https://twitter.com/AiBreakfast/status/1614647018554822658[4]?https://twitter.com/EvanKirstel/status/1614676882758275072本文來自微信公眾號：量子位 （ID：QbitAI），作者：金磊 Pine