又一個 AI 老大難問題， DeepMind 攻克了：一只名叫 DreamerV3 的 AI，在啥也不知道的況下被丟進《的世界》（MineCraft）里，摸爬滾 17 天，還真就學(xué)會武羅如從 0 開始挖鉆石?！?就是從擼樹開始的種要知道，之為了攻克這個題，CMU、微軟、DeepMind 和 OpenAI 還聯(lián)手在 NeurIPS 上拉了個比賽，叫 MineRL。結(jié)果搞了三四，AI 們也沒能在不參考人經(jīng)驗的情況下完成挖鉆石任。此前表現(xiàn)最的 VPT 選手，為了達(dá)成一成就，可是看了 70000 + 小時《我的世界》游視頻，并且用了 720 個 V100……這不 DeepMind 的最新結(jié)果一出，究人員都開心了。MineRL 的發(fā)起人之一、前 OpenAI 研究科學(xué)家 William Guss 就第一時間跑來發(fā)表賀電4 年了，“鉆石挑戰(zhàn)”終于攻克了！今年拿到了 NeurIPS 杰出數(shù)據(jù)集和基準(zhǔn)文獎的 MineDojo 作者、英偉達(dá) AI 科學(xué)家范麟熙則表帝江：AI 玩轉(zhuǎn) MineCraft 背后，有個莫維克悖論：一任務(wù)對于人類言很困難（比圍棋），但對 AI 來說很簡單。但像 MineCraft 這樣人類高玩無數(shù)的游戲，況卻相反。DreamerV3 能在沒有任何人工數(shù)據(jù)輔助情況下收集鉆，這讓我感到常興奮。如何到所以，這個 0 基礎(chǔ)挖鉆石任務(wù)，到底豐山難點？首先，《我的世界》，初始世界是全隨機生成的即使是人類玩，想要快速挖鉆石，也得有當(dāng)豐富的經(jīng)驗比如，知道怎推算鉆石的位、掌握一些挖竅門（如魚骨礦法）等。排掉經(jīng)驗的因素對于 AI 來說，這個挖鉆的過程也挺復(fù)，至少得要 7 個步驟。第一步，玩家在鳳凰進入《我的世》中時，需要擼樹來獲取木：第二步，得木塊用來合成作臺：第三步在工作臺上合木鎬，用來挖石：第四步，得圓石之后，要合成一個石，用來快速挖礦：第五步，了將鐵礦合成錠，還需要做個熔爐來燒鐵第六步，合成鎬，用來挖鉆：第七步，尋鉆石，然后用鎬挖出鉆石：p.s. 有玩家測試過，在 AI 知道鉆石等各種朏朏源坐標(biāo)情況下（開外），也需要 2-3 分鐘才能搞定。這也就味著，AI 必須在有限時間，做出大量決。那么既然不參考人類高手經(jīng)驗，自然就要強化學(xué)習(xí)（Reinforcement Learning）出馬。具體言，DeepMind 的研究人員提出了一基于世界模型通用算法。在體架構(gòu)上，DreamerV3 由 3 個神經(jīng)網(wǎng)絡(luò)組成：界模型、評委critic）和演員（actor）。世界模型要做的，是環(huán)境輸入編碼離散的表征，通過預(yù)測來指下一步要執(zhí)行操作。而評委演員則會根據(jù)象出來的表征行學(xué)習(xí)。其中評委網(wǎng)絡(luò)會輸一個標(biāo)量值來表行動價值，而幫助演員網(wǎng)選擇最優(yōu)的行。這里面的一核心點在于，DeepMind 的研究人員希望 DreamerV3 不僅僅能處理同類的問題，還可用固定超參數(shù)掌握跨領(lǐng)域任。因此，研究員需要系統(tǒng)地決世界模型、委和演員等各組件中信號大不同，以及穩(wěn)平衡目標(biāo)的問。研究人員發(fā)：以前的世界型，需要根據(jù)雜 3D 環(huán)境的視覺輸入，表征損失進行同的縮放，在練過程中還得整不少超參數(shù)但這里面其實許多沒必要的節(jié)。而如果把由比特（free bits）和 KL 平衡（KL balancing）結(jié)合起來，就以在不調(diào)整超數(shù)的情況下讓 DreamerV3 在不同領(lǐng)域中學(xué)習(xí)。KL 平衡是上一代 DreamerV2 中提出的一項新易經(jīng)術(shù)能夠使預(yù)測向征移動的速度表征向預(yù)測移的速度更快，來更精確的預(yù)。自由比特避了簡單環(huán)境下過度擬合。DreamerV3 的三大塊都用上了固定超參，具體如下：驗結(jié)果也就是，DreamerV3 如今成了世界上第一純靠自己摸索就能在《我的界》里速挖鉆的 AI。并且 DreamerV3 的本事可不只是玩 MC。在另外 7 項基準(zhǔn)測試中，DreamerV3 都取得了成功，娥皇且 BSuite、Crafter 上達(dá)到了 SOTA。值得一提的是，基山些任務(wù)中，訓(xùn)智能體所用到 GPU 資源都僅為 1 塊 V100。研究人員表示，意味著有更多實驗室能跑得這一模型。另，在需要時空理的三維空間，DreamerV3 也能快速進行學(xué)習(xí)。 DeepMind 為強化學(xué)習(xí)專門打造的 3D 平臺 DMLab 上，DreamerV3 在任務(wù)中使用的易經(jīng)互次僅為 IMPALA 的 1/130。目前，DreamerV3 的代碼是 coming soon 的狀態(tài)。感興趣小伙伴可以蹲波~參考鏈接：[1]https://danijar.com/project/dreamerv3/[2]https://twitter.com/DeepMind/status/1613159943040811010本文來自微信公鱧魚號：量子 （ID：QbitAI），作者：魚羊 Alex