
米哈遊(miHoYo)旗下《崩壞》系列 AI 研發團隊(miHoYo Honkai AI R&D Team)與數間大學院校研究人員共同發表技術論文,公開一套能模擬真人操作遊玩 3D 與 2D 遊戲的通用視覺語言動作基礎模型「Gamer」,並展示在《崩壞:星穹鐵道》中執行主線任務與解謎的實機畫面。

據研究團隊在論文與專案頁面公開技術架構,Gamer 不透過依賴遊戲內部數據或專用 API,是以每秒 5 Hz擷取的螢幕畫面作為輸入,再輸出等效 30 Hz 的原生鍵盤按鍵狀態與滑鼠移動指令。


為了應對長時間任務中的記憶體限制與推理延遲,團隊逾 1 萬小時跨遊戲鍵鼠操作軌跡進行繼續預訓練、稀疏思考指令微調與時序感知強化學習,更為此開發「Streaming-vLLM」推理引擎,在 NVIDIA H200 硬體環境下將端到端請求延遲從 1,306 毫秒壓縮至 65.12 毫秒。


在《崩壞:星穹鐵道》的實機演示中,Gamer 可在雅利洛、仙舟「羅浮」與匹諾康尼等場景推進主線劇情的能力,包含跟隨 NPC 移動、探索礦區與首領戰。

更能獨立通關「枘鑿六合」、「引航羅盤」、「築夢拼圖」等七種這些區域內的小遊戲。專案頁面數據顯示,經強化學習訓練後的 Gamer-RL 在 40 項未見過的小遊戲測試任務中,取得 49.7% 的平均成功率,高於未經微調的通用模型。


針對外界關注該技術是否會助長遊戲外掛與自動化腳本,研究團隊強調,Gamer 屬於探索互動環境通用代理的學術研究專案,潛在應用方向為遊戲測試無障礙輔助與人機互動研究,明確表示「不背書將 Gamer 用於作弊、未經授權存取、利用安全漏洞,任何損害使用者與破壞公平的行為」。


基於資料安全考量,米哈遊研究團隊僅開放原先基礎預訓練研究階段的通用檔案,未公開任何《崩壞:星穹鐵道》相關訓練資料使用,且未釋出任何經過該作資料訓練或微調的權重。目前專案網頁上有許多示範影片可供研究者參考,有興趣的玩家也可以看該聯合研究團隊的成果展示。

《崩壞:星穹鐵道》Gamer 操作成果示範專頁:https://mihoyo-gamer.github.io/