7 月 13 日消息，科技媒體 The Verge 昨日報道，谷歌旗下的 DeepMind 團隊正在使用 Gemini 訓練其機器人，讓其能夠完成更復雜的任務，且能在復雜的環境下自由穿梭。

DeepMind 團隊已經發表了最新的研究論文，利用 Gemini 1.5 Pro 的上下文窗口（達到 200 萬個詞元），讓用戶可以更輕松地使用自然語言指令與 RT-2 機器人互動。

IT之家注：上下文窗口（context window）是指語言模型在進行預測或生成文本時，所考慮的前一個詞元（token）或文本片段的大小范圍。

其工作原理是拍攝指定區域（如家庭或辦公空間）的視頻導覽，研究人員使用 Gemini 1.5 Pro 讓機器人“觀看”視頻以了解環境；然后，機器人可以根據觀察到的情況，通過語言和 / 或圖像輸出來執行命令。

例如用戶向機器人展示一部手機，并詢問“在哪里可以充電？”，機器人會引導用戶找到室內的電源插座。

DeepMind 稱，在一個 9000 平方英尺（IT之家備注：約 836.13 平方米）的操作區內，機器人在升級 Gemini 之后，測試發出 50 多條用戶指令，成功率高達 90%。

研究人員還發現 "初步證據" 表明，Gemini 1.5 Pro 能讓機器人計劃如何完成導航以外的指令。

例如，當一位桌上擺放著許多可樂罐的用戶詢問機器人是否有他們最喜歡的飲料時，Gemini “知道機器人應該導航到冰箱，檢查是否有可樂，然后返回用戶處報告結果”。DeepMind 表示計劃進一步研究這些結果。