多模態推理被視為通向通用人工智能（AGI）的關鍵能力之一，讓 AI 能夠像人類一樣綜合感知、理解與決策。其中，視覺-語言模型（VLM）是實現多模態推理的核心基礎。

今年 7 月，智譜發布并開源了全球 10B 級效果最強的 VLM——GLM-4.1V-9B-Thinking。該模型以小搏大，展現了小體積模型的極限性能潛力，上線后迅速登上 Hugging Face Trending 榜首，并累計獲得超過 13 萬次下載。

昨天，智譜又發布了他們在通向 AGI 道路上的又一探索性成果——全球 100B 級效果最佳的開源視覺推理模型GLM-4.5V（總參數 106B，激活參數 12B）。

保持一貫的風格，GLM-4.5V 發布當天即同步在魔搭社區與 Hugging Face 開源。

開源列表：

GitHub：https://github.com/zai-org/GLM-VHugging Face：https://huggingface.co/collections/zai-org/glm-45v-68999032ddf8ecf7dcdbc102魔搭社區：https://modelscope.cn/collections/GLM-45V-8b471c8f97154e

在線體驗：

前往z.ai，選擇 GLM-4.5V 模型，上傳圖片或視頻，即刻體驗；或前往智譜清言APP/網頁版，上傳圖片，開啟“推理模式”進行體驗。

此外，在保持高精度的同時，GLM-4.5V 兼顧推理速度與部署成本，為企業與開發者提供高性價比的多模態 AI 解決方案，現已上線智譜開放平臺BigModel.cn。

API 調用價格：低至輸入 2 元/M tokens，輸出 6 元/M tokens響應速度：達到 60-80 tokens/sAPI 接口文檔：http://docs.bigmodel.cn/api-reference

開源多模態 SOTA

據介紹，GLM-4.5V 基于智譜新一代旗艦文本基座模型 GLM-4.5-Air，延續 GLM-4.1V-Thinking 技術路線，在41個公開視覺多模態榜單中綜合效果達到同級別開源模型 SOTA 性能，涵蓋圖像、視頻、文檔理解以及 GUI Agent 等常見任務。

在多模態榜單之外，智譜更重視模型在真實場景下的表現與可用性。GLM-4.5V 通過高效混合訓練，具備覆蓋不同種視覺內容的處理能力，實現全場景視覺推理，包括：

圖像推理（場景理解、復雜多圖分析、位置識別）

視頻理解（長視頻分鏡分析、事件識別）

GUI 任務（ 屏幕讀取、圖標識別 、桌面操作輔助）

復雜圖表與長文檔解析（研報分析、信息提?。?/p>

Grounding 能力（精準定位視覺元素）

同時，模型新增“思考模式”開關，用戶可靈活選擇快速響應或深度推理，平衡效率與效果。

為幫助開發者直觀體驗 GLM-4.5V 的模型能力，打造專屬于自己的多模態應用，智譜同步開源了一款桌面助手應用。

開源鏈接：https://huggingface.co/spaces/zai-org/GLM-4.5V-Demo-App

該桌面應用可實時截屏、錄屏獲取屏幕信息，并依托 GLM-4.5V 處理多種視覺推理任務，日常處理如代碼輔助、視頻內容分析、游戲解答、文檔解讀等多類視覺任務，成為一個能看著屏幕和你一起工作娛樂的伙伴。

典型示例 1.視覺定位：精準識別和定位目標物體，應用潛力強大

GLM-4.5V 能夠根據用戶提問，精準識別、分析、定位目標物體并輸出其坐標框。該能力在現實世界擁有廣闊的應用場景，例如安全與質量檢查、高空遙感監測分析。相較于傳統的基于視覺模型的物體識別，GLM-4.5V 憑借更豐富的世界知識與更強大的語義理解能力，能夠通過推理理解更復雜的定位指令。

2.前端復刻：輸入網頁截圖或交互視頻，即可復刻網頁

GLM-4.5V具備強大的推理與代碼生成能力，能夠對上傳的網頁截圖進行分析，并將其轉化為結構化的網頁代碼。與簡單的圖像元素識別不同，GLM-4.5V能夠深入理解并推斷元素間的邏輯關系、布局規則和交互意圖，從而生成高度準確且功能完整的網頁代碼。

值得注意的是，GLM-4.5V在未對視頻輸入進行專門訓練的情況下，也能結合視頻理解與代碼生成能力，通過其強大的泛化能力對網頁交互視頻進行分析，輸出相應的網頁代碼，成功復刻視頻中展示的網頁內容。

在以下示例中，GLM-4.5V能夠通過分析用戶瀏覽知乎的視頻，精準識別網頁中所有元素的內容、樣式與布局，并還原其背后的HTML、CSS和Javascript代碼，確保運行效果與原始視頻高度一致。同時，模型會分析視頻幀間的動態變化，建模并實現網頁交互邏輯，最終復刻出真正可交互的前端頁面。此外，用戶可通過圈選標記方式向模型提出修改需求，模型據此進一步優化頁面，實現真正的視覺交互閉環。

3.圖像識別與推理：視覺神探，精準識別圖像細節并推理背景信息

GLM-4.5V具備強大的感知與推理能力。一個典型應用是：在不依賴搜索工具的情況下，模型能通過圖像中的細微線索推理出背景信息。例如，上傳任意風景或街拍圖片后，GLM-4.5V可分析植被特征、氣候痕跡、建筑風格等要素，精準推測圖片拍攝地點及大致經緯度。

為驗證GLM-4.5V的地點識別能力，智譜讓其參與"圖尋游戲"全球積分賽，與國內兩萬余名頂尖人類玩家同臺競技。該游戲要求玩家在限定時間內，根據風景街景圖片推測拍攝地的經緯度，比拼速度與精度。

- 參賽16小時：GLM-4.5V擊敗99%的人類玩家

- 參賽7天：模型攀升至全球第66名

這一結果充分證明了GLM-4.5V在復雜視覺推理任務中的卓越表現。

4.復雜文檔深度解讀: 不止擅長信息提取、總結和翻譯，也能表達自己的見解

GLM-4.5V可以閱讀長達數十頁、含有大量圖表的復雜長文本，能夠對文本進行總結、翻譯、圖表提取等操作；此外，還能在給定信息的基礎上輸出自己的"觀點"。與傳統的OCR信息提取+文本模型解讀的方式不同，GLM-4.5V會像人類一樣，以視覺方式讀取文檔中的每一頁圖片，避免了信息提取過程中的錯誤傳遞，實現了文字與圖像的同時理解，因此對于圖表、表格等視覺化、結構化信息的保留和解讀會更加準確。

例如，給GLM-4.5V上傳一份圖文并茂的技術報告，讓它翻譯并解讀其中的技術亮點。

5.強大的 GUI Agent 能力，為 Agent 任務打基礎

基于強大的視覺推理能力，GLM-4.5V 能夠識別和處理電子屏幕畫面， 在 GUI 環境中進行對話問答、圖標定位等任務。同時，他們將 GUI Agent 的能力融合到基座模型，模型能夠結合當前 GUI 界面與用戶指令輸出相應操作，配合相應的 Agent 軟件能夠 完成復雜的 GUI Agent 任務，為廣大 Agent 項目提供可靠的 基座 模型支持。

例如，給 GLM-4.5V 傳入一張陳列了數十個商品的電商頁面，讓它識別商品圖中的折扣價格與標題中的原價，并且計算出折扣比例。

技術細節

GLM-4.5V 由視覺編碼器、MLP 適配器和語言解碼器三部分組成，支持 64K 多模態長上下文，支持圖像與視頻輸入，并通過三維卷積提升視頻處理效率。模型采用雙三次插值機制，有效增強了模型對高分辨率及極端寬高比圖像的處理能力與穩健性；同時，引入三維旋轉位置編碼（3D-RoPE），顯著強化了模型對多模態信息的三維空間關系的感知與推理能力。

GLM-4.5V 采用三階段策略：預訓練、監督微調（SFT）和強化學習（RL）。其中，在預訓練階段，他們結合大規模圖文交錯多模態語料和長上下文內容，強化了模型對復雜圖文及視頻的處理能力；在 SFT 階段，他們引入了顯式“思維鏈”格式訓練樣本，增強了 GLM-4.5V 的因果推理與多模態理解能力；最后，RL 階段，他們引入全領域多模態課程強化學習，通過構建多領域獎勵系統（Reward System），結合可驗證獎勵強化學習（RLVR）與基于人類反饋的強化學習（RLHF），GLM-4.5V 在 STEM 問題、多模態定位、Agent 任務等方面獲得全面優化。