【頭部財經】智譜 AI 及清華 KEG 實驗室開放了重要的技術權重,讓學術研究完全受益,并在完成企業登記獲得授權后,允許免費商業使用。這一決定將對人工智能領域產生深遠的影響。據悉,ChatGLM-6B 和 ChatGLM2-6B 是清華 NLP 團隊于不久前發布的兩款中英雙語對話模型,它們具備了強大的問答和對話功能。
ChatGLM-6B 使用了 General Language Model(GLM)架構,擁有高達 62 億個參數。通過模型量化技術,用戶能夠在普通的消費級顯卡上進行本地部署,而僅需 6GB 顯存(在 INT4 量化級別下)。這一特點使得模型具備了廣泛的可應用性和實用性。

隨后發布的 ChatGLM2-6B 不僅繼承了初代模型的對話流暢和低門檻部署的特點,還增加了許多新的功能和性能提升。該模型采用了 GLM 的混合目標函數,并經過了 1.4T 中英標識符的預訓練與人類偏好對齊訓練。評測結果顯示,相較于初代模型,ChatGLM2-6B 在多個數據集上的性能得到了大幅度提升,如 MMLU(+23%)、Ceval(+33%)、GSM8K(+571%)、BBH(+60%)。
除了性能提升外,ChatGLM2-6B 還增加了更長的上下文長度,從 ChatGLM-6B 的 2K 擴展到了 32K。這意味著模型能夠更好地理解上下文信息,提供更準確和連貫的回答。此外,ChatGLM2-6B 在推理速度方面也實現了顯著提升,比初代模型快了 42%,同時 INT4 量化級別下,6GB 顯存支持的對話長度也從 1K 上升到了 8K。
這兩款模型的重要性得到了進一步確認,因為智譜 AI 及清華 KEG 實驗室決定將 ChatGLM-6B 和 ChatGLM2-6B 的權重對學術研究完全開放。這一舉措將有助于推動人工智能領域的研究和應用,并為開發者和研究人員提供強大的工具和資源。
綜合來看,ChatGLM-6B 和 ChatGLM2-6B 的發布以及權重的開放對人工智能領域具有重要意義。這些模型的強大功能和性能提升將推動對話系統和自然語言處理的發展,為我們的數字世界帶來更智能、更便捷的人機交互體驗。智譜 AI 及清華 KEG 實驗室的這一舉措也表明了學術界和商業界在推動人工智能創新方面的積極合作態度,為行業發展帶來了新的機遇與可能性。





京公網安備 11011402013531號