7 月 31 日消息，人們正在越來越多地使用大模型完成各種任務，不論是翻譯、總結文章還是識別金融詐騙，大模型都是“無所不包”。盡管這些模型都具有“驚人”能力，但它們偶爾也會生成錯誤答案，并對錯誤答案過于自信、對正確答案信心不足，使用戶對大模型是否值得信任表示懷疑。

據 MIT NEWS 今日報道，麻省理工學院（MIT）和 MIT-IBM Watson AI Lab 的研究人員提出了一種專為大型語言模型量身定制的校準方法。他們的方法被稱為“溫度計”，其原理是在大語言模型之上構建一個較小的輔助模型來對其進行校準。

圖源 Pexels

據悉，這種被叫作“溫度計”的方法所需的計算能力更少，但同時又能保持模型的準確性，并使其能夠在未曾遇到過的任務中做出更好的校準響應。

通過針對各種任務對大語言模型進行高效校準，“溫度計”可以幫助用戶找出模型對錯誤預測過于自信的情況，最終防止用戶在可能失敗的情況下部署該模型。

有關論文的第一作者、麻省理工學院電子工程和計算機科學研究生沈茂豪（注：音譯）表示，“我們希望向用戶提供一個明確的信號，告訴他們模型的回應是準確還是不準確，以反映模型的不確定性，讓他們知道模型是否可靠。”

借助“溫度計”，研究人員開發出了一種多功能技術，利用一種被稱為“溫度縮放”的經典校準方法，為新任務有效地校準大語言模型。在此背景下，“溫度”是一個縮放參數，用于調整模型的“信心”以與其預測準確性一致。

研究人員訓練了一個輔助模型，該模型在大型語言模型之上運行，自動預測校準新任務所需的“溫度”。“溫度計”只需要訪問大型語言模型內部的一個小部分，就能預測出特定任務數據點的正確“溫度”，以校準其預測。

該團隊希望未來使“溫度計”支持更復雜的文本生成任務，并將該技術應用于更大的大型語言模型。

參考