9月8日消息，在去年底的re:Invent 2024大會上，亞馬遜云科技生成式AI核心服務(wù)Amazon Bedrock新增了一項AI防護能力，以預(yù)覽版形式推出全新Amazon Bedrock Guardrails策略——自動推理檢查（Automated Reasoning checks）。

該自動化推理檢查功能是強有力的生成式AI保護措施，有助于防止因模型幻覺而導(dǎo)致的事實性錯誤。

現(xiàn)在，此項自動推理檢查已正式上線。這也意味著大模型生成的內(nèi)容邁向“可驗證”狀態(tài)。

生成式AI迎來企業(yè)級可信應(yīng)用的關(guān)鍵拐點

事實上，雖然大模型的能力在不斷快速進步，但即使是能力最強的模型也會產(chǎn)生幻覺，提供不正確或誤導(dǎo)性的響應(yīng)。幻覺仍然是整個行業(yè)面臨的一個根本挑戰(zhàn)，這限制了企業(yè)對生成式AI的信任。

現(xiàn)在，正式可用的亞馬遜云科技Amazon Bedrock Guardrails自動推理檢查（Automated Reasoning checks）功能可幫助客戶依據(jù)其領(lǐng)域知識，來驗證基礎(chǔ)模型（FM）所生成內(nèi)容的準確性，從而有助于避免因“幻覺”引發(fā)的事實性錯誤。

此次正式推出的自動推理檢查功能還新增以下特性：

可處理大型文檔：支持在單次構(gòu)建中處理大型文檔，最多可達 80K token—— 這意味著可輕松處理海量文檔資料，相當于多達100頁的內(nèi)容。

簡化策略驗證流程：可保存驗證測試并反復(fù)運行，便于隨時間推移對策略進行維護和驗證；

自動場景生成：根據(jù)您的定義自動創(chuàng)建測試場景，既能節(jié)省時間和精力，又有助于實現(xiàn)更全面的場景覆蓋。

增強的策略反饋：能夠以自然語言的形式為策略變更提供建議，從而簡化策略優(yōu)化流程。

可定制的驗證設(shè)置：可根據(jù)您的具體需求調(diào)整置信度分數(shù)閾值，讓您對驗證嚴格程度擁有更多控制權(quán)。

需要強調(diào)的是，自動推理檢查功能通過基于數(shù)學原理和邏輯算法的驗證與推理機制來確保準確性，提供明確的規(guī)則和參數(shù)，用于檢查AI響應(yīng)的準確性。這種方法與概率推理方法有著本質(zhì)區(qū)別，后者通過為結(jié)果分配概率來處理不確定性。

自動推理檢查功能相當于為AI加了一道“數(shù)學保險鎖”，讓企業(yè)首次可以直接把這種數(shù)學嚴謹性嵌入到AI應(yīng)用的防護中，讓AI從“概率結(jié)果”走向“定理保障”，這無疑將是生成式AI走向企業(yè)級可信應(yīng)用的關(guān)鍵拐點。

官方給出的數(shù)據(jù)顯示，自動推理檢查功能的驗證準確率高達99%，在檢測AI“幻覺”方面能提供可驗證的可靠性保障，同時當模型輸出存在多種解釋時，該功能還能輔助檢測歧義情況。

亞馬遜云科技在官方博客中以房貸審批為例，演示了Amazon Bedrock Guardrails自動推理檢查功能的實際應(yīng)用。

在示例中，用戶只需上傳房貸審批規(guī)則文檔，系統(tǒng)即可將其轉(zhuǎn)化為邏輯定義，并自動生成測試場景。隨后，用戶可以補充手動測試，為每個用例設(shè)定預(yù)期結(jié)果，并運行驗證。當輸出與規(guī)則不一致時，系統(tǒng)能準確定位矛盾點，幫助用戶調(diào)整策略。完成驗證后，這些策略可直接應(yīng)用到Guardrails中，用于約束AI助手的回答。

這一示例表明，自動推理檢查功能能夠把日常業(yè)務(wù)規(guī)則轉(zhuǎn)化為可驗證的邏輯，并通過自動化測試和持續(xù)驗證機制，讓AI的輸出始終符合合規(guī)和業(yè)務(wù)要求。

十年磨劍 首次面向客戶推出

事實上，此次正式可用的自動化推理檢查功能，是一項在亞馬遜云科技內(nèi)部已經(jīng)大規(guī)模使用、打磨了十多年的能力。

十多年來，亞馬遜云科技在Amazon S3、Amazon IAM、加密引擎等核心云服務(wù)中，率先應(yīng)用自動推理（Automated Reasoning）技術(shù)，用數(shù)學和邏輯的方法論驗證系統(tǒng)的正確性。這些經(jīng)驗長期“藏在幕后”，成為支撐復(fù)雜大規(guī)模云服務(wù)實現(xiàn)安全和可靠的重要力量之一。

例如，亞馬遜云科技的明星產(chǎn)品Amazon S3的工程師每天都在使用自動推理來防止bug。Amazon S3擁有超過300個微服務(wù)，這些異常情況的潛在組合的數(shù)量是巨大的。這種復(fù)雜性促使亞馬遜云科技的工程師們探索如何使用自動推理來探索可能隱藏在這些狀態(tài)中的可能狀態(tài)和錯誤。

通過構(gòu)建系統(tǒng)的正式規(guī)范，能夠找到bug并證明未來不存在此類bug。使用自動推理也讓Amazon S3團隊每一兩個月就能發(fā)布一次更新和改進，而不是一年只發(fā)布三或四次。

這次亞馬遜云科技將自動化推理檢查功能落地在“生成式AI場景”。這一“幕后武器”正式走到前臺，作為Amazon Bedrock Guardrails中的一項功能，供客戶直接使用。

Amazon Bedrock Guardrails使客戶能夠輕松地將安全和負責任的AI檢查應(yīng)用到生成式AI應(yīng)用程序中，從而指導(dǎo)模型僅討論相關(guān)主題。這些防護措施不僅適用于Amazon Bedrock的模型，還可通過API擴展到第三方模型，并能與Strands Agents及基于Amazon Bedrock AgentCore的Agent配合使用，在多Agent協(xié)作場景中同樣發(fā)揮作用。

目前，Amazon Bedrock Guardrails自動推理檢查功能已在美國東部（俄亥俄州、北弗吉尼亞州）、美國西部（俄勒岡州）以及歐洲（法蘭克福、愛爾蘭、巴黎）區(qū)域正式可用，按處理文本量計費。（果青）