近現代史研究者經常遇到這樣一種困境:一方面,可獲得的史料達到了規模空前的程度;另一方面,研究者卻被這些龐雜的信息“淹沒”,難以高效篩選和利用。以《美國對外關系文件集》(Foreign Relations of the United States,簡稱FRUS)為例,它是美國國務院自1861年以來陸續公開出版的重要外交檔案匯編,涵蓋美國對外政策及決策過程的方方面面。由于其內容權威且資料豐富,FRUS早已成為美國對外關系史、冷戰史,甚至中國近現代史學者的重要資料來源。然而,使用這套檔案的研究者也會遇到上述困境:材料信息量大,結構復雜,研究者往往需要耗費巨大精力才能從中獲取有效信息。
幸運的是,伴隨信息技術進步,FRUS在過去三十多年里完成了相當程度的數字化轉型,從影印電子書到數據庫再到結構化文件,走出了一條數字化發展的前沿之路。但與此同時,數字化又只是一個起點,如何進一步讓這些數字檔案更加智能、服務于研究者的深度分析,依然是擺在數字史學工作者面前的重要課題。
人工智能,特別是生成式大語言模型的出現,給歷史研究提供了全新的視野與工具。借助這些技術,我們或許能突破傳統檢索技術的桎梏,把歷史學家從繁瑣的檢索勞動中解放出來,讓他們更專注于解釋歷史本身。
一部檔案集的數字化旅程:FRUS的再生
《美國對外關系文件集》(FRUS)誕生于1861年,最初由美國國務院編纂并出版,旨在向公眾展示美國外交政策的形成、演變與執行的過程。由于其系統、權威、公開的特性,FRUS逐步成為歷史研究的重要基礎文獻之一。它不僅收錄了正式的政府文件,也包括諸多關鍵人物的私人檔案,構成一個觀察美國對外戰略走向的窗口。
不過,FRUS的規模極為龐大,至今已出版五百余卷,每卷動輒數百乃至上千頁,且時間跨度長、主題繁多。20世紀90年代以前,它幾乎完全以紙質和微縮膠卷形式傳播。對于任何研究者來說,要想檢索并定位一條具體的檔案,都意味著需要在浩如煙海的目錄和文本中投入大量體力和時間。
進入20世紀90年代后,信息技術開始改變FRUS的利用方式。1993年,美國國務院與伊利諾伊大學芝加哥分校合作,首次將FRUS的部分卷目發布為電子版,并配合DOSFAN(Department of State Foreign Affairs Network)系統在網絡上公開,這一舉措拉開了FRUS數字化的序幕。此后,國務院歷史學家辦公室在其官方網站陸續發布新的FRUS電子卷目,第三方高校圖書館、科研機構也積極參與,將舊有紙本通過掃描和文字識別等方式轉化成可供下載的電子書,極大地提高了研究者獲取資料的便利性。
從2010年前后起,FRUS進入了新的“深度數字化”階段。不同于制作PDF影印版,這一階段的工作重點是將檔案文獻編碼為結構化的XML文件,并依據通用的文本編碼規范(如TEI-P5標準)進行多層次信息標注,標注內容包括文件發件人、收件人、組織機構、生成時間、涉事地點等要素。這些結構化信息不僅方便計算機解析,也為后續開發更智能的檢索工具和分析工具奠定了基礎。
在美國政府數字化戰略和開放數據政策的推動下,經過結構化標注的FRUS元數據以及API接口也逐步向公眾開放。研究者可通過程序腳本,直接獲取電子書目錄、文件元數據,甚至對文本執行跨卷目檢索。2016年以后,美國國務院還在GitHub平臺公開了上述XML文件,進一步便利了二次開發和數據再利用。對歷史研究者而言,這一系列變革意味著,過去需要反復翻閱紙質目錄、手動摘錄信息的低效流程,正在被基于機器可讀、可搜索、可組合利用的“數字化檔案”的新研究所取代。
當然,數字化并不等于徹底解決了問題。盡管FRUS的數字化程度走在前列,但目前的數字工具和數據庫依然難以完全匹配研究者的深度需求,特別是面對復雜歷史問題時,傳統的關鍵詞匹配檢索和有限的目錄導航仍然令學者捉襟見肘。正因為還存在這樣的缺陷,人們把目光投向人工智能,寄希望于其在史料解讀、信息提取、語義分析等方面帶來新的突破。
數字視閾中的困境:FRUS的再利用難題
盡管FRUS的數字化成果令人矚目,極大改善了研究者獲取檔案的效率,但從數字史學的角度來看,這種“數字化”依然帶有顯著的局限性。最直觀的問題,是檢索工具與研究需求之間的落差。FRUS數據庫的檢索系統依舊沿襲關鍵詞匹配的基本邏輯。研究者必須預先知道某些關鍵詞,才能從數據庫中篩選出相應的檔案。然而在真實的研究場景中,關鍵詞往往是模糊、變化多樣甚至是不確定的。一個外交事件可能被稱為“訪問”,也可能叫“談判”,甚至在檔案中以代號出現。此時,關鍵詞匹配就可能失效。這些情況都需要歷史學者花大量時間對史料逐一閱讀、人工篩選。就算FRUS后來開發出更復雜的檢索邏輯,諸如模糊搜索、邏輯運算符組合搜索等,依然無法擺脫對關鍵詞的高度依賴。
另一個問題在于,新的結構化文件中命名實體標注的一致性與完整性不足。盡管FRUS的XML文件提供了結構化編碼,但標注工作橫跨若干年,由人數眾多的團隊完成,難以保證不同卷目中的標準完全統一。例如,同一個人物在不同卷目中會以不同的標簽標注,時間和地點的標注粒度也可能相差很大。研究者想要基于這些標簽做進一步數據分析,就不得不面對“同名異碼”“標簽不齊”等麻煩。與理想中那種標準統一、卷目貫通、結構化顆粒度細致的數字檔案相比,現實往往更為復雜。
此外,即便是已經實現數字化的檔案,依然保持了紙質時代的編目邏輯。FRUS基本按照總統任期和地緣劃分卷目,這種結構并不符合研究者基于事件脈絡開展跨時期、跨區域研究的思路。舉例來說,關于中美建交的檔案,橫跨了從尼克松到卡特的多個總統任期,且散見于“中國”卷、“蘇聯”卷和“聯合國”卷等卷目中。研究者要全面掌握相關檔案,就不得不在多個卷目之間來回跳轉,費時費力。
還有一個不可忽視的瓶頸,就是這些編碼文件對歷史學者來說,使用門檻依舊偏高。研究者雖然可以通過一些技術手段下載XML文件(需要先連接到GitHub網站),但面對復雜的結構標簽和龐大的數據體量,往往無從下手。編碼文件里密密麻麻的語法符號,更多是為機器友好而設計,而非為人類直接閱讀而生。對缺乏信息管理背景或編程經驗的史學研究者而言,如何把這些“原材料”真正轉化為可操作的研究工具,依舊是一道難題。
總的來看,FRUS的數字化奠定了未來進一步深度利用的基礎,卻并未解決研究者最核心的痛點,即如何在大規模數字化檔案中,快速且準確地發現與研究主題最貼近的信息。這也就為人工智能的介入,留出了一個極具潛力的空間。
讓檔案開口說話:人工智能的破局之道
進入21世紀第三個十年,人工智能,尤其是生成式大語言模型,正在迅速改變學術研究的樣貌。以DeepSeek、通義千問等為代表的模型,具備強大的自然語言理解和文本生成能力,能夠跨越語言障礙,在大規模語料庫中完成復雜的分析任務。對于像FRUS這樣內容極為豐富、結構繁雜的檔案集而言,人工智能的引入無疑會帶來具有突破性的機遇。
首先,大語言模型為檔案的自動標注帶來了希望。傳統人工標注往往勞動力密集且主觀性強,研究者需要在浩繁的文件中識別人名、地名、機構、時間、事件等關系并逐一打上標簽(或利用軟件進行半自動操作)。而大語言模型則可以在定義清晰的提示詞或規則的指導下,自動完成命名實體識別,大幅度提升標注效率并保證相對一致性。
其次,人工智能具備語義理解和事件抽取的潛力,能夠在文獻中發現傳統關鍵詞檢索遺漏的關聯。舉例來說,若學者想研究1972年尼克松訪華前中美秘密溝通的細節,AI模型可通過對上下文的分析,捕捉到“秘密訪問”或“先遣團安排”等并未明確標注為“尼克松訪華”的文件,將其納入研究范圍。相比于傳統檢索只停留在表面詞匯匹配,AI有機會識別檔案背后的隱藏內容。
再進一步,結合知識圖譜技術,AI可以幫助研究者把原本散落在各卷目、各文件中的信息點串聯起來,形成人物關系網絡、事件脈絡圖,甚至動態展示不同國家、機構在同一時間段的互動格局。蘇黎世聯邦理工學院和哥倫比亞大學合作團隊開展的KG-FRUS項目,就嘗試利用FRUS的XML源文件,建立跨時間、跨主題、跨人物的知識圖譜,實現更復雜的問題解答功能。例如,當研究者提出“1972年訪華過程中,誰對尼克松的決策影響最大”這樣的問題時,AI知識圖譜可以迅速匯總相關備忘錄、電報和會議記錄,從中提取出相關人物的出現頻率、聯系強度,幫助學者構建出權力網絡的可視化圖譜。
除此之外,人工智能還可結合檢索增強生成(RAG)技術,為跨文檔、跨主題的深度分析提供支持。這一技術允許大模型在回答用戶問題時,先在龐大的檔案數據庫中快速檢索最匹配的上下文,再生成答案,從而顯著提高準確率。
目前FRUS檔案的AI應用仍在試驗階段。多所研究機構基于FRUS開發的主題歸類、相似文檔檢索等功能,都處在持續打磨和優化的過程中。但這些嘗試充分展示了人工智能給歷史研究帶來的全新可能:不僅節省人力,更能在巨量史料中發現以往不易察覺的聯系和意義。
但需要強調的是,這并不意味著AI會取代歷史學者。相反,它為學者節省了重復性勞動、降低了信息篩選的門檻,讓他們有更多精力去解讀歷史的復雜性。這正是人文研究不可替代的部分,也是值得期待的數字史學發展方向。
當算法遇見人文:數字史學的挑戰
雖然人工智能為檔案研究帶來了令人振奮的新機遇,但同時也不可回避地伴隨著一系列挑戰和潛在風險。首先是數據和檔案的可靠性問題。歷史檔案本身并非中立客觀的純粹記錄,它往往在生成、編纂和歸檔的過程中就已經帶有政治、文化乃至意識形態濾鏡。人工智能依賴的訓練數據,也不可能完全擺脫上述偏向。如果研究者在使用AI匹配所需檔案時缺乏足夠的敏感,就可能在無意間放大或固化這些偏見,導致解釋失真,甚至誤導后續研究。
其次是人工智能算法的透明度和可解釋性。生成式大語言模型雖然能輸出看似合理的結果,但其內部的推理機制往往不透明,屬于“黑箱”模式。研究者如果僅僅依賴AI的結論,而忽略對結果的檢驗和溯源,就可能遺失歷史研究應有的批判性思維。比如,一個模型自動給出的“人物關系網絡”,表面上看十分清晰,但其中是基于哪些檔案、哪些表述、哪些上下文做出的判斷?這些問題如果無法解釋,那么它仍然無法取代人類歷史學家的深度解讀。
第三是技術公平性與可及性。像FRUS這樣的數字化檔案雖然對公眾開放,但能真正高效利用它們的AI工具,往往需要強大的算力或高昂的軟件使用費。這很可能加劇研究資源的分配不平等:少數擁有雄厚資金和技術條件的機構可以率先應用AI深度開發,普通研究者和小型學術團體則難以獲得同等的支持,反而被進一步邊緣化。
最后,也需要警惕過度依賴技術帶來的風險。歷史研究的價值,不僅僅在于信息的檢索、匯總和分類,更在于構建歷史解釋。研究者通過細致的閱讀、對語境的敏感體會,以及跨領域知識的融會,才能發現歷史中被忽略的聲音或還原歷史的復雜性。如果把這些工作完全交給機器,有可能會扭曲對史料的認識,也可能淡化人文學科的思考價值,難以觸發讀者的共鳴。因此,如何在享受人工智能帶來的便利的同時,依然堅持歷史學應有的批判性、創造性和人文關懷,是未來數字史學必須回答的問題。





京公網安備 11011402013531號