自ChatGPT引爆人工智能領域以來，迅速吸引了來自不同領域的科學家和從業者的目光，期待著這一里程碑式的技術為自己的行業帶來新的變革。

近日，上海科技大學生物醫學工程學院創始院長、聯影智能聯席CEO沈定剛教授主持舉辦了一場線上MICS學術沙龍活動，喬治亞大學計算機科學系終身教授劉天明，美國亞利桑那州梅奧診所放射腫瘤學教授和醫學物理部科研主任、AAPM Fellow劉偉，美國倫斯勒理工學院生物醫學工程系P.K. Lashmet講席副教授閆平昆，哈佛大學醫學院和麻省總醫院講師李響四位學者，共同探究ChatGPT在醫學影像領域中的諸多可能性。

在討論中，劉天明指出，ChatGPT的效果驚艷，是因為采用了In-context Learning或者叫做prompt(提示詞)等技術，同時利用具備大量參數的Transformer對轉換為向量的文本進行處理。這些技術的發展都需要長期的積累和研究。

然而，在醫學等專業性較強的領域內，ChatGPT的表現還不夠好，仍需對其進行從常識性知識到生物醫學領域知識的遷移和進一步的學習訓練，以提升其在專業領域中的表現。

劉偉表示，如果想將ChatGPT應用到醫學影像之中，多模態學習必不可少。醫學領域中目前存在很多的圖像、音頻、文本等不同種類的數據，必須利用多模態學習將其進行結合，才能應用在臨床工作中。

此外，還要考慮到特定領域數據的限制，針對醫學這種專業領域的數據，需要使用更專業的提示詞來生成問題。

李響分享了團隊的一個新進展，他們嘗試利用包含了醫學領域專業知識的知識圖譜來幫助更好地使用ChatGPT。

知識圖譜可以加在整個流程之中，不論是文本的輸入、語言的生成還是ChatGPT的效果改善等。

但是，獲得一個好的知識圖譜很困難，李響團隊正在嘗試利用ChatGPT從大量的專業語料庫中自動發掘知識圖譜，為語言模型在臨床工作中的部署提供重要的先驗知識。

閆平昆則認為，從影像分析的角度來看，ChatGPT之所以如此成功，尤其相較于現在的視覺模型而言，是因為它學習的對象——文字，具有人類表達方式的先天優勢。

當前階段應該考慮的是，如何將圖像信息更好地輸入進大模型之中。一種方法是通過圖像分析模型提取圖像中的信息，將其發送給ChatGPT。另一種方法是多模態學習，特別是視覺-語言學習。將圖像信息與語言結合在一起后，就可以直接對圖像信息進行編碼，與文字一起發送到大模型中。

沈定剛：首先來介紹一下我自己對ChatGPT的認識，OpenAI是一家小公司，只有87個年輕的員工，平均年齡為32歲，大部分員工都是90后。

在數據分析領域，年輕人是非常重要的力量，從ChatGPT團隊取得的成就也可以看出，我們要支持年輕人的發展，為他們提供成長的機會。

雖然人數不多，但ChatGPT團隊的成員都是名校畢業、曾在知名公司工作的經驗豐富的人才，如谷歌、Facebook、NVIDIA、Microsoft、DeepMind和Apple等企業。

ChatGPT的團隊構成比較均衡，包括本科生、碩士研究生和博士，各個級別的人才都很重要，這樣才能把技術做好。這個團隊雖然年輕，但經驗非常豐富，成員中也有包括頂尖的AI科學家。

這樣的成員構成使得他們能夠在AI領域取得很好的成績，也證明了人數并不是唯一的關鍵，團隊的質量更重要。

很多人疑問，為什么ChatGPT出現在美國而非其他國家?

在人工智能領域，中國發表了非常多的論文和專利，但其中的大多數都來自于高校，而美國的論文和專利大多數來自公司。

高校和公司都在做同樣的事情，但是很多創新和資源都在公司。因此，高校需要與公司進行緊密的產學研結合，協同創新，才能體現出高校獨有的特色和優點。

在科學研究和技術創新方面，美國起步很早。早在1958年，美國就開始做老化研究，通過測試了解人的身體、認知、情緒等方面的變化，1989年就開始使用磁共振技術進行研究。

在過去的幾十年中，許多重要的研究項目都采集了大量數據，這些數據被保存下來并一直在被研究。這些項目的成功與否與其前瞻性、長期性和理想主義密切相關。

一些早期采集的數據在當時無法得到很好的分析，但現在隨著人工智能和深度學習技術的發展，這些數據成為了非常有用的資源，對于了解人類的早期發育、認知、神經系統疾病等方面非常重要。

如今，人工智能已經進入AI 2.0時代，大領域模型在數據足夠多且模型足夠大的情況下可以取得飛躍性的性能提升。

在醫學和影像領域中，我們需要一個視覺模型來幫助醫生診斷病情。相對于視覺模型來說，語言模型更容易訓練，因為前后有邏輯關系，而且可以從互聯網和書本中獲取數據進行學習。

而視覺模型需要學習的是每個位置與其他位置之間的關系，非常困難。我們可以利用語言模型來幫助視覺模型的學習。

例如，視覺模型從圖像中識別出病灶位置，將其告訴語言模型，語言模型根據之前的學習經驗指導視覺模型去其他位置檢查是否存在病灶。

我們將語言模型與視覺模型結合起來，讓二者相互配合，即可提高整個系統的能力。

初期，語言模型與視覺模型的水平可能存在差異，但隨著合作的深入，二者可以聯合工作，最終達到像AlphaGo下棋一樣高效合作的目的。

下面回到我們今天的問題上。

沈定剛：ChatGPT的成功在技術上有哪些要素?這些技術對醫學影像的分析有什么樣的啟發?

劉天明：我認為ChatGPT在技術上是需要長期積累的，可能需要十年到十五年的時間。其中最重要的兩個技術是Word Embedding和Transformer。

Word Embedding是十多年前出現的技術，它將單詞轉化為一個向量，放入一個Embedding空間中，這是一個革命性的技術。而Transformer是近年來非常熱門的技術，它在語言和視覺領域都有很廣泛的應用。

我認為最近出現的ChatGPT能夠做得這么好，是因為它采用了In-context Learning或者prompt等技術，能夠將文本轉化為向量，再利用Transformer進行處理。這些技術的發展都需要長期的積累和研究。

李響：ChatGPT的成功是因為它可以同時完成多個任務，這種多任務的方式在醫學影像分析中也很重要。

ChatGPT的訓練方式相對容易，因為語言是一種順序的任務，而圖像則需要考慮多個方向上的相關性。

“ Masked autoencoders are scalable vision learners”等文章探索了圖像多任務學習的方法，但目前還沒有類似于ChatGPT的大規模，多任務圖像模型出現。未來在醫學影像和信號處理中，多任務和多模態集成的方法可能會得到更多的應用。

閆平昆：沈定剛老師、劉天明老師和李響老師從不同角度介紹了ChatGPT技術，我從圖像的角度介紹一下。

ChatGPT使用的硬件和網絡架構都很厲害，它的模型量很大，從小到大分別有125兆和1750億個參數，下一步要考慮的問題就是如何把視覺模型做得更大。

此外，ChatGPT不僅學習語言，還學習了編程語言和互聯網上的代碼，這說明對ChatGPT來說，不同的數據代表著不同的價值。

第三，提示技術和高質量數據也對模型性能的提升有很大的作用。強化學習和Human in the loop等也是重要的因素。

劉偉：我是一個臨床醫學物理師，專注于放射治療。

我認為ChatGPT在一般的醫學知識方面表現出色，但在更具體和相關性更強的領域，例如放射學，表現并不出色。

這可能是因為ChatGPT是通過強化學習進行訓練的，而且專家的介入有限。如果我們想要提高ChatGPT在這些領域的表現，我們需要進行專家介入的強化學習，這可以通過專家的反饋實現。

此外，ChatGPT的數據來源是互聯網，其中與醫學領域相關的知識相對有限，主要是為了科普性質的知識。

因此，如果我們可以收集大規模的醫學圖像、文本數據，并通過專家的介入進行訓練，我相信ChatGPT在醫學領域將有更廣泛的應用。

沈定剛：我們應該如何在醫學影像領域中應用和集成ChatGPT?

劉天明：我認為剛剛劉偉老師說的話題很好，從人類反饋到專家反饋的強化學習是在醫療影像中應用和集成最關鍵的因素。

ChatGPT利用公開的常識性知識生成語言和答案時，已經做得非常好了，但我們在和醫生、藥劑師的一次討論中發現，ChatGPT在他們的專業領域生成的語言和答案時往往并不合理。

當下人們對ChatGPT的反饋可以分為兩類：一類認為它在常識性的知識上做的非常好，另一類則認為它在專業知識領域一本正經地說瞎話。

因此，在ChatGPT的訓練中增強專家的反饋非常關鍵，必須將專家的反饋納入循環中，才能進一步提高ChatGPT的質量。

一年多前我們發表了一篇有關放射學的文本分析文章(ClinicalRadioBERT: Knowledge-Infused Few Shot Learning for Clinical Notes Named Entity Recognition)，我們將積累的幾萬篇公開數據應用在文本分析中后，得到的結果比以往的常規分析要好得多。

因此，在ChatGPT的訓練中，也需要逐步從常識性知識升級到生物醫學領域知識，再升級到放射學領域知識。

當然，放射學是一個非常大的領域，要將這一領域細分到什么程度，才能達到我們想要的效果，仍需各位專家來界定。

閆平昆：劉天明老師提到了強化學習中的人類反饋，是ChatGPT中一個非常重要的技術，我們應該將專業醫生的反饋更多地融入其中，讓ChatGPT像超人一樣從弱小到強大地成長起來。

ChatGPT在進行訓練時，使用了大量由人工標注的材料和反饋樣本，才能夠達到如今的效果。

將來我們在訓練自己的圖像模型時，也要花費更多地耐心和精力去準備數據，畢竟機器學習的特點就是“Garbage In，Garbage Out”，如果數據質量不夠好，模型的性能也上不去。

另外，劉天明老師剛剛提到prompt Engineering提示工程，也是非常重要的一個技術。

十幾年前做機器學習時，人們都在做特征提取，深度學習出現以后大家又改做Network Engineering網絡工程，而現在進入人工智能2.0時代，每個人都有自己定制的提示服務。

李響：這個發展其實很有意思，越來越多對深度學習或機器學習不夠熟悉的人，也能通過自然語言來實現這些技術。

In-Context Learning解決了pretrain大模型的問題，是一個非常有用的技術。它不僅在技術上有改變，同時也在社會經濟上對人類行為上有所改變，使得AI的受眾變得更廣泛，醫生現在也可以自己做NLP相關的AI研究了。

在沒有基于In-Context Learning的ChatGPT之前，醫生們根本不可能完成這些事情，這是一個思想意識上的巨大轉變。

在利用專業知識方面，Active Learning和Federal Active Learning在這個過程中都起到非常重要的作用，這是最核心的一個步驟，雖然只是一個小數據，但能夠撬動整個大模型，使其向更好的方向發展。

這一過程仍有很多設計上的問題需要解決，也許暫時還回答不了，但我們目前已經在進行這方面的研究。

劉偉：如果我們想將ChatGPT應用到醫學影像之中，那么多模態學習就是必不可少的。醫學領域中目前存在很多的圖像、音頻、文本等不同種類的數據，必須利用多模態學習將其進行結合，才能應用在臨床工作中。

此外，還要考慮到特定領域數據的限制，針對醫學這種專業領域的數據，需要使用更專業的提示詞來生成問題。

第三，ChatGPT目前使用的是一個很簡單的訓練獎勵模型，回答的結果僅僅由人來進行簡單的評估，我認為將來應該進一步提升這一環節的復雜度，利用多模態學習等技術，進行多維度評估。

沈定剛：簡單來說，要將ChatGPT技術應用在醫學影像或放射學等領域中，需要將相關領域的知識和信息融入到ChatGPT的模型之中，以提高其在該專業領域中的表現。具體而言，可以通過以下方式來實現：

提供大量領域相關的數據來訓練模型，包括診斷結果、醫學影像、學術論文等;

用領域專家的知識，例如醫生、科學家等，對模型進行指導和改進;

將領域特定的語言和術語嵌入到模型中，從而使其能夠更好地理解和處理該領域的內容;

將模型應用于特定領域中的具體問題，例如醫學影像診斷，并將其與人類專家的表現進行比較和評估。

總之，在特定領域中應用ChatGPT技術，需要一定的領域知識和專業指導，并將其與具體問題相結合，以發揮其最大的作用。

沈定剛：如何利用成像AI和放射學的知識來提高ChatGPT?如何進一步開發面向放射學的大語言模型?

劉天明：我先說幾個例子，它們是我們正在進行的項目的實例，我們有第一手的經驗和體會，也取得了一些結果。就我目前的觀察而言，ChatGPT在臨床放射領域的應用會非常廣泛。

第一個例子是，ChatGPT的推理能力非常廣泛，只需要將臨床放射領域的數據提供給它，就可以進行很好的推理。

在我們目前在做的一個項目中，將放射科等各個科室中的文本數據轉化為ChatGPT可接受的格式，利用ChatGPT推理對應的疾病產生的原因以及未來的發展趨勢。

第二個例子是通過ChatGPT對癌癥病人的管理，特別是放療的臨床節點進行預測，這個項目目前已經啟動了。

第三個例子是在臨床診斷中，通過提示工程將文本和數據嵌入特征空間，利用特征空間對病人進行聚類、分層或者診斷。

這些例子很快就能得到結果，可能會比以前的方法好很多。我認為，這只是ChatGPT在臨床中的一小部分應用，在未來，臨床上所有我們能想象到的技術、工具，基本都能夠通過ChatGPT來實現。

另外，多模態問題也非常重要，我們正在通過多模態的In-Context Learning將圖像特征、文本特征以及醫生的眼動數據進行相互聯系，實現一鍵生成診斷報告。

沈定剛：謝謝天明，他剛剛提到的眼動技術很重要，尤其是對于語言模型的訓練，因為眼動數據更具規律性。

相比之下，從各個方向都有聯系的圖像數據中學習規律要困難得多。

在醫生進行診斷過程中，記錄醫生的眼動即可自動記錄醫生的關注點和注意力，從而幫助實現后續的自學習技術。這樣的技術可能是一個有效的模擬治療方法。

在數字空間中，可以模擬不同治療方法，并比較不同的結果。有了這樣的技術，我們就可以在虛擬世界中進行診療。

閆平昆：從影像分析的角度來看，ChatGPT之所以如此成功，尤其相較于現在的視覺模型而言，是因為它學習的對象——文字，具有人類表達方式的先天優勢。

人類利用文字書寫大量的知識，這些文字都有特定的規則，并且要以特定的規則進行表達，因此方便了ChatGPT對文字知識的學習。

當前階段我們應該考慮的是，如何將圖像信息更好地輸入進大模型之中。

一種方法是通過圖像分析模型提取圖像中的信息，將其發送給ChatGPT。

另一種方法是我們應該聚焦的一個方向：多模態學習，特別是視覺語言學習。將圖像信息與語言結合在一起后，就可以直接對圖像信息進行編碼，與文字一起發送到大型語言模型中。

因此，目前我們應該以大型語言模型為主，它學習了大量的知識并具有邏輯推理能力。以此為中心，我們還要明確如何更好地將圖像信息傳遞到其中。

李響：劉天明老師和閆平昆老師都講了使用ChatGPT的核心要點，我想強調一個重要但不被關注的方面，就是醫學信息學，在將語言模型用于臨床工作流中時，需要快速、有效、準確地獲取數據。

過去幾年中，我們花了很多時間研究如何獲取任意想要的醫院系統文本或數據，并將現實模型應用于這些數據，從而將大語言模型或多模態模型融合到整個臨床工作流之中，包括放射醫學的臨床指標。醫學信息學在這個過程中扮演了很重要的角色。

劉偉：劉天明老師和沈定剛老師在多模態學習方面已經很有成就了，比如使用ChatGPT在臨床醫學和醫療影像領域進行了ChatCAD和ChatAug等項目。我們應該跟著他們的思路，想辦法將這些技術應用到培訓和研究中。

我們雖然有非常多的醫療影像數據，但是由于各種原因，數據的共享一直是一個大難題，我們需要生成一個合法合規的大型數據庫，這對訓練下一代大數據模型非常重要。

此外，許多醫生都在嘗試使用ChatGPT做科研，但由于缺乏專業知識，只能利用ChatGPT做一些簡單的應用研究，如果想要進一步地推進研究，還需要多領域專家的努力和合作。

總而言之，想要更好地將ChatGPT應用于臨床工作之中，不僅僅需要融入多模態學習等技術，也需要多領域專家的共同努力。

沈定剛：考慮到ChatGPT合成文檔的局限性和潛力，如何將ChatGPT整合到放射學流程中，幫助開發有用的放射科醫生工具?

劉偉：我是放療領域的從業人員，當下任何一個專科的數據信息都不僅僅有文本一種，而是涵蓋各種不同類型的信息，比如病例、影像、隨訪結果等等，我們必須將這些信息結合起來，才能夠做更有意義的臨床研究。

據我所知，目前已經有公司開始使用大數據模型來預估病人的治療結果，但現階段的模型一般只考慮文本信息。

我認為必須將多模態學習技術應用在這方面的工作中，引領未來的發展方向。

以放療領域為例，目前存在多種放療方式，包括光子、質子、Block Therapy和電子等，在為病人進行初步會診時，遇到復雜的病情，往往需要集合多領域專家的意見，選擇最適合病人的治療方式。

但組織專家會診十分費時費力，且以往醫生在制作病例時格式通常不夠標準，更是加重了從這些非結構化臨床數據中提取信息的難度。

現在有了ChatGPT這樣的工具，我們才得以更高效地進行研究。

同時，在美國醫療保險公司為了節省成本，總會選擇比較便宜的治療方式，從而加重了醫生與保險公司溝通的時間成本，這也是我們需要考慮的一個問題。

劉天明：放射科醫生在臨床診斷中扮演著關鍵角色，需要與其他科室醫生進行協作，需要閱讀大量文獻和病例數據。

使用ChatGPT等自然語言處理工具，可以幫助醫生更快地閱讀和理解大量信息，以及快速撰寫診斷報告和保險文件。這將大大提高醫生的工作效率，改善整個醫療工作流程。

閆平昆：我認為在將ChatGPT應用于放射學流程時，有兩個需要考慮的方面。

首先是規范提示詞，因為提示詞在整個過程中非常重要。我們需要正確的提示詞來進行prompt Engineering，這要求我們對這個問題有深入的理解和認識。

如何給ChatGPT合適的提示詞，從而獲得更好的結果，也是需要我們解決的問題。

另一個方面是不同的提示詞對ChatGPT的結果有很大的影響。

OpenAI的團隊做過這個實驗，發現不同的提示詞對模型的性能有很大的不同。因此，我們需要規范提示詞，并使用集成學習等技術改善這一情況。

此外，通過ChatGPT模型，我們可以與醫生進行反饋，生成報告，幫助醫生發現可能被忽略的問題，比如Incidental Findings(偶然發現)。

ChatGPT模型可以指出圖像上可能存在的問題，讓醫生進行進一步檢查。這種交互是非常重要的。

李響：為了更好地為醫生提供服務，我們最近正在嘗試利用知識圖譜來幫助我們更好地使用自然語言處理工具。

知識圖譜可以加在整個流程之中，不論是數據的輸入、語言的生成還是ChatGPT的效果改善等等。這將為我們在臨床中使用ChatGPT提供極大的幫助。

但是，獲得一個好的知識圖譜很困難，我們正在嘗試利用ChatGPT從大量的語料庫中自動發掘知識圖譜，這項工作將為語言模型在臨床工作中的部署提供很多先進的經驗。

沈定剛：將ChatGPT及其核心技術用于醫學影像領域會有哪些潛在的挑戰(比如怎么創建跨機構的文本數據庫，怎么保護患者隱私，需要哪些行業行為規范)?

我們已經討論過如何保護數據和隱私，但現在我們需要考慮如何將ChatGPT技術應用于醫療領域，特別是醫學影像和放射治療?

這涉及到IRB(機構審查委員會)的審批標準和個人信息的保護，也是一個比較關鍵的問題。

劉天明：目前在醫療領域中，數據隱私的保護非常重要，目前還沒有合適的方法將醫療數據提供給ChatGPT。

我們正在準備一篇論文，探討在保護隱私的前提下，如何讓ChatGPT更好地應用于醫療領域。

我們發現使用本地大規模模型可以解決部分問題，對于無法解決的問題，我們可以利用ChatGPT去除隱私信息并提高數據識別率。

這將對醫療領域產生重大影響，未來醫療文本可以通過ChatGPT進行推理。我們會很快發布一篇論文來詳細介紹我們的思路。

閆平昆：在醫療數據的準備上，我們需要更多的圖像和文本數據，例如臨床記錄、放射學報告等等。現有的公開數據集(例如MIMICS)相對較少。

此外，現在有很多編碼器和Embedding等技術，我們是否還需要共享原始數據?或者是僅共享編碼過的數據?

李響：剛才有老師提到了關于共享計算的問題，實際上聯邦學習在影像上的應用已經比較成熟，但在語言方面還需要一個大規模的語言模型，這也是一個挑戰。

另一方面，如果要在本地部署一個大規模語言模型，將會對算力提出很大的要求，這幾乎是大規模語言模型在醫療領域中最大的挑戰了。

在我看來，并不是所有的醫院都有條件做這項工作，其中還存在著數據的不平衡性等問題，這是很值得我們關注的一點，并且現在還沒有很好的解決方案，即使是我們使用的聯邦學習等方法，也存在類似的弊端，需要有本地的處理方案。

劉偉：閆平昆老師剛剛提到的新思路是，利用聯邦學習在本地模型中對數據做初步的處理，再進行分享，從而在保護保護病人隱私的前提下得到更好的結果。

但正如李響老師所說，在醫療領域數據協調和隱私保護是一個很大的挑戰。我們曾經考慮使用區塊鏈技術來分享數據，這也許是一個好的思路。

沈定剛：我們之前在放射學、腫瘤學、基因學等領域做了很多工作，采集了影像和基因信息。現在有了ChatGPT這樣的技術，它可以幫助我們理解影像和基因之間的關系。我們可以使用ChatGPT中的自學習功能來發現新的關系和規律，并將其應用于腫瘤學、基因學和放射學等領域。

如何將ChatGPT與在放射學和其他許多生物醫學領域中的應用串聯起來?

劉天明：與我們合作的西北工業大學張拓老師帶領著一個七八人的團隊，已經開始嘗試使用ChatGPT，將人腦的結構和功能連接到一個高層的語意空間。

使用類似的方法，可以處理很多領域中的信息，比如基因組學和生物信息學，我認為ChatGPT在這兩個領域中的應用還沒有開始。我們可以使用知識圖譜的方法，將圖像、文本、基因組等所有相關的信息全部映射到一個圖空間里，然后使用ChatGPT等技術，對這個圖網絡空間進行推理和分析。

這是將改變整個生物信息學、臨床信息學、醫療影像的NLP方法，是未來大勢所趨。

沈定剛：這種方法可以改變所有表達的方式，讓所有的信息處于同一個空間中，可以相互查到信息，從而實現多模態表達。

我們已經花費多年時間研究了多模態信息，使用了CCA來將不同空間的信息轉化為同一個空間，使用深度學習將遠距離的信息向量轉換到同一空間，這樣做可以讓信息之間最大程度地協調一致。

我們還需要將不同的信息編碼到同一空間中，并且在解碼時可以返回原始模態的信息。這樣做可以讓很多事情變得更容易。

這個領域很有趣，我讀了很多論文，了解新的技術，就像2012年時，我讀了很多Deep Learning的論文，然后安排我的學生們去做第一批Deep Learning的研究。

我們必須緊跟技術發展的步伐，讀所有的文章，了解所有的研究動向和技術細節，這樣才能有效地指導我們的學生和年輕教師，讓他們在短時間內取得好成果。我認為我們應該沖在最前面，才能把這個事情做好。

閆平昆：我們現在處于一個非常重要的時刻，需要在思想上進行轉變。過去我們注重特征工程，后來又轉向網絡工程，而現在，我們需要將自己的研究與大型語言模型相結合。

另外，我們也需要不斷提高機器交互的層次，從像素級別到特征級別，再到知識層次的交互。

ChatGPT的出現也重新定義了機器學習的可解釋性。就像今天各位老師在這里分享的知識，我們不需要知道大家大腦中的神經元是如何工作、如何相互聯系的，只要學到你們分享的邏輯與知識就足夠了。

我們需要了解網絡中神經元的工作方式，而不必了解其具體實現。這樣我們就可以重新定義可解釋性。這些都是非常重要的研究方向，正如沈定剛教授所說，需要我們投入大量的精力去學習，掌握最新的技術進展

李響：我認為我們需要重新定義多模態融合的思想。過去大家談到多模態融合，大多是指在一個特定的任務中融合不同種類的數據，并沿著一個路徑走下去。

我認為多模態融合應該更多源自于生成，而不是單純的融合模型或者將不同的信息融合在一起。我們要讓不同模態之間互相生成彼此，在各自的學習過程中對抗彼此。

如今在語言模型和圖像生成模型上已經有了成功的例子，我們可以嘗試在多模態生成模型上取得進步，實現真正的多模態融合。

劉偉：我也認為學習更多的論文，了解技術細節非常重要，這樣才能夠更有效地與學生共同工作。作為臨床醫生，我可能相對保守，但我認為我們應該做出改變，去擁抱最新的技術并將其應用于臨床工作中。

比如，我們可以像沈定剛老師一樣去嘗試ChatCAD，將多模態數據結合起來，將其應用到不同的領域中。

我認為ChatAug這項工作很有前途，如果能夠將其與多模態數據聯系起來，不僅僅是文本和圖像，還可以包括其他各種數據進行數據增強，那么模型效果也會得到提升。