每(mei)經(jing)記者｜梁宏亮    每(mei)經(jing)實(shi)習記者｜溫(wen)雅(ya)蘭    每(mei)經(jing)編(bian)輯｜張(zhang)凌霄    

ChatGPT的(de)火(huo)爆引(yin)發了近幾年來一次全球性(xing)的(de)技術狂歡。兩(liang)個月時間內，其(qi)月活用(yong)戶突破1億，成為史上(shang)用(yong)戶增(zeng)長最(zui)快的(de)應用(yong)之一。

社交媒體推特首席執(zhi)行官埃隆·馬(ma)斯克在(zai)使用ChatGPT后直呼其(qi)“好(hao)得嚇人”，甚至斷言“人工智能越發強大(da)，離對人類(lei)產生(sheng)威脅不(bu)遠了”。

對大(da)熱的(de)ChatGPT，復旦大(da)學(xue)計算機學(xue)院教授(shou)黃萱(xuan)菁團(tuan)隊也進行了(le)測(ce)試，“我(wo)們測(ce)了(le)幾十萬次(ci)，比如讓(rang)它(ta)做中國的(de)高考題，看看它(ta)到底(di)有多么強。” 但結(jie)果很(hen)出人(ren)意(yi)料(liao)——雖(sui)然政(zheng)史地(di)科目結(jie)果很(hen)好，但是物理(li)學(xue)科一道都沒做對。黃萱(xuan)菁打趣道：“學(xue)物理(li)的(de)人(ren)最安全”。

3月11日，在“我(wo)們(men)︱WOMEN”2023復旦科創先(xian)鋒(feng)論壇上，深耕人工智能與自然語言處理領(ling)域(yu)三十載的黃萱菁教授以《邁向大規模語言模型》為題，為我(wo)們(men)講述了ChatGPT的“前(qian)世今(jin)生”和最新(xin)發(fa)展趨勢(shi)。

邁向大規模語言模型

 “托ChatGPT的(de)福，大規模(mo)(mo)語言模(mo)(mo)型的(de)概念已經深入人心。”黃萱菁教授在演(yan)講中說到。ChatGPT由 GPT-3.5 模(mo)(mo)型提(ti)供(gong)支(zhi)持(chi)，是(shi)一種人工智能(neng)技(ji)術驅動(dong)的(de)自然語言處理工具(ju)。它不僅能(neng)夠自動(dong)回(hui)答(da)問題、生成(cheng)文本、翻譯文章、對信息(xi)分類、撰寫腳(jiao)本文案(an)、代碼等，也會承認錯誤、質疑不正(zheng)確的(de)前提(ti)并拒絕不恰當的(de)請(qing)求。可以說ChatGPT是(shi)AIGC（人工智能(neng)生成(cheng)內容）最(zui)新進展的(de)代表(biao)。

“語(yu)(yu)(yu)(yu)(yu)(yu)言(yan)模(mo)型就是(shi)(shi)語(yu)(yu)(yu)(yu)(yu)(yu)言(yan)的(de)規(gui)律，首先是(shi)(shi)語(yu)(yu)(yu)(yu)(yu)(yu)法(fa)，我們無論學(xue)習漢語(yu)(yu)(yu)(yu)(yu)(yu)還是(shi)(shi)英(ying)語(yu)(yu)(yu)(yu)(yu)(yu)等語(yu)(yu)(yu)(yu)(yu)(yu)言(yan)，都(dou)是(shi)(shi)從語(yu)(yu)(yu)(yu)(yu)(yu)法(fa)開始學(xue)起，但(dan)是(shi)(shi)只有語(yu)(yu)(yu)(yu)(yu)(yu)法(fa)，我們依(yi)然很難捕捉客(ke)觀世界紛繁復(fu)雜的(de)語(yu)(yu)(yu)(yu)(yu)(yu)言(yan)現(xian)象，因為(wei)語(yu)(yu)(yu)(yu)(yu)(yu)言(yan)并(bing)不會嚴格按(an)照語(yu)(yu)(yu)(yu)(yu)(yu)法(fa)去(qu)表(biao)達。這(zhe)個時候(hou)，我們就需要使用(yong)到數(shu)學(xue)工具——概(gai)(gai)率，在各種語(yu)(yu)(yu)(yu)(yu)(yu)言(yan)現(xian)象中間去(qu)尋找規(gui)律。”黃萱菁對語(yu)(yu)(yu)(yu)(yu)(yu)言(yan)模(mo)型的(de)基(ji)本概(gai)(gai)念(nian)做出簡單介(jie)紹。

以(yi)Transformer為架構(gou)的大型(xing)(xing)(xing)語(yu)言模型(xing)(xing)(xing)機器學習(xi)系統，采用(yong)的神(shen)經(jing)網絡(luo)(luo)學習(xi)能力和模型(xing)(xing)(xing)的參(can)(can)(can)數(shu)規(gui)模成正相(xiang)關。GPT-2大約由(you)(you)15億個參(can)(can)(can)數(shu)組成，而GPT-3是一(yi)個由(you)(you) 1750 億個參(can)(can)(can)數(shu)組成的最先進(jin)的語(yu)言模型(xing)(xing)(xing)。黃萱菁(jing)介紹，近年來，學術(shu)界(jie)和工業界(jie)開始嘗(chang)試在自然語(yu)言處理領(ling)域應用(yong)神(shen)經(jing)網絡(luo)(luo)方法，預先訓練出大規(gui)模的語(yu)言模型(xing)(xing)(xing)，并針對具體場(chang)景(jing)構(gou)建特定(ding)數(shu)據集(ji)，供這(zhe)些大模型(xing)(xing)(xing)在下游(you)任務(wu)中通過參(can)(can)(can)數(shu)微調以(yi)適配具體任務(wu)。

“但(dan)是當語(yu)言模型變得更強大(da)的(de)(de)時候，就會有一(yi)些(xie)問題”，黃(huang)萱菁說，“一(yi)方面廠商(shang)出于商(shang)業(ye)原因逐漸舍棄(qi)開源，OPenAI沒有開放過GPT3模型，只開放API接口，你可(ke)以(yi)調用(yong)，但(dan)是拿不(bu)到內部(bu)細節，今年新出來的(de)(de)ChatGPT連論文都(dou)沒有，只能(neng)靠(kao)大(da)家去猜測。另一(yi)方面用(yong)戶也缺(que)乏足夠(gou)的(de)(de)計(ji)算資源使用(yong)大(da)模型，所以(yi)我(wo)們非常期待國產芯片，能(neng)夠(gou)讓(rang)我(wo)們擁有更多的(de)(de)算力去運行(xing)大(da)規模語(yu)言模型。”

打開“AI情感計算”之門

2022年12月(yue)，埃隆(long)·馬(ma)斯克(ke)發了(le)一條(tiao)推文，他(ta)說：“ChatGPT is scary good. We are not far from dangerously strong AI.（ChatGPT厲害得讓人害怕(pa)，強大到有危險的人工(gong)智(zhi)能(neng)的出現已經離我們不遠(yuan)了(le)。）”

自(zi)從(cong)ChatGPT 出現，越(yue)來越(yue)多的(de)人開始討論(lun)人工智(zhi)能是否(fou)會顛覆他(ta)們的(de)生活、他(ta)們的(de)工作是否(fou)會被人工智(zhi)能取代。但是到目前(qian)為(wei)止，還(huan)沒有任何人工智(zhi)能通過了圖靈測(ce)試(shi)，ChatGPT也不例外。

在(zai)黃(huang)萱菁(jing)看來，未(wei)來一段時間內(nei)，ChatGPT還不足以完全替代某一個崗位，但將(jiang)大(da)大(da)促(cu)進各個領域(yu)的生(sheng)產(chan)效率：“在(zai)肉眼可見(jian)的未(wei)來，善用(yong)AI的人(ren)(ren)將(jiang)和不用(yong)AI的人(ren)(ren)在(zai)工(gong)作效率上會產(chan)生(sheng)巨(ju)大(da)差(cha)距，因此我(wo)鼓勵大(da)家(jia)多去(qu)使用(yong)和熟悉與AI進行溝通。”

“ChatGPT將(jiang)拉近我(wo)(wo)(wo)們(men)與通用人(ren)工智(zhi)能(neng)之間的距離。”黃萱菁(jing)感(gan)慨，“我(wo)(wo)(wo)們(men)從(cong)來(lai)沒有覺得(de)自(zi)己與通用人(ren)工智(zhi)能(neng)如此接(jie)近，這是(shi)(shi)過去我(wo)(wo)(wo)做人(ren)工智(zhi)能(neng)這么(me)(me)多年以來(lai)最興(xing)奮(fen)的一(yi)個時期，我(wo)(wo)(wo)以前一(yi)直覺得(de)它在(zai)我(wo)(wo)(wo)可(ke)以預(yu)見的將(jiang)來(lai)是(shi)(shi)看不到的，但是(shi)(shi)現在(zai)我(wo)(wo)(wo)覺得(de)可(ke)能(neng)不是(shi)(shi)那么(me)(me)遙遠了。”

“正如微軟CEO薩提(ti)亞·納(na)德拉（Satya Nadella）接受媒體采訪時所說的(de)那樣，內燃(ran)機帶來(lai)了(le)廉價的(de)動力，互(hu)聯網技術減少了(le)信息(xi)傳遞的(de)成本，而ChatGPT會讓信息(xi)的(de)整合(he)、轉譯(yi)、流通變得更加廉價。AI可能會像工業革命和信息(xi)革命一(yi)樣，引領我們走向下一(yi)個時代。”黃萱菁(jing)說。