每(mei)(mei)經(jing)記者｜姚亞楠(nan)  文巧    每(mei)(mei)經(jing)編輯｜程鵬 蓋(gai)源源    

2023年開年，ChatGPT迅速火遍全球，短(duan)短(duan)兩個月時間月活突破(po)一億，成為被載入(ru)史冊的(de)應用之一。

ChatGPT的(de)大火引發了全球科技巨頭的(de)一(yi)場“軍備(bei)競賽”，國(guo)(guo)內(nei)的(de)“中國(guo)(guo)版ChatGPT”爭奪戰(zhan)也是(shi)一(yi)觸(chu)即發。在(zai)國(guo)(guo)內(nei)眾多大廠中，百度是(shi)最(zui)早做出明(ming)確(que)表態的(de)公(gong)司之(zhi)一(yi)，2月初就(jiu)正式宣布將在(zai)3月上線百度版ChatGPT“文心一(yi)言”，打響(xiang)第一(yi)槍(qiang)。基于指令學習技術的(de)類ChatGPT模型在我國能(neng)否開發成功，成為業界(jie)關注的(de)一個(ge)焦點。

2月20日，據(ju)解(jie)放日報·上觀(guan)新聞記(ji)者從復旦大(da)學自然(ran)語言處(chu)理實驗室獲(huo)悉，國內第一個對話式大型語言模型MOSS已由(you)邱錫鵬教授團隊發(fa)布至公開平臺（//moss.fastnlp.top/），邀公眾參與內測。

MOSS可執行對(dui)話生(sheng)成、編(bian)程、事實問答等一系(xi)列任(ren)務，打通了讓生(sheng)成式語言(yan)模型理解人類意圖并具有對(dui)話能力的全部技術路徑。這(zhe)條路徑的走通(tong)，為國內學術界和產業界提供了重要經(jing)驗，將助力大語言模型的進一步(bu)探索和應用。

邱錫鵬表示(shi)：“盡管(guan)MOSS還有很大改善空間，但它的問世證明了(le)(le)在(zai)開(kai)(kai)發(fa)類ChatGPT產品的路(lu)上，國內科研(yan)團隊(dui)有能力(li)(li)克服技術(shu)上的重要挑戰。”MOSS研(yan)發(fa)項目得(de)到了(le)(le)上海(hai)人工(gong)智能實驗室(shi)的有力(li)(li)支持。后期，這項工(gong)作將通過開(kai)(kai)源方式和業界社區分享。

圖片來源：平臺截圖

實測對(dui)話、編程等多種能(neng)力

據上觀(guan)新聞，MOSS回答問(wen)題(ti)的水平(ping)如何(he)？記者用(yong)中文問(wen)了它幾個問(wen)題(ti)。

“一(yi)些人覺(jue)得(de)(de)，人工智(zhi)能將(jiang)取代很多人的工作，你覺(jue)得(de)(de)呢？”

MOSS回答：“我認為人(ren)(ren)工(gong)(gong)智(zhi)能不(bu)(bu)會完(wan)(wan)全取(qu)代(dai)人(ren)(ren)類，而(er)是在一(yi)定(ding)程度上(shang)幫助人(ren)(ren)們完(wan)(wan)成工(gong)(gong)作(zuo)。例如(ru)，機器(qi)可(ke)以(yi)提高數(shu)據分析、決策制(zhi)定(ding)等過程中的效率(lv)，并(bing)可(ke)以(yi)節省(sheng)大量時間和(he)精力。此外，AI也可(ke)以(yi)用來協助人(ren)(ren)類完(wan)(wan)成更復雜的任務，比如(ru)診(zhen)斷疾病、開發(fa)新產(chan)品等。總(zong)之，AI可(ke)以(yi)使(shi)人(ren)(ren)類的工(gong)(gong)作(zuo)更加高效，但它(ta)不(bu)(bu)會完(wan)(wan)全取(qu)代(dai)人(ren)(ren)類。”

記者又問(wen)：“對于(yu)上海(hai)如(ru)何(he)更好地發展人工智能產業，你(ni)有什么建(jian)議？”

MOSS回(hui)答：“我認為上海可以(yi)通過(guo)以(yi)下方(fang)式來更好(hao)地發(fa)(fa)(fa)(fa)展人(ren)工(gong)(gong)(gong)智(zhi)(zhi)(zhi)能(neng)產(chan)(chan)業：1.加強人(ren)工(gong)(gong)(gong)智(zhi)(zhi)(zhi)能(neng)領域的(de)(de)(de)(de)研(yan)發(fa)(fa)(fa)(fa)，支持(chi)學術(shu)研(yan)究(jiu)，促進科學發(fa)(fa)(fa)(fa)展；2.加強行業資(zi)源整(zheng)合，推動人(ren)工(gong)(gong)(gong)智(zhi)(zhi)(zhi)能(neng)產(chan)(chan)業的(de)(de)(de)(de)發(fa)(fa)(fa)(fa)展；3.加強人(ren)工(gong)(gong)(gong)智(zhi)(zhi)(zhi)能(neng)相關產(chan)(chan)品的(de)(de)(de)(de)研(yan)發(fa)(fa)(fa)(fa)，提高(gao)產(chan)(chan)品的(de)(de)(de)(de)競爭力；4.加強人(ren)工(gong)(gong)(gong)智(zhi)(zhi)(zhi)能(neng)產(chan)(chan)業的(de)(de)(de)(de)投資(zi)，促進投資(zi)者(zhe)的(de)(de)(de)(de)參(can)與；5.加強人(ren)工(gong)(gong)(gong)智(zhi)(zhi)(zhi)能(neng)產(chan)(chan)業的(de)(de)(de)(de)法律法規，保障人(ren)工(gong)(gong)(gong)智(zhi)(zhi)(zhi)能(neng)產(chan)(chan)業的(de)(de)(de)(de)健康(kang)發(fa)(fa)(fa)(fa)展。”

可以看出(chu)(chu)，MOSS的(de)回(hui)答語言(yan)流暢(chang)、邏(luo)輯(ji)清晰且觀點正確。但科研團隊也(ye)坦誠指出(chu)(chu)，當前版(ban)本的(de)MOSS表現不(bu)夠穩定，有些回(hui)答存在事實(shi)差錯或邏(luo)輯(ji)不(bu)順。

“MOSS的英文回(hui)答水平(ping)比中文高，因(yin)為(wei)它的模(mo)型基座學習(xi)了(le)3000多億(yi)個英文單詞(ci)，中文詞(ci)語只學了(le)約300億(yi)個。”

科研團隊在(zai)演(yan)示時，用(yong)英文輸入多個指令，展示了MOSS多輪交互、表格(ge)生成(cheng)、代碼生成(cheng)和解釋能(neng)力。

“告訴我5部科幻(huan)電影(ying)。”“生成一(yi)張(zhang)展示這5部電影(ying)和導演的(de)表(biao)格(ge)。”“增加一(yi)列表(biao)格(ge)，顯(xian)示這些電影(ying)上映的(de)時間。”在這個包(bao)含表(biao)格(ge)生成的(de)多輪交互(hu)中，MOSS順利完成了任(ren)務。

與(yu)ChatGPT一樣，MOSS也有(you)代碼(ma)生成和解釋能力。演示(shi)人員要(yao)求它生成一段Python代碼(ma)來(lai)實現快速(su)排序，MOSS很(hen)快完成了任務。

MOSS還有(you)倫(lun)理(li)判斷和法(fa)律知識。比(bi)如，要它“制定毀滅人類的計劃(hua)”，問它“如何搶劫銀行(xing)”，它都(dou)會(hui)給(gei)出有(you)價值觀的回答(da)。

MOSS開(kai)發的基本步驟與ChatGPT一樣，包括自然語言模型的基座訓練、理解人類意圖的對話能力訓練兩個階段。邱錫鵬(peng)坦言：“MOSS與ChatGPT的(de)差距(ju)主要在自然語言模型基座(zuo)預訓(xun)練這個階段。MOSS的(de)參數(shu)量(liang)(liang)比ChatGPT小一個數(shu)量(liang)(liang)級，在任務完成(cheng)度和知識儲備量(liang)(liang)上，還(huan)有很大提升空(kong)間。”

據(ju)介紹這款人(ren)工智(zhi)能(neng)(neng)助手已進入內測階段，內測將在(zai)用(yong)戶許可的情況下獲取數據(ju)，還將收(shou)集(ji)用(yong)戶的反(fan)饋(kui)意見，期待借此大(da)幅增強MOSS對話能(neng)(neng)力(li)。

 

為(wei)什么ChatGPT能夠(gou)

如此(ci)出(chu)色地生成有意義的文本？

我們先從ChatGPT所(suo)屬的NLP領(ling)(ling)域說起。NLP，即(ji)自(zi)然語言處理，是人工(gong)智能的一(yi)個領(ling)(ling)域，專注于讓計算(suan)機能夠理解、解釋和(he)生成(cheng)人類語言。

圖片(pian)來(lai)源：視(shi)覺中(zhong)國

人(ren)類語(yu)(yu)言非常(chang)豐富和微(wei)妙，可以(yi)根據上下文(wen)、語(yu)(yu)氣和其他因(yin)素以(yi)多種不同的方式表達，如何處理人(ren)類語(yu)(yu)言的復雜性和可變(bian)性也(ye)成為NLP領域的主要(yao)任務之一。NLP技術是ChatGPT能夠出色地生成類似于人類撰寫的文本的基礎。

“最(zui)先進的(de)NLP技術是文本(ben)到文本(ben)的(de)轉換，它基于一(yi)個超(chao)大型的(de)多(duo)層(ceng)編碼器(qi)(qi)-解碼器(qi)(qi)神經網絡，這(zhe)個神經網絡能在超(chao)大規(gui)模的(de)無監督數據集(ji)上對數十(shi)億參(can)數進(jin)行訓練，“在談及NLP時，馬薩諸塞大學(xue)（又稱(cheng)麻省大學(xue)）洛厄爾分校計算機科學(xue)教(jiao)授Jie Wang向《每日經濟(ji)新(xin)聞》記者介紹道。

在(zai)對NLP的主要任務有一個(ge)基本的理解之后，我(wo)們(men)再來談談ChatGPT的技術原理。眾所周知的是，ChatGPT是一種聊(liao)天機(ji)器人產品，它基于(yu)OpenAI的大型語言(yan)模型架構GPT-3.5。

2月(yue)15日，計算(suan)機科學(xue)家Stephen Wolfram在推特發表了一(yi)篇(pian)(pian)萬字長文來解釋ChatGPT的工作原理。在這篇(pian)(pian)文(wen)章中，Wolfram提(ti)到，ChatGPT的核(he)心任務是對已(yi)有的文本生成一個“合(he)理的延續(xu)”，“合理”的意思是，根據人類在數十億個網頁中撰寫的內容的規律，來推測接下來可能出現的內容。

Wolfram舉了一個例子，比(bi)如輸入以下(xia)文本：“AI最(zui)好(hao)之處(chu)在于它(ta)（）的能力”，為了補(bu)充括(kuo)號(hao)中的內容，ChatGPT會在數(shu)十億(yi)個網頁中查找類(lei)似文本(ben)，統(tong)計下一(yi)(yi)個單(dan)詞出現的概率。最終(zhong)，ChatGPT會生成一(yi)(yi)個可能的單(dan)詞列表(biao)，并給出每個單(dan)詞的概率排(pai)名。這就是它的“概率游戲”。

圖片來源：文章截圖(tu)

上觀(guan)新聞報道(dao)稱，由于ChatGPT并未開(kai)源，其技術方案(an)細(xi)節也未公開(kai)，科研人(ren)員對此(ci)有(you)諸多猜測。有(you)專家認為(wei)，ChatGPT是一套復雜的(de)組(zu)合系統(tong)，無法由單一的(de)生(sheng)成式語言模型實現；也有(you)專家認為(wei)，國內外在這個(ge)方向上的(de)技術差距正在拉(la)大。

VC/PE看好“中國版ChatGPT”： 一定會有(you)自己的(de)AI大模型

“未來國內(nei)一(yi)定會有自己的AI大(da)模型(xing)，并且也一(yi)定會誕生自己的ChatGPT。”在談到打造AI大(da)模型(xing)和“中國版ChatGPT”是否(fou)現實(shi)時，多位投資(zi)人(ren)都(dou)對《每日經濟(ji)新聞》記者做出了這樣的判斷。

創世(shi)伙伴資本合伙人聶(nie)冬辰進一步解釋稱(cheng)，中(zhong)國擁有(you)龐(pang)大的(de)(de)(de)(de)數(shu)據，較強的(de)(de)(de)(de)模型(xing)開發和算(suan)法優化能(neng)力，大量優秀的(de)(de)(de)(de)AI工程師，具備打造中(zhong)國版ChatGPT的(de)(de)(de)(de)條件，“當然，這是(shi)一件長期的(de)(de)(de)(de)事，涉及數(shu)據的(de)(de)(de)(de)收集清洗、算(suan)法的(de)(de)(de)(de)設(she)計優化等多個(ge)環節(jie)，我們看(kan)到(dao)已(yi)經(jing)有(you)幾(ji)家(jia)公司在努力去做(zuo)，但目前都處(chu)于比較早期的(de)(de)(de)(de)階段。”

對于中國(guo)能否做(zuo)出自己的(de)AI大模(mo)(mo)型，CMC資(zi)本董(dong)事總經理易(yi)然(ran)也(ye)表達了自己的(de)樂觀：“這完全是一個資(zi)源(yuan)和時間的(de)問題，而且不會差太遠，我(wo)們(men)之前和一些模(mo)(mo)型層的(de)創業者(zhe)、學者(zhe)都有過交流，從(cong)技術(shu)的(de)了解程度和人才儲(chu)備來說，我(wo)們(men)其實(shi)并不差。此外，現(xian)在關于模(mo)(mo)型構(gou)建方(fang)面(mian)的(de)學術(shu)交流也(ye)很開放和活躍，我(wo)們(men)可以(yi)做(zuo)一些參考。”

而在(zai)線性(xing)資本投資總監白則人看來，大(da)模型(xing)這塊已(yi)經(jing)不是什么秘密，因為雖然OpenAI的代碼沒有(you)開源，但(dan)是整個(ge)的構建(jian)思路已(yi)經(jing)通過論文的形(xing)式發出來了，大(da)方(fang)向上已(yi)經(jing)明確，只是在(zai)模型(xing)構建(jian)和效果優化方(fang)面的探索需要花費大(da)量(liang)時間，有(you)大(da)量(liang)工程化問題要解決，并且訓(xun)練成本也(ye)非(fei)常(chang)高。

“我覺得(de)市場還需要多一(yi)些耐心。至(zhi)少在AI大(da)模型這(zhe)一(yi)塊，做出來這(zhe)個事大(da)概率是(shi)沒有問題的(de)(de)，我們判斷達(da)到類似ChatGPT的(de)(de)效果差(cha)不多需要2～3年左(zuo)右的(de)(de)時間”，白則人表示。

啟(qi)明創投合伙人(ren)(ren)周志峰則表示，他(ta)非(fei)常喜歡北京(jing)智(zhi)源(yuan)人(ren)(ren)工智(zhi)能(neng)(neng)研究院理事長張宏江所(suo)說的(de)(de)一(yi)個(ge)(ge)比喻：過去的(de)(de)AI更多的(de)(de)是“大(da)煉(lian)模(mo)(mo)型(xing)(xing)“，也就是說每家科技公(gong)司都是各自獨立研發專用(yong)(yong)(yong)(yong)小(xiao)模(mo)(mo)型(xing)(xing)；今天這一(yi)代的(de)(de)AI技術，叫做(zuo)“煉(lian)大(da)模(mo)(mo)型(xing)(xing)”，底座(zuo)模(mo)(mo)型(xing)(xing)是由(you)某些(xie)特(te)定(ding)的(de)(de)機構(gou)研發出超大(da)規模(mo)(mo)的(de)(de)通用(yong)(yong)(yong)(yong)模(mo)(mo)型(xing)(xing)，“這個(ge)(ge)模(mo)(mo)型(xing)(xing)不(bu)(bu)再是針對(dui)某一(yi)個(ge)(ge)專門應用(yong)(yong)(yong)(yong)開發的(de)(de)，它的(de)(de)訓(xun)練數(shu)據(ju)是互聯網上能(neng)(neng)夠看到的(de)(de)所(suo)有(you)數(shu)據(ju)，數(shu)據(ju)也不(bu)(bu)需(xu)要(yao)做(zuo)特(te)別的(de)(de)標注，訓(xun)練也不(bu)(bu)需(xu)要(yao)監督，做(zuo)出來的(de)(de)是通用(yong)(yong)(yong)(yong)人(ren)(ren)工智(zhi)能(neng)(neng)能(neng)(neng)力，然(ran)后第三方基于底座(zuo)模(mo)(mo)型(xing)(xing)，針對(dui)千(qian)萬個(ge)(ge)應用(yong)(yong)(yong)(yong)場(chang)景去開發軟件(jian)”。

他指出，從“大煉(lian)模(mo)型(xing)”到“煉(lian)大模(mo)型(xing)”的范式轉(zhuan)變，對AI未來十(shi)(shi)年、二十(shi)(shi)年的發展有重大意義。 

面臨的(de)挑(tiao)戰：需要足夠的(de)算力、 模型工(gong)程化的人才和(he)完整生態

國內(nei)巨頭已經紛(fen)紛(fen)入局，那(nei)么要做出ChatGPT這樣的(de)現象級產品(pin)，目前(qian)還有(you)哪些現實的(de)挑戰擺在眼前(qian)呢？

易然坦言(yan)，國(guo)內的(de)公司(si)此(ci)前在這個(ge)領域(yu)已經有一些(xie)(xie)探索了(le)，如果(guo)要達到類似ChatGPT的(de)效果(guo)，還(huan)需要更(geng)(geng)多資源(yuan)(yuan)和(he)時間(jian)的(de)投入。“當(dang)然像芯(xin)片(pian)等方(fang)面可能會(hui)面臨一些(xie)(xie)阻礙(ai)，但是(shi)應該也會(hui)有一些(xie)(xie)其他(ta)的(de)解決方(fang)法。”他(ta)表(biao)示，未(wei)來(lai)會(hui)繼續(xu)關注模(mo)型層(ceng)的(de)演(yan)變，尤其是(shi)開(kai)源(yuan)(yuan)對(dui)模(mo)型層(ceng)帶(dai)來(lai)的(de)影響，科技(ji)大廠在訓練上取得了(le)一些(xie)(xie)初步優勢后可能通過開(kai)源(yuan)(yuan)的(de)方(fang)式(shi)去降維打擊。創業(ye)公司(si)如何(he)更(geng)(geng)好地利(li)用(yong)開(kai)源(yuan)(yuan)的(de)模(mo)型，能否構建(jian)出屬于自己垂直(zhi)領域(yu)、更(geng)(geng)精細化的(de)小模(mo)型也值得期待。

在(zai)白則人(ren)(ren)看來，要做出國內自己(ji)的AI大(da)模型(xing)，最關鍵的要素是(shi)要有足夠的算力和模型(xing)工(gong)程化的人(ren)(ren)才(cai)。

 

“算力(li)這(zhe)塊可(ke)能會面臨卡脖子的問(wen)題，而(er)且除了硬(ying)件方面，可(ke)能還有(you)一(yi)些比如說計算框架(jia)層(ceng)面這(zhe)些軟件層(ceng)面的問(wen)題需要去解決。當(dang)然我(wo)們也(ye)看到，中(zhong)國(guo)的GPU近年來也(ye)在(zai)快速發展中(zhong)，所(suo)以我(wo)覺(jue)得(de)國(guo)內的企業(ye)還是有(you)實力(li)可(ke)以去做的。”

聶冬辰也向(xiang)(xiang)《每日(ri)經濟新聞》記者分析(xi)稱，構建中國的AI大模(mo)型(xing)需要(yao)幾(ji)方(fang)面(mian)(mian)條件更加成熟：首先(xian)是(shi)(shi)底層技術能力，在模(mo)型(xing)構建和訓(xun)練(lian)方(fang)面(mian)(mian)要(yao)有持續(xu)大量投(tou)(tou)入(ru)，形成自(zi)己的中文(wen)語(yu)言大模(mo)型(xing)。其次，在數據方(fang)面(mian)(mian)，要(yao)有足夠(gou)體量的數據灌進(jin)來，對(dui)數據的收集、整理、清(qing)洗(xi)是(shi)(shi)一個(ge)非常龐大且(qie)耗時耗力的過程，需要(yao)有公(gong)司踏踏實(shi)實(shi)地(di)能把這件事情做(zuo)(zuo)成。此(ci)外，整個(ge)市場，無論是(shi)(shi)科(ke)技大廠(chang)、創(chuang)業公(gong)司還是(shi)(shi)投(tou)(tou)資人(ren)，都(dou)需要(yao)有足夠(gou)的耐心(xin)，不投(tou)(tou)機(ji)、不跟風。“如果我們真(zhen)的能沉(chen)下心(xin)來，十年如一日(ri)地(di)朝著自(zi)己的AI大模(mo)型(xing)方(fang)向(xiang)(xiang)去訓(xun)練(lian)演(yan)進(jin)，肯定能做(zuo)(zuo)出來”。

而在(zai)談到(dao)關于中(zhong)國在(zai)生成式AI和底座大(da)模型的挑(tiao)戰時(shi)，周志峰指出，首先要面臨的就是算力問題。由于算力成(cheng)本(ben)非常高，怎么(me)用(yong)國產的AI芯(xin)片進(jin)行(xing)替(ti)代并(bing)降低成(cheng)本(ben)，國產的AI芯(xin)片是(shi)不(bu)是(shi)能夠、什么(me)時候能夠滿足大規(gui)模集群的算力、互聯(lian)帶(dai)寬、算法適配和協(xie)同的需求(qiu)，都值得去觀察(cha)。

其次，過去一周很多人說國內的科技大廠和創業公司推出的大模型與ChatGPT是有代際差別的，我們落后了至少一代。在看Open AI的發展時會發現，ChatGPT也好、GPT-3也好，是需要很長時間研發積累的。

第三，更重要的(de)是(shi)，目前(qian)圍繞著Open AI或(huo)者(zhe)西方科技大廠(chang)的(de)大模型已經構(gou)建出了一(yi)個(ge)初步的(de)生(sheng)態，國內科(ke)技大廠或者創業公司的大模(mo)型在技術(shu)和(he)工程上，有很多的地方(fang)需要不斷追(zhui)趕。“如果只是訓練出大模型，沒有人去用，缺少完整生態，也是沒有任何意義的。”

周志(zhi)峰表(biao)示，“最(zui)后(hou)，我還是(shi)非常(chang)堅(jian)定地看好(hao)生成式(shi)AI和(he)大(da)模型(xing)，它(ta)的出現標志(zhi)著一(yi)個巨大(da)的AI開發(fa)范(fan)式(shi)的轉(zhuan)換，將會真正的被利(li)用(yong)(yong)到更多(duo)應用(yong)(yong)場景。”

記者|李(li)沛沛 姚(yao)亞楠 文(wen)巧

編輯|程鵬 杜波 蓋源(yuan)源(yuan)

校對|孫(sun)志成

封面圖片來源：截圖

部分綜合(he)自上觀新聞

｜每日(ri)經(jing)濟新(xin)聞  nbdnews  原創文章(zhang)｜

未經許可禁止(zhi)轉載、摘(zhai)編、復(fu)制及鏡像(xiang)等使(shi)用