男欢女爱销魂蚀骨免费阅读,性欧美丰满熟妇XXXX性久久久,适合单身男人看的影片,www天堂无人区在线观看,悟空影视免费高清

每日經濟新聞
要聞

每經網首頁 > 要聞 > 正文

Llama 3拿下“賽點”?大模型角力場,開源與閉源之爭仍在繼續 |大模界

每日經濟新聞(wen) 2024-04-22 12:55:04

每經記者|可楊    每經編輯|何小桃(tao) 董興(xing)生(sheng)     

“大模(mo)界(jie)”是每日經(jing)濟新聞(wen)推出一檔專注生(sheng)成式(shi)AI與大模(mo)型技術的(de)前沿科技報道欄目。

在這(zhe)里,我們(men)將聚焦生成式AI技術浪潮,展現從(cong)文字、圖像(xiang)、音頻(pin)、視頻(pin)的大模型如(ru)何(he)編織數字化世(shi)界。

在這里,我們(men)將解碼、評測(ce)國(guo)內外(wai)各(ge)(ge)類大模型,探究它們(men)如何(he)成為(wei)變革各(ge)(ge)行(xing)各(ge)(ge)業的重要力量。

在這里(li),我(wo)們將關(guan)注AIGC行業發(fa)展,聯(lian)手行業領(ling)軍人物和(he)頂尖專家,共同揭示最新產品(pin)創新和(he)技術突(tu)破,前(qian)瞻未(wei)來(lai)發(fa)展趨勢。

歡迎關(guan)注“大模界”,您將見證AIGC如何(he)重塑內容生態(tai),如何(he)以前沿之力推(tui)動社會(hui)進步。讓我們共同開(kai)啟一場關(guan)于AI新(xin)紀元的無限旅程!

開源(yuan)與(yu)閉(bi)源(yuan)之爭延續到(dao)大模型(xing)時代。在尋找“新大陸(lu)”的(de)路(lu)上,開源(yuan)與(yu)閉(bi)源(yuan)的(de)辯(bian)論(lun),就像是一場關(guan)于(yu)AI未(wei)來的(de)“航海策(ce)略(lve)”討論(lun)。

開(kai)源一(yi)派認為(wei),開(kai)源能夠促進全球科(ke)研人(ren)員(yuan)和(he)開(kai)發者的(de)(de)協(xie)作(zuo),加速AI技術的(de)(de)迭代與創(chuang)新。同時,開(kai)源讓(rang)更多人(ren)參(can)與到模型的(de)(de)改進和(he)優化中,通(tong)過集體智慧解(jie)決復雜(za)的(de)(de)技術難題。

閉源(yuan)的(de)倡導者(zhe)則(ze)看重其(qi)在商(shang)業(ye)(ye)(ye)化、技術(shu)保護和(he)產(chan)品(pin)差異化方面的(de)優(you)勢。閉源(yuan)模型(xing)使得企(qi)業(ye)(ye)(ye)能夠控制產(chan)品(pin)的(de)開發節奏和(he)市場策略(lve),保護其(qi)商(shang)業(ye)(ye)(ye)利益。此外,閉源(yuan)也(ye)有助于(yu)企(qi)業(ye)(ye)(ye)維護其(qi)技術(shu)優(you)勢,避免競(jing)爭(zheng)對手模仿(fang)或超越。

Llama 3的(de)(de)發布讓(rang)開(kai)源大模型在(zai)與(yu)閉源的(de)(de)競爭中再度“扳回一(yi)城”。從(cong)測試(shi)結果(guo)來看(kan),Llama 3的(de)(de)成績大幅(fu)超越了Llama 2,也勝(sheng)過了GPT-3.5。

在AI這場沒有(you)硝煙的(de)“航(hang)海競賽”中,大模(mo)型(xing)已然(ran)成為眼(yan)前的(de)燈塔,未知的(de)是(shi)(shi),這座燈塔究竟是(shi)(shi)向所(suo)有(you)航(hang)海者開放其光芒,還是(shi)(shi)僅(jin)為特定(ding)的(de)船(chuan)只(zhi)照亮前行的(de)航(hang)道。

CFF20LXzkOwNfsay86cib4p0S2T0NfBIZicSMl7tYnKBaibmLibs8uIQI1mZYasibU5KFf6wlMM5EENdMic3ibFTHCmUw.png

Meta繼續押(ya)寶開源(yuan)

Meta正(zheng)沿著開(kai)源路(lu)徑(jing)繼續前進。

近(jin)日,Meta推(tui)出開(kai)源大模型Llama 3系列,發布(bu)8B和70B兩個版本。Meta CEO扎(zha)克伯格在(zai)同一天宣布(bu),基于(yu)Llama 3,Meta的AI助(zhu)手現(xian)在(zai)已經覆蓋Instagram、WhatsApp、Facebook等(deng)全系應用,并單(dan)獨開(kai)啟了網站(zhan)。

與Llama 2相比,Llama 3進行(xing)了幾項(xiang)關鍵(jian)的(de)改進:使(shi)用具128K token詞匯(hui)表的(de)tokenizer,可以(yi)更有效(xiao)地編碼語言(yan),從而顯著提升模(mo)型(xing)性能(neng);在8B和70B模(mo)型(xing)中都采用分(fen)組查詢(xun)注意(yi)力(GQA),以(yi)提高(gao)Llama 3模(mo)型(xing)的(de)推理(li)效(xiao)率(lv);在8192個token的(de)序列上訓練(lian)模(mo)型(xing),使(shi)用掩碼來確(que)保自注意(yi)力不會(hui)跨越(yue)文檔(dang)邊界。

據Meta介紹,Llama 3已經在(zai)多種行業基準測試(shi)上(shang)展現了(le)最先進的(de)(de)性(xing)能(neng),提供了(le)包括改進的(de)(de)推理(li)能(neng)力在(zai)內的(de)(de)新功能(neng),是目(mu)前市場上(shang)最好的(de)(de)開源大模型。

此(ci)外,Llama 3發(fa)布(bu)后,微(wei)軟Azure、谷歌云(yun)、百度智(zhi)能云(yun)等陸續宣布(bu)其平(ping)臺上(shang)線Llama 3。百度方(fang)面此(ci)前(qian)對《每日經濟(ji)新(xin)聞》記者(zhe)表(biao)示,百度智(zhi)能云(yun)千帆大(da)模(mo)型平(ping)臺在國內首家(jia)推出針(zhen)對Llama3全(quan)系列版本的訓(xun)練(lian)推理方(fang)案,便于開發(fa)者(zhe)進行再訓(xun)練(lian),搭建專屬大(da)模(mo)型。

工業和(he)(he)信息化(hua)部(bu)工業文(wen)化(hua)發展中心AI應(ying)(ying)用工作組(zu)執行組(zu)長(chang)、行行AI董事長(chang)李(li)明順在接(jie)受《每日(ri)經濟(ji)新聞》記者采訪時表(biao)示,Meta的(de)(de)(de)Llama3的(de)(de)(de)發布可能(neng)會(hui)帶來更(geng)多AI應(ying)(ying)用落(luo)地(di)機(ji)會(hui)和(he)(he)場景,它通過提供更(geng)大詞匯量(liang)的(de)(de)(de)Token詞典、更(geng)長(chang)的(de)(de)(de)輸入上(shang)下文(wen)長(chang)度以(yi)及優化(hua)的(de)(de)(de)模(mo)型結構,增強(qiang)了模(mo)型的(de)(de)(de)編碼效率和(he)(he)推理效率。“現在,比(bi)起Llama 2,Llama3在代碼能(neng)力和(he)(he)邏輯推理能(neng)力上(shang)有顯著提升,這可能(neng)會(hui)促進相(xiang)關AI應(ying)(ying)用的(de)(de)(de)性能(neng),尤其是在需要復(fu)雜邏輯和(he)(he)代碼理解的(de)(de)(de)場景中去落(luo)地(di)。”

OpenAI在GPT-2之(zhi)后調(diao)轉(zhuan)船頭走向閉源,Meta則成(cheng)為開源界的(de)引領者。

CFF20LXzkOzaEnKGWEh4icV1RfMXjOBM09PJIfY5ibibjmejt12TyrklYoWo6KibsBF1hZGn5iauCZyQmApLxkFVyNA.jpg

圖片來(lai)源:視覺中國(guo)-VCG31N2008743681

從2020年(nian)發布GPT-3,到引發轟動的GPT-3.5,以(yi)及2023年(nian)3月(yue)發布的GPT-4,都是閉源模(mo)型。此(ci)前,馬(ma)斯克起訴(su)OpenAI時(shi)曾直(zhi)言:“如果OpenAI改名為ClosedAI,我就撤(che)銷訴(su)訟。”

李(li)明順認為,OpenAI的(de)轉變(bian)可能與(yu)其商業戰略和市(shi)場(chang)定(ding)位有關(guan)。“初期開源(yuan)有助于快速吸引關(guan)注和社區參(can)與(yu),但隨著(zhu)(zhu)公司的(de)發展,我估計奧(ao)特曼的(de)野心和商業夢想越(yue)來越(yue)膨(peng)脹了,閉(bi)(bi)源(yuan)可以更(geng)好地讓它融(rong)資,包括(kuo)和微軟(ruan)的(de)合作,保護領先的(de)技術優勢(shi)。”他表示,從OpenAI的(de)轉變(bian)中(zhong)也(ye)可以看出(chu),開源(yuan)與(yu)閉(bi)(bi)源(yuan)的(de)選擇并(bing)非固定(ding)不變(bian),而(er)是需要根據(ju)公司戰略目標、市(shi)場(chang)環(huan)境(jing)和產品發展階(jie)段靈(ling)活調整。“天下沒什么事情是絕對的(de),很多(duo)開源(yuan)公司也(ye)是拿著(zhu)(zhu)次優代碼開源(yuan),獨家秘方(fang)閉(bi)(bi)源(yuan)。”

在追(zhui)逐AGI(人工(gong)通用(yong)智能)這顆明(ming)珠的道路上,迄今(jin)為(wei)止(zhi),Meta依舊持(chi)續沿著開源的路徑(jing)前(qian)行(xing)。

2024年初,扎克伯格在Meta第(di)四季度及(ji)2023全年財報(bao)電話(hua)會議上(shang)表示:“長期(qi)以來,我(wo)(wo)們的策略是構建并開放源(yuan)代(dai)碼通用基礎設(she)施,同時保留我(wo)(wo)們的具體產品實現為專有技術(shu)。”

他認為,開(kai)(kai)(kai)源帶來了(le)幾個(ge)戰略好處(chu)。首(shou)先,開(kai)(kai)(kai)源軟(ruan)件(jian)通常更加安全可靠(kao),并且因為社區的(de)(de)持續反(fan)饋、審查和開(kai)(kai)(kai)發,更加高效(xiao)。其(qi)次,開(kai)(kai)(kai)源軟(ruan)件(jian)經(jing)常成為行業標(biao)準,“當企業開(kai)(kai)(kai)始(shi)基(ji)于我(wo)們(men)的(de)(de)技術棧(zhan)建立(li)標(biao)準時,這(zhe)使(shi)得(de)將新創新融入我(wo)們(men)的(de)(de)產品變得(de)更加容易。這(zhe)種微妙的(de)(de)優勢(shi),能(neng)夠迅速(su)學習和改進,是巨大的(de)(de)競爭優勢(shi),而(er)成為行業標(biao)準正(zheng)是這(zhe)一能(neng)力的(de)(de)關鍵”。第三,開(kai)(kai)(kai)源在開(kai)(kai)(kai)發者(zhe)和研究人員中(zhong)極受歡迎。

CFF20LXzkOwNfsay86cib4p0S2T0NfBIZicSMl7tYnKBaibmLibs8uIQI1mZYasibU5KFf6wlMM5EENdMic3ibFTHCmUw.png

開源與閉源并不矛盾

開(kai)源還是(shi)(shi)閉(bi)源,也(ye)許(xu)是(shi)(shi)全球人工智能信徒長(chang)久的辯題。在Llama 3誕生(sheng)前幾天,國(guo)內同樣在進行一(yi)場“辯論(lun)”。

4月(yue)11日,百度(du)董事長(chang)兼首席執行官李(li)彥宏在其(qi)內部講話中(zhong)直言(yan),大(da)(da)模(mo)(mo)型開(kai)(kai)(kai)源的(de)(de)意義不(bu)大(da)(da),閉源模(mo)(mo)型在能力(li)上會持續領先,而不(bu)是一(yi)時(shi)領先,做模(mo)(mo)型的(de)(de)創(chuang)業公司既做模(mo)(mo)型又做應用(yong)的(de)(de)“雙輪驅(qu)動”不(bu)是一(yi)個好的(de)(de)模(mo)(mo)式。在一(yi)周(zhou)后(hou)的(de)(de)Create 2024百度(du)AI開(kai)(kai)(kai)發者大(da)(da)會上,李(li)彥宏再度(du)提到,“大(da)(da)家(jia)以前用(yong)開(kai)(kai)(kai)源覺得開(kai)(kai)(kai)源便(bian)宜(yi),其(qi)實在大(da)(da)模(mo)(mo)型場景下,開(kai)(kai)(kai)源是最貴的(de)(de),所(suo)以開(kai)(kai)(kai)源模(mo)(mo)型會越來越落后(hou)”。

CFF20LXzkOzaEnKGWEh4icV1RfMXjOBM01Q1a7MThiacJdSD1e2NnKTQbYzhJgfdDNOIYDCNib7eG6IJYHLQib8eibQ.jpg

圖片來源:企業(ye)供圖

360公司創始人(ren)周鴻祎則持不(bu)同的(de)觀點。“網(wang)上有些名人(ren)胡說八道,大家也(ye)別被他們忽悠,說開源(yuan)不(bu)如閉源(yuan)好(hao)。一句(ju)話(hua),今天沒有開源(yuan)就沒有Linux(操作系統(tong)內核),沒有Linux就(jiu)(jiu)沒有互聯網,就(jiu)(jiu)連說這話的公司自己都借助(zhu)了開源的力量(liang)才成長到今天。

這段發言(yan)被解讀為對(dui)李(li)彥(yan)(yan)宏(hong)觀點的(de)(de)回懟,周鴻祎隨后澄清道:“我一直是(shi)(shi)開源(yuan)的(de)(de)信徒(tu),但(dan)是(shi)(shi)我說(shuo)(shuo)開源(yuan)好,是(shi)(shi)(4月)13號在哈佛講(jiang)的(de)(de),李(li)廠(chang)長(指李(li)彥(yan)(yan)宏(hong))說(shuo)(shuo)閉源(yuan)好,是(shi)(shi)(4月)16號在北京講(jiang)的(de)(de)。”

生(sheng)(sheng)數科(ke)技聯合創始人兼CEO唐家渝(yu)站在閉源(yuan)(yuan)(yuan)的(de)(de)(de)一邊。在4月(yue)18日(ri)舉(ju)行(xing)的(de)(de)(de)“2024中(zhong)國生(sheng)(sheng)成式(shi)AI大(da)(da)會(hui)”上(shang),唐家渝(yu)談到,開(kai)源(yuan)(yuan)(yuan)帶(dai)來(lai)的(de)(de)(de)最大(da)(da)價(jia)值是(shi)生(sheng)(sheng)態(tai)的(de)(de)(de)價(jia)值,基于技術不斷突破,開(kai)源(yuan)(yuan)(yuan)界人人都(dou)可(ke)以去(qu)(qu)貢獻力量。而大(da)(da)模(mo)型(xing)需要大(da)(da)規模(mo)數據(ju)、大(da)(da)規模(mo)的(de)(de)(de)算力去(qu)(qu)訓練、迭代,參數量越大(da)(da)效果越好,是(shi)偏(pian)中(zhong)心化(hua)的(de)(de)(de)事情。“原來(lai)開(kai)源(yuan)(yuan)(yuan)界非常有(you)益的(de)(de)(de)模(mo)式(shi)到這里割裂(lie)了。在我(wo)們(men)看來(lai),開(kai)源(yuan)(yuan)(yuan)、閉源(yuan)(yuan)(yuan)商業(ye)生(sheng)(sheng)態(tai)上(shang)都(dou)有(you)各自可(ke)以做的(de)(de)(de)商業(ye)生(sheng)(sheng)態(tai),但是(shi)從模(mo)型(xing)能力的(de)(de)(de)提(ti)升來(lai)說(shuo),或者持續走(zou)到前列來(lai)說(shuo),閉源(yuan)(yuan)(yuan)還是(shi)會(hui)走(zou)到開(kai)源(yuan)(yuan)(yuan)的(de)(de)(de)前面。”

昆侖(lun)萬(wan)維董事長方漢(han)的觀點是(shi),開源模型(xing)與閉(bi)源模型(xing)之間的差(cha)距正在(zai)不斷(duan)縮小(xiao)。4月16日(ri),方漢(han)在(zai)接受《每日(ri)經濟新聞》記者(zhe)在(zai)內的媒(mei)體采訪時表(biao)示(shi):“閉(bi)源模型(xing)的確(que)(是(shi))第(di)一,但(dan)是(shi)開源大模型(xing)的接近程度在(zai)2023年到(dao)今年這一年間,從(cong)落后(hou)(hou)兩(liang)年以上,已經進化到(dao)落后(hou)(hou)4—6個(ge)月以上。”

此外,方漢認為(wei),在應用側(ce),閉源(yuan)(yuan)對于產品特性和(he)長尾(wei)(wei)需(xu)求(qiu)的滿(man)足都落后于開源(yuan)(yuan)大(da)(da)(da)模(mo)(mo)型(xing),開源(yuan)(yuan)大(da)(da)(da)模(mo)(mo)型(xing)是一(yi)(yi)種生(sheng)態(tai)構(gou)建器,更(geng)利(li)于滿(man)足用戶(hu)的長尾(wei)(wei)需(xu)求(qiu)。“我個人認為(wei)開源(yuan)(yuan)大(da)(da)(da)模(mo)(mo)型(xing)和(he)商業(ye)大(da)(da)(da)模(mo)(mo)型(xing)是一(yi)(yi)個生(sheng)態(tai)的組(zu)成部分,不(bu)是誰壓(ya)倒誰,大(da)(da)(da)家都有自己(ji)的生(sheng)存空(kong)間,也都有更(geng)好的明(ming)天。”

不過,從商業化上(shang)來(lai)講,閉(bi)源(yuan)(yuan)和(he)開源(yuan)(yuan)也(ye)許并不矛盾。啟明(ming)創投合伙人周(zhou)志峰就認為,“開源(yuan)(yuan)閉(bi)源(yuan)(yuan)在過去(qu)幾(ji)個大浪潮(chao)當中沒(mei)有(you)很大的沖(chong)突,我不太理解(jie)為什么很多人愿意把閉(bi)源(yuan)(yuan)、開源(yuan)(yuan)在AI時代看成對立”。但他也(ye)提到,從技術角度,開源(yuan)(yuan)模(mo)型(xing)及背后的公司(si)更容易(yi)統一資(zi)源(yuan)(yuan)訓練出符合“Scaling Laws”的模(mo)型(xing)。

李明順的(de)(de)觀點則是,在當前(qian)強應用(yong)導向的(de)(de)背景下(xia),開(kai)(kai)(kai)源(yuan)(yuan)(yuan)模式具有(you)顯著優勢(shi),能(neng)夠吸引全球(qiu)范圍內(nei)最廣泛的(de)(de)人參與(yu),從而使其(qi)創新性保持(chi)在較高水平。相(xiang)較之下(xia),盡管(guan)一(yi)些(xie)(xie)閉(bi)源(yuan)(yuan)(yuan)大型(xing)模型(xing)在技(ji)術上具有(you)領先地位,但(dan)其(qi)成本太高。不過(guo)他也(ye)強調,開(kai)(kai)(kai)源(yuan)(yuan)(yuan)與(yu)閉(bi)源(yuan)(yuan)(yuan)在不同公(gong)(gong)司(si)(si)和應用(yong)場(chang)景中可(ke)以相(xiang)互轉(zhuan)換。一(yi)些(xie)(xie)基于(yu)開(kai)(kai)(kai)源(yuan)(yuan)(yuan)的(de)(de)產品(pin)在發(fa)掘到獨特優勢(shi)后,可(ke)能(neng)會通過(guo)閉(bi)源(yuan)(yuan)(yuan)策略建立競爭壁(bi)壘。同時(shi),一(yi)些(xie)(xie)閉(bi)源(yuan)(yuan)(yuan)公(gong)(gong)司(si)(si)也(ye)會不斷(duan)將(jiang)其(qi)部分產品(pin)開(kai)(kai)(kai)源(yuan)(yuan)(yuan)。“這(zhe)兩個(ge)應該都(dou)是共存的(de)(de),未來(lai)開(kai)(kai)(kai)源(yuan)(yuan)(yuan)可(ke)能(neng)用(yong)戶量級上更(geng)大,但(dan)是行業內(nei),商業化(hua)做得比較好的(de)(de)公(gong)(gong)司(si)(si),往往還是閉(bi)源(yuan)(yuan)(yuan)的(de)(de)多一(yi)點。”

在(zai)開(kai)源(yuan)與閉源(yuan)的(de)(de)辯論中,也許答案并非非此(ci)即彼。AI的(de)(de)未來可(ke)能(neng)既不(bu)(bu)是(shi)(shi)(shi)完(wan)全開(kai)放的(de)(de)“自(zi)由港”,也不(bu)(bu)是(shi)(shi)(shi)徹(che)底封(feng)閉的(de)(de)“孤島(dao)”,而是(shi)(shi)(shi)一(yi)個既包含開(kai)放協(xie)作也包含封(feng)閉競爭的(de)(de)“混(hun)合生(sheng)態”。在(zai)這(zhe)個生(sheng)態系統中,開(kai)放與封(feng)閉不(bu)(bu)是(shi)(shi)(shi)對立的(de)(de)兩極,而是(shi)(shi)(shi)一(yi)枚(mei)硬幣的(de)(de)兩面。

記者|可楊

編輯|何(he)小桃 董興生?蓋源源

校對|盧祥勇(yong)

CFF20LXzkOyYmal29zn37N5Bg2NQ4tyN4ylvMFyM3VmF4x90Uj4cDmoEphibia4RN55ibIXmqU1Od9w2Q5nhA08lA.png|每日經(jing)濟(ji)新聞(wen) ?nbdnews??原創文(wen)章|

未經許(xu)可禁止轉載(zai)、摘編、復制及鏡像等(deng)使用

如需轉載請與《每日經濟新聞》報社聯系。
未經《每日(ri)經濟新聞(wen)》報社(she)授(shou)權,嚴禁轉載或鏡像,違者必究。

讀者(zhe)熱(re)線:4008890008

特別提醒:如果我們使用了您的圖片,請作者與本站聯系索取稿酬。如您不(bu)希望作品出現(xian)在本站(zhan),可聯(lian)系我們(men)要(yao)求撤下您的作品。

“大模界”是每日經濟新聞推出一檔專注生成式AI與大模型技術的前沿科技報道欄目。 在這里,我們將聚焦生成式AI技術浪潮,展現從文字、圖像、音頻、視頻的大模型如何編織數字化世界。 在這里,我們將解碼、評測國內外各類大模型,探究它們如何成為變革各行各業的重要力量。 在這里,我們將關注AIGC行業發展,聯手行業領軍人物和頂尖專家,共同揭示最新產品創新和技術突破,前瞻未來發展趨勢。 歡迎關注“大模界”,您將見證AIGC如何重塑內容生態,如何以前沿之力推動社會進步。讓我們共同開啟一場關于AI新紀元的無限旅程! 開源與閉源之爭延續到大模型時代。在尋找“新大陸”的路上,開源與閉源的辯論,就像是一場關于AI未來的“航海策略”討論。 開源一派認為,開源能夠促進全球科研人員和開發者的協作,加速AI技術的迭代與創新。同時,開源讓更多人參與到模型的改進和優化中,通過集體智慧解決復雜的技術難題。 閉源的倡導者則看重其在商業化、技術保護和產品差異化方面的優勢。閉源模型使得企業能夠控制產品的開發節奏和市場策略,保護其商業利益。此外,閉源也有助于企業維護其技術優勢,避免競爭對手模仿或超越。 Llama 3的發布讓開源大模型在與閉源的競爭中再度“扳回一城”。從測試結果來看,Llama 3的成績大幅超越了Llama 2,也勝過了GPT-3.5。 在AI這場沒有硝煙的“航海競賽”中,大模型已然成為眼前的燈塔,未知的是,這座燈塔究竟是向所有航海者開放其光芒,還是僅為特定的船只照亮前行的航道。 Meta繼續押寶開源 Meta正沿著開源路徑繼續前進。 近日,Meta推出開源大模型Llama 3系列,發布8B和70B兩個版本。Meta CEO扎克伯格在同一天宣布,基于Llama 3,Meta的AI助手現在已經覆蓋Instagram、WhatsApp、Facebook等全系應用,并單獨開啟了網站。 與Llama 2相比,Llama 3進行了幾項關鍵的改進:使用具128K token詞匯表的tokenizer,可以更有效地編碼語言,從而顯著提升模型性能;在8B和70B模型中都采用分組查詢注意力(GQA),以提高Llama 3模型的推理效率;在8192個token的序列上訓練模型,使用掩碼來確保自注意力不會跨越文檔邊界。 據Meta介紹,Llama 3已經在多種行業基準測試上展現了最先進的性能,提供了包括改進的推理能力在內的新功能,是目前市場上最好的開源大模型。 此外,Llama 3發布后,微軟Azure、谷歌云、百度智能云等陸續宣布其平臺上線Llama 3。百度方面此前對《每日經濟新聞》記者表示,百度智能云千帆大模型平臺在國內首家推出針對Llama3全系列版本的訓練推理方案,便于開發者進行再訓練,搭建專屬大模型。 工業和信息化部工業文化發展中心AI應用工作組執行組長、行行AI董事長李明順在接受《每日經濟新聞》記者采訪時表示,Meta的Llama3的發布可能會帶來更多AI應用落地機會和場景,它通過提供更大詞匯量的Token詞典、更長的輸入上下文長度以及優化的模型結構,增強了模型的編碼效率和推理效率。“現在,比起Llama 2,Llama3在代碼能力和邏輯推理能力上有顯著提升,這可能會促進相關AI應用的性能,尤其是在需要復雜邏輯和代碼理解的場景中去落地。” OpenAI在GPT-2之后調轉船頭走向閉源,Meta則成為開源界的引領者。 圖片來源:視覺中國-VCG31N2008743681 從2020年發布GPT-3,到引發轟動的GPT-3.5,以及2023年3月發布的GPT-4,都是閉源模型。此前,馬斯克起訴OpenAI時曾直言:“如果OpenAI改名為ClosedAI,我就撤銷訴訟。” 李明順認為,OpenAI的轉變可能與其商業戰略和市場定位有關。“初期開源有助于快速吸引關注和社區參與,但隨著公司的發展,我估計奧特曼的野心和商業夢想越來越膨脹了,閉源可以更好地讓它融資,包括和微軟的合作,保護領先的技術優勢。”他表示,從OpenAI的轉變中也可以看出,開源與閉源的選擇并非固定不變,而是需要根據公司戰略目標、市場環境和產品發展階段靈活調整。“天下沒什么事情是絕對的,很多開源公司也是拿著次優代碼開源,獨家秘方閉源。” 在追逐AGI(人工通用智能)這顆明珠的道路上,迄今為止,Meta依舊持續沿著開源的路徑前行。 2024年初,扎克伯格在Meta第四季度及2023全年財報電話會議上表示:“長期以來,我們的策略是構建并開放源代碼通用基礎設施,同時保留我們的具體產品實現為專有技術。” 他認為,開源帶來了幾個戰略好處。首先,開源軟件通常更加安全可靠,并且因為社區的持續反饋、審查和開發,更加高效。其次,開源軟件經常成為行業標準,“當企業開始基于我們的技術棧建立標準時,這使得將新創新融入我們的產品變得更加容易。這種微妙的優勢,能夠迅速學習和改進,是巨大的競爭優勢,而成為行業標準正是這一能力的關鍵”。第三,開源在開發者和研究人員中極受歡迎。 開源與閉源并不矛盾 開源還是閉源,也許是全球人工智能信徒長久的辯題。在Llama 3誕生前幾天,國內同樣在進行一場“辯論”。 4月11日,百度董事長兼首席執行官李彥宏在其內部講話中直言,大模型開源的意義不大,閉源模型在能力上會持續領先,而不是一時領先,做模型的創業公司既做模型又做應用的“雙輪驅動”不是一個好的模式。在一周后的Create 2024百度AI開發者大會上,李彥宏再度提到,“大家以前用開源覺得開源便宜,其實在大模型場景下,開源是最貴的,所以開源模型會越來越落后”。 圖片來源:企業供圖 360公司創始人周鴻祎則持不同的觀點。“網上有些名人胡說八道,大家也別被他們忽悠,說開源不如閉源好。一句話,今天沒有開源就沒有Linux(操作系統內核),沒有Linux就沒有互聯網,就連說這話的公司自己都借助了開源的力量才成長到今天。” 這段發言被解讀為對李彥宏觀點的回懟,周鴻祎隨后澄清道:“我一直是開源的信徒,但是我說開源好,是(4月)13號在哈佛講的,李廠長(指李彥宏)說閉源好,是(4月)16號在北京講的。” 生數科技聯合創始人兼CEO唐家渝站在閉源的一邊。在4月18日舉行的“2024中國生成式AI大會”上,唐家渝談到,開源帶來的最大價值是生態的價值,基于技術不斷突破,開源界人人都可以去貢獻力量。而大模型需要大規模數據、大規模的算力去訓練、迭代,參數量越大效果越好,是偏中心化的事情。“原來開源界非常有益的模式到這里割裂了。在我們看來,開源、閉源商業生態上都有各自可以做的商業生態,但是從模型能力的提升來說,或者持續走到前列來說,閉源還是會走到開源的前面。” 昆侖萬維董事長方漢的觀點是,開源模型與閉源模型之間的差距正在不斷縮小。4月16日,方漢在接受《每日經濟新聞》記者在內的媒體采訪時表示:“閉源模型的確(是)第一,但是開源大模型的接近程度在2023年到今年這一年間,從落后兩年以上,已經進化到落后4—6個月以上。” 此外,方漢認為,在應用側,閉源對于產品特性和長尾需求的滿足都落后于開源大模型,開源大模型是一種生態構建器,更利于滿足用戶的長尾需求。“我個人認為開源大模型和商業大模型是一個生態的組成部分,不是誰壓倒誰,大家都有自己的生存空間,也都有更好的明天。” 不過,從商業化上來講,閉源和開源也許并不矛盾。啟明創投合伙人周志峰就認為,“開源閉源在過去幾個大浪潮當中沒有很大的沖突,我不太理解為什么很多人愿意把閉源、開源在AI時代看成對立”。但他也提到,從技術角度,開源模型及背后的公司更容易統一資源訓練出符合“Scaling Laws”的模型。 李明順的觀點則是,在當前強應用導向的背景下,開源模式具有顯著優勢,能夠吸引全球范圍內最廣泛的人參與,從而使其創新性保持在較高水平。相較之下,盡管一些閉源大型模型在技術上具有領先地位,但其成本太高。不過他也強調,開源與閉源在不同公司和應用場景中可以相互轉換。一些基于開源的產品在發掘到獨特優勢后,可能會通過閉源策略建立競爭壁壘。同時,一些閉源公司也會不斷將其部分產品開源。“這兩個應該都是共存的,未來開源可能用戶量級上更大,但是行業內,商業化做得比較好的公司,往往還是閉源的多一點。” 在開源與閉源的辯論中,也許答案并非非此即彼。AI的未來可能既不是完全開放的“自由港”,也不是徹底封閉的“孤島”,而是一個既包含開放協作也包含封閉競爭的“混合生態”。在這個生態系統中,開放與封閉不是對立的兩極,而是一枚硬幣的兩面。 記者|可楊 編輯|何小桃 董興生 蓋源源 校對|盧祥勇 |每日經濟新聞 nbdnews 原創文章| 未經許可禁止轉載、摘編、復制及鏡像等使用

歡迎關注每日經濟新聞(wen)APP

每經經濟新聞官方APP

0

0