1月(yue)17日，商湯(tang)科技與上(shang)海AI實(shi)(shi)驗室聯合(he)香港中文(wen)大(da)學(xue)和復旦大(da)學(xue)正式發布新一代大(da)語(yu)(yu)言模(mo)(mo)型(xing)書?·浦語(yu)(yu)2.0（InternLM2）。InternLM2的核心理念在(zai)于(yu)回歸(gui)語(yu)(yu)言建模(mo)(mo)的本質(zhi)，致力(li)于(yu)通過提(ti)高語(yu)(yu)料(liao)質(zhi)量及信息(xi)密度，實(shi)(shi)現(xian)模(mo)(mo)型(xing)基(ji)座語(yu)(yu)言建模(mo)(mo)能(neng)力(li)質(zhi)的提(ti)升(sheng)，進(jin)而(er)在(zai)數(shu)理、代碼(ma)、對話、創作等各方面(mian)都取得(de)長足進(jin)步，綜(zong)合(he)性能(neng)達到開源(yuan)模(mo)(mo)型(xing)的領(ling)先水平。

InternLM2是在(zai)2.6萬(wan)億token的(de)高質量語(yu)料上(shang)訓練(lian)得到的(de)。沿襲第一(yi)代書(shu)生·浦(pu)語(yu)（InternLM）的(de)設定，InternLM2包含7B及(ji)20B兩種參數規(gui)格(ge)及(ji)基座、對(dui)話等版本，滿足不同復雜(za)應用場景需求，繼續開源(yuan)，提供免費商用授權。

開源鏈接

Github：

HuggingFace：

ModelScope：

回歸語言建模本質，筑牢大模型能力基礎

大模(mo)型的(de)(de)研究應回歸語(yu)言建模(mo)本質，大模(mo)型各項(xiang)性能(neng)提升(sheng)的(de)(de)基礎在于語(yu)言建模(mo)能(neng)力的(de)(de)增強。為此(ci)，聯合團隊(dui)提出(chu)了新一代(dai)的(de)(de)數據(ju)清(qing)洗過(guo)濾技術，通過(guo)更高質量的(de)(de)語(yu)料以及更高的(de)(de)信息(xi)密度(du)，筑牢大模(mo)型能(neng)力基礎。

主要發展了以下幾個方面(mian)的技術方法：

多維(wei)度數據(ju)(ju)價值評估(gu)：基于文本質(zhi)量、信(xin)息質(zhi)量、信(xin)息密(mi)度等維(wei)度對數據(ju)(ju)價值進行綜合評估(gu)與提升；

高質量語(yu)料驅動的數據富集：利(li)用高質量語(yu)料的特(te)征從物理(li)世(shi)界(jie)、互(hu)聯網以及語(yu)料庫(ku)中進一步富集類似語(yu)料；

針對性的數據補齊：針對性補充語料(liao)，重點加(jia)強現(xian)實(shi)世界知識(shi)、數理、代碼(ma)等核心能(neng)力。

目前，浦語背后(hou)的(de)數(shu)據(ju)清洗過濾技術已經(jing)歷三輪迭(die)代升級。僅使(shi)用約60%的(de)訓(xun)(xun)練數(shu)據(ju)即可達到使(shi)用第二代數(shu)據(ju)訓(xun)(xun)練1T tokens的(de)性能表現，模(mo)型訓(xun)(xun)練效率(lv)大幅提升。

第三代數(shu)據清洗過(guo)濾(lv)技術大幅度提升模(mo)型訓練效(xiao)率

基于第三代數(shu)據清洗過(guo)濾技(ji)術，InternLM2語言建模能力實現了顯著增強(qiang)。

與第一代InternLM相比(bi)，InternLM2在大規模(mo)高(gao)質量的驗證語料上的Loss分(fen)布整體左(zuo)移，表明其(qi)語言建模(mo)能(neng)力(li)實質性增強

支持200K超長上下文，“大海撈針”近乎完美

長語境(jing)輸入及(ji)(ji)理(li)解能力能夠(gou)顯著拓展(zhan)大模(mo)(mo)型(xing)應用(yong)場(chang)(chang)景(jing)，比如支持(chi)大型(xing)文(wen)檔處理(li)、復雜的(de)推理(li)演算(suan)和實際場(chang)(chang)景(jing)的(de)工具調用(yong)等。然而(er)，大模(mo)(mo)型(xing)有限的(de)上(shang)下文(wen)長度當前仍是學界及(ji)(ji)業內面臨(lin)的(de)重(zhong)要難題。通(tong)過(guo)拓展(zhan)訓(xun)練窗(chuang)口大小和位置編碼改進，InternLM2支持(chi)20萬tokens的(de)上(shang)下文(wen)，能夠(gou)一次性接受并(bing)處理(li)約30萬漢字(zi)（約五(wu)六百頁(ye)的(de)文(wen)檔）的(de)輸入內容(rong)，準確提取關鍵信(xin)息(xi)，實現長文(wen)本中“大海撈針”。

參考(kao)業界(jie)范例(li)，研究(jiu)人員對InternLM2進行(xing)了(le)“大海撈針”試驗：將(jiang)關鍵(jian)信息隨機插入一(yi)段(duan)長文本(ben)的(de)不同位(wei)置并設置問(wen)題，測試模(mo)型能(neng)否從中(zhong)提取出關鍵(jian)信息。

InternLM2“大海(hai)撈針”試(shi)驗效果

上圖展(zhan)示了InternLM2在(zai)不同長(chang)(chang)度的(de)上下(xia)文(wen)（橫軸）及上下(xia)文(wen)中不同位置（縱軸）上召回(hui)關鍵信息的(de)準確率(lv)（Recall）。紅(hong)色代表(biao)較低的(de)召回(hui)準確率(lv)，而(er)綠色則(ze)代表(biao)較高的(de)召回(hui)率(lv)。試(shi)驗(yan)結果表(biao)明，InternLM2在(zai)上下(xia)文(wen)長(chang)(chang)度延展(zhan)到200K時依舊保持了近乎完(wan)美的(de)召回(hui)成功率(lv)，驗(yan)證了InternLM2對于超長(chang)(chang)上下(xia)文(wen)堅實(shi)的(de)支持能力。

為測試(shi)InternLM2在真實長文本(ben)(ben)處理任務中的能(neng)力，研究人(ren)員將一份時長3小時的公開會議錄(lu)音轉(zhuan)錄(lu)稿輸入模(mo)型中，并(bing)要求InternLM2從(cong)(cong)中提取出(chu)(chu)關鍵(jian)信息(xi)。測試(shi)結果(guo)表明，盡(jin)管在未校對的文本(ben)(ben)中存在較(jiao)多錯別字(zi)，但InternLM2仍從(cong)(cong)中準確提煉出(chu)(chu)了關鍵(jian)信息(xi)，并(bing)總結了關鍵(jian)發言人(ren)的觀點。

InternLM2準確總(zong)結“聯合國2023年10月2日召(zhao)開的(de)聯合國貿(mao)易和發展會(hui)議會(hui)議記錄”

性能全面提升，綜合領先同量級開源模型

InternLM2的(de)各項能力(li)取得全面進步，相比于初代InternLM，在(zai)推理、數學(xue)、代碼等(deng)方(fang)面的(de)能力(li)提升尤為顯著(zhu)，綜合(he)能力(li)領先于同(tong)量級開源模型。

根(gen)據大(da)語言模型的(de)(de)(de)應用(yong)方式和用(yong)戶(hu)關注的(de)(de)(de)重點(dian)領域，研究人(ren)員定義了語言、知識、推理、數學(xue)、代碼(ma)、考試(shi)六(liu)個能力維度，在55個主流評測集(ji)上(shang)對多個同量級模型的(de)(de)(de)表(biao)現(xian)進行了綜合評測。評測結果顯(xian)示，InternLM2的(de)(de)(de)輕量級及(ji)中(zhong)(zhong)量級版本性能在同量級模型中(zhong)(zhong)表(biao)現(xian)優異(yi)。

InternLM2的輕(qing)量級(ji)及中量級(ji)版本性能(neng)在同量級(ji)開源(yuan)模型(xing)中表現優異

下(xia)面的表(biao)格(ge)對比了(le)InternLM2各版(ban)本與(yu)ChatGPT（GPT-3.5）以及GPT-4在(zai)典型(xing)評測集上(shang)的表(biao)現(xian)。可以看到，InternLM2只用20B參(can)數(shu)的中等規模，即在(zai)整體表(biao)現(xian)上(shang)達到了(le)與(yu)ChatGPT比肩的水平。其中，在(zai)AGIEval、BigBench-Hard（BBH）、GSM8K、MATH等對推理能力有較高要求的評測上(shang)，InternLM2表(biao)現(xian)甚至優于ChatGPT。

InternLM2與ChatGPT的評測結果對比

與此同時，綜(zong)合性能(neng)的增強，帶來了(le)下游任務的全(quan)方位能(neng)力提升。新(xin)發布的InternLM2提供優秀的對話及(ji)創作體驗，支(zhi)持多輪任務規劃及(ji)工具調用，并提供實用的數(shu)據分(fen)析能(neng)力。

對話及創作：更溫情、更富想象力

InternLM2不僅在客觀性(xing)能(neng)指標上(shang)提升(sheng)顯著(zhu)，在主觀體驗(yan)上(shang)也有明顯改(gai)善，可以(yi)為(wei)用戶提供優秀的對話和交互體驗(yan)。研究測試表明，InternLM2-Chat可以(yi)精準(zhun)地理解和遵循(xun)用戶意圖，具備較強的共情能(neng)力和豐富的結構化創(chuang)作能(neng)力。下(xia)面展示幾個示例(li)：

示例一：在(zai)嚴格(ge)的(de)格(ge)式要(yao)求下編制課程大綱(gang)

InternLM2設(she)計的(de)課程大綱精(jing)準遵循(xun)用戶(hu)要(yao)求（比如格式(shi)、數量、內(nei)容等）。

示例二：以富有(you)人文關懷(huai)的回答開解用戶(hu)

InternLM2能夠在對話中與用戶(hu)“共情(qing)”

示例三：展開想象力，編寫(xie)《流浪地球3》的劇(ju)本

InternLM2設計(ji)的具備充滿(man)豐(feng)富的合理想(xiang)象(xiang)，比如外星遺跡(ji)、量子糾纏的引入等。同時整個故事表現(xian)了人類面對危(wei)機(ji)時的勇氣和團結精神。

對(dui)話和創造的體(ti)驗(yan)進步的原因，一方面(mian)是基(ji)礎語(yu)(yu)言(yan)能(neng)力的顯著增(zeng)強(qiang)，另一方面(mian)也得益于微(wei)調技術的提(ti)(ti)升(sheng)。InternLM2進行微(wei)調的過(guo)(guo)程使(shi)用(yong)了(le)(le)(le)經過(guo)(guo)第三(san)代數據(ju)(ju)清洗過(guo)(guo)濾技術處理(li)的指令微(wei)調語(yu)(yu)料，同時也采(cai)用(yong)了(le)(le)(le)更(geng)強(qiang)的Online RLHF。研究人員在微(wei)調InternLM2的過(guo)(guo)程中，對(dui)獎勵模型(xing)(xing)和對(dui)話模型(xing)(xing)進行了(le)(le)(le)三(san)輪迭代更(geng)新，每一輪更(geng)新均(jun)(jun)針對(dui)前一輪模型(xing)(xing)的表現更(geng)新偏好數據(ju)(ju)與(yu)提(ti)(ti)示(shi)詞。在獎勵模型(xing)(xing)訓練（RM）和近端策略優化（PPO）階段，研究人員均(jun)(jun)衡采(cai)用(yong)各類提(ti)(ti)示(shi)詞，不僅提(ti)(ti)高了(le)(le)(le)對(dui)話的安全性(xing)，也提(ti)(ti)升(sheng)了(le)(le)(le)用(yong)戶體(ti)驗(yan)。

工具調用：能力升級，更精準的工具選用，更可靠的多步規劃

基于更(geng)(geng)強大(da)、更(geng)(geng)具(ju)(ju)泛化性(xing)的(de)指令(ling)理解、工(gong)具(ju)(ju)篩選與結果(guo)反(fan)思等(deng)能(neng)力(li)，InternLM2可支(zhi)持復雜(za)智能(neng)體的(de)搭建(jian)，支(zhi)持對工(gong)具(ju)(ju)進行多輪有(you)效調(diao)用及多步驟規劃，完成復雜(za)任務。聯合團隊針(zhen)對多種任務構(gou)建(jian)了細粒度工(gong)具(ju)(ju)調(diao)用評(ping)測(ce)(ce)集(ji)T-Eval（//open-compass.github.io/T-Eval），InternLM2-Chat-7B在該評(ping)測(ce)(ce)集(ji)上表(biao)現超越了Claude-2.1和目前的(de)開源模型，性(xing)能(neng)接近GPT-3.5。

InternLM2工具調(diao)用(yong)能力全面提(ti)升

通過工具調用，使得大語言模(mo)型可通過搜索、計算、代(dai)碼(ma)解釋(shi)器等(deng)獲取知(zhi)識并處理更復雜的問題，從而拓展應用邊界。研(yan)究人員對模(mo)型調用工具流(liu)程實(shi)施細(xi)粒度(du)的拆解和分析，針對規劃、推(tui)理、工具選擇、理解、執行(xing)、反思(si)等(deng)步驟進行(xing)了針對性(xing)增強和優(you)化。

基于InternLM2通過開源智(zhi)能(neng)體框架Lagent搭建的(de)用(yong)戶(hu)助手智(zhi)能(neng)體，能(neng)夠在一次指令回應中完成地圖查詢、路線規劃、發郵件等(deng)任務

數理推理：會做題，還會可視化分析

數學(xue)能(neng)(neng)力是大模型(xing)(xing)邏輯思維和推理能(neng)(neng)力的(de)(de)重要(yao)體現。上海AI實驗室(shi)對InternLM2的(de)(de)數學(xue)能(neng)(neng)力進行全面提升，使其達到當(dang)前開(kai)源模型(xing)(xing)的(de)(de)標桿水平。

基于更加科學構建的預(yu)訓(xun)練(lian)語料，InternLM2形成了(le)很(hen)強(qiang)的內生計算(suan)能力。在不依靠計算(suan)器等外部(bu)工具的情況下，在100以內的簡(jian)單數學運(yun)算(suan)上能夠(gou)做到接近(jin)100%的準(zhun)確(que)率，在1000以內達(da)到80%左右的運(yun)算(suan)準(zhun)確(que)率。在GSM8K和(he)MATH評測中，InternLM2-20B的表(biao)現超過(guo)了(le)ChatGPT（GPT-3.5）。

InternLM2在100以內的(de)簡(jian)單數學(xue)運算(suan)上(shang)能夠做到接近100%的(de)準確率

為應對(dui)(dui)各類(lei)復(fu)雜(za)計(ji)(ji)算，InternLM2-Chat還可借助代(dai)碼(ma)(ma)解(jie)釋器(qi)（Code-Interpreter）編寫代(dai)碼(ma)(ma)進行計(ji)(ji)算，或對(dui)(dui)推理的(de)(de)結果(guo)進行形(xing)式(shi)化驗證，從(cong)而解(jie)決計(ji)(ji)算要求更(geng)高(gao)(gao)或者(zhe)演算過程更(geng)加復(fu)雜(za)的(de)(de)問題(ti)。在典型的(de)(de)數(shu)學(xue)評測(ce)集GSM8K和(he)MATH上(shang)，配合代(dai)碼(ma)(ma)解(jie)釋器(qi)，InternLM2取(qu)得了更(geng)高(gao)(gao)的(de)(de)評測(ce)分數(shu)。其(qi)中對(dui)(dui)于難度更(geng)高(gao)(gao)的(de)(de)MATH數(shu)據(ju)集，InternLM2的(de)(de)計(ji)(ji)算精(jing)度從(cong)32.5大幅提升到(dao)51.2，甚至(zhi)超(chao)過了GPT-4的(de)(de)表現。

InternLM2與ChatGPT的數(shu)學(xue)能力評(ping)測結果對(dui)比

下面的示例展示了InternLM2可(ke)以和代(dai)碼解釋器(qi)結合解決較復雜的高等數學問題。

InternLM2能(neng)夠完成積分求解等(deng)高等(deng)數學題目

基于在(zai)計算及(ji)工具調用(yong)(yong)方面強大的基礎能(neng)力(li)，InternLM2在(zai)語(yu)言模型中具備了數據分析和(he)可(ke)視化實用(yong)(yong)能(neng)力(li)，進一(yi)步貼近用(yong)(yong)戶使用(yong)(yong)場景。

向(xiang)InternLM2輸(shu)入國家統計局(ju)公布(bu)的“2023年3-11月份規模以上工業(ye)企(qi)業(ye)主要財(cai)務指標（分(fen)行業(ye)）”，InternLM2能夠分(fen)析數(shu)據(ju)并繪制折線(xian)圖