每經記者｜楊卉(hui)    每經編輯｜董興生(sheng)     

黃仁勛又升級“裝備(bei)”了(le)。11月14日，《每日經濟新聞》記(ji)者從英偉達(da)(da)處(chu)獲悉(xi)，當(dang)地(di)時間11月13日，英偉達(da)(da)宣(xuan)布推(tui)(tui)出NVIDIA HGX™  H200（AI芯片型(xing)號，以下簡稱“H200”）。據悉(xi)，H200是首款采用HBM3e GPU（內(nei)存，相較此前速率(lv)更(geng)快、容量更(geng)大(da)），進一步加速生成式AI與大(da)語言(yan)模(mo)型(xing)，同(tong)時推(tui)(tui)進用于HPC（高性能計算）工作負載的科學計算，可提(ti)供(gong)傳輸速度4.8 TB/秒的141GB顯存，與上一代架(jia)構的NVIDIA A100相比(bi)容量翻了(le)近一倍(bei)，帶(dai)寬(kuan)增加了(le)2.4倍(bei)。

圖片來源：企業供圖

在(zai)英偉達超大(da)(da)規模和高性能計算副總裁Ian Buck看來，想要通過(guo)生成式AI和HPC應用(yong)創造智(zhi)能，就(jiu)必須使(shi)用(yong)大(da)(da)型、快速(su)的(de)GPU顯存(cun)來高速(su)、高效地處理海量數據(ju)。當H200與采用(yong)超高速(su)NVLink-C2C互(hu)連技術的(de)NVIDIA Grace CPU搭配(pei)使(shi)用(yong)時，就(jiu)組(zu)成了帶(dai)有HBM3e的(de)GH200 Grace™ Hopper超級芯片——專為大(da)(da)型HPC和AI應用(yong)而設計的(de)計算模塊(kuai)。

從規格來看，H200將提(ti)供(gong)四路和(he)八路H200服務器主板可選，與HGX H100系統的(de)(de)硬件和(he)軟件都兼(jian)容；還(huan)可用于今年8月發布(bu)的(de)(de)采用HBM3e的(de)(de)NVIDIA GH200 Grace Hopper™超級芯(xin)片。這些配置使H200可以(yi)部署在各(ge)類數據中(zhong)心，包括本地、云(yun)、混合云(yun)和(he)邊緣(yuan)；可為(wei)各(ge)種應(ying)用工作負(fu)載提(ti)供(gong)最高(gao)的(de)(de)性能，包括針(zhen)對1750億參(can)數以(yi)上超大模(mo)型的(de)(de)LLM訓練和(he)推理(li)。

架構(gou)方面(mian)，與前代相比(bi)，NVIDIA Hopper架構(gou)實現(xian)了性能躍升(sheng)，如在一(yi)個700億參數的(de)LLM——Llama 2上的(de)推理速度比(bi)H100（英(ying)偉達AI芯片）提高了近(jin)一(yi)倍。

根據英偉達方面的說(shuo)法，將(jiang)于2024年第二季度開始通過全球系統(tong)制造商(shang)(shang)和云服(fu)(fu)務(wu)提(ti)(ti)供(gong)商(shang)(shang)提(ti)(ti)供(gong)H200；服(fu)(fu)務(wu)器制造商(shang)(shang)和云服(fu)(fu)務(wu)提(ti)(ti)供(gong)商(shang)(shang)也(ye)預計于同一時間開始提(ti)(ti)供(gong)搭載(zai)H200的系統(tong)。