每(mei)經記者｜楊昕(xin)怡(yi)    每(mei)經編輯(ji)｜魏官紅    

自Sora橫(heng)空出世開辟了AI視(shi)頻的(de)(de)新紀元(yuan)以來(lai)，國內外各大玩家陸(lu)續(xu)加(jia)入AI視(shi)頻的(de)(de)競(jing)逐賽。但是，當進(jin)入這一更交互、更沉浸的(de)(de)視(shi)頻新時代，又該如(ru)何應對成本(ben)、質量和性(xing)能方面的(de)(de)挑戰？

10月15日(ri)，火山引(yin)擎聯合英特爾(er)共同在視頻(pin)云技術大會(hui)上發布了大模型(xing)訓練視頻(pin)預處理方案(an)。《每日(ri)經濟新聞》記者(zhe)在發布會(hui)現(xian)場了解到，目前(qian)該(gai)技術方案(an)已應(ying)用(yong)于豆(dou)包視頻(pin)生成模型(xing)。

發布會上(shang)，Bytedance Research負責人李航介紹，豆(dou)包(bao)視(shi)頻(pin)生(sheng)成模型(xing)PixelDance在訓練過程中(zhong)采用(yong)了火山引擎的大模型(xing)訓練視(shi)頻(pin)預處(chu)理方案，充分(fen)利用(yong)了大量(liang)潮汐資源，為模型(xing)訓練提供了有力支撐。

此外，抖音(yin)集團視(shi)頻(pin)(pin)架(jia)構負責人王(wang)悅透露了字節自研視(shi)頻(pin)(pin)編(bian)解碼(ma)芯(xin)片的最新進展：經過抖音(yin)集團內部的實踐(jian)驗證(zheng)，該(gai)芯(xin)片在同等視(shi)頻(pin)(pin)壓縮效率下(xia)，成(cheng)本(ben)節省(sheng)了95%以上。

“首(shou)先(xian)，超大規模(mo)視頻訓練數據集導(dao)致(zhi)計算和處(chu)(chu)理(li)成本激增。”王悅指出大模(mo)型廠商在(zai)預處(chu)(chu)理(li)過程中面臨諸多挑戰，“其次是(shi)視頻樣本數據參差(cha)不(bu)齊(qi)，然后是(shi)處(chu)(chu)理(li)鏈路環節多、工程復(fu)雜(za)，最(zui)后還面臨著對GPU、CPU、ARM等(deng)多種異構算力資源的調度部署。”

圖片來源(yuan)：每經記者 楊昕怡 攝

自研多媒體處理框架，豆包直面AI視頻降本難題

在9月(yue)24日的火山引擎AI創(chuang)新巡展上(shang)，豆包視(shi)(shi)(shi)頻生(sheng)成-PixelDance和豆包視(shi)(shi)(shi)頻生(sheng)成-Seaweed兩款大模(mo)(mo)型一(yi)并發布，吸引業內外人(ren)士關注。其實(shi)，字節跳動在視(shi)(shi)(shi)頻生(sheng)成模(mo)(mo)型上(shang)下的功(gong)夫不(bu)止(zhi)于此(ci)。

10月15日，火(huo)山引擎發布了大模型訓練(lian)視(shi)頻(pin)預(yu)處理方(fang)案，致(zhi)力于解決視(shi)頻(pin)大模型訓練(lian)的成本(ben)、質量和性能等方(fang)面的技術挑戰。

據(ju)介紹，對訓練(lian)視頻(pin)進(jin)行預(yu)處(chu)理(li)是保障大(da)模(mo)型訓練(lian)效(xiao)果(guo)的(de)重(zhong)要前提。預(yu)處(chu)理(li)過程可(ke)以統一(yi)視頻(pin)的(de)數(shu)(shu)據(ju)格(ge)式、提高數(shu)(shu)據(ju)質量(liang)、實現(xian)數(shu)(shu)據(ju)標準(zhun)化、減少數(shu)(shu)據(ju)量(liang)以及(ji)處(chu)理(li)標注信息，從而使模(mo)型能更高效(xiao)地學習視頻(pin)中(zhong)的(de)特征和(he)知識，提升訓練(lian)效(xiao)果(guo)和(he)效(xiao)率。

在視頻生成模(mo)型的訓練中，算(suan)力成本無疑(yi)是首屈(qu)一指的挑戰。

一位國內視頻(pin)生(sheng)成模(mo)型(xing)的(de)(de)算法工程師在接(jie)受《每日經(jing)濟(ji)新聞》記者采訪時表示，在擁(yong)有高質量數(shu)據后(hou)，視頻(pin)模(mo)型(xing)會比大語言模(mo)型(xing)更難訓練(lian)，有更多(duo)(duo)的(de)(de)算力需(xu)求，“目前已知(zhi)的(de)(de)開源視頻(pin)模(mo)型(xing)沒(mei)有特別大，主(zhu)要是目前很多(duo)(duo)視頻(pin)模(mo)型(xing)處(chu)于不知(zhi)道如何使(shi)用(yong)數(shu)據的(de)(de)階段(duan)，（用(yong)于訓練(lian)的(de)(de)）高質量數(shu)據也沒(mei)有特別多(duo)(duo)。”

計(ji)算機(ji)科學家Matthias Plappert的研究也顯(xian)示，Sora的訓練(lian)(lian)對(dui)算力規模(mo)的要(yao)求巨(ju)大，在訓練(lian)(lian)環(huan)節大約需要(yao)在4200～10500張NVIDIA H100上(shang)訓練(lian)(lian)1個月，且當(dang)模(mo)型生(sheng)成到推(tui)理環(huan)節以后，計(ji)算成本(ben)將(jiang)迅(xun)速超過訓練(lian)(lian)環(huan)節。

為(wei)了(le)解決降(jiang)本(ben)難題，火山引擎(qing)借助Intel的(de)CPU等資源，將(jiang)大(da)模型(xing)訓(xun)練視頻預(yu)處(chu)理方案依(yi)托于自(zi)研的(de)多(duo)媒體處(chu)理框架。王悅(yue)表示(shi)，該方案還在算法(fa)和工程(cheng)方面進行了(le)調優，可以對海量(liang)視頻數據高質量(liang)預(yu)處(chu)理，短時間(jian)內(nei)實(shi)現處(chu)理鏈路的(de)高效協(xie)同(tong)，提高模型(xing)訓(xun)練效率。

對于該方(fang)案(an)(an)的應(ying)用(yong)，李航在發(fa)布(bu)會現場透露，豆包(bao)視頻生(sheng)(sheng)(sheng)成(cheng)模型PixelDance在訓(xun)練過程中(zhong)已采用(yong)該方(fang)案(an)(an)。同時，火山引擎視頻云團隊提(ti)供(gong)的點播解決方(fang)案(an)(an)還為(wei)PixelDance生(sheng)(sheng)(sheng)產的視頻提(ti)供(gong)了從編輯、上傳(chuan)、轉碼、分發(fa)、播放的全生(sheng)(sheng)(sheng)命(ming)周期一站式服務，讓模型的商(shang)業化應(ying)用(yong)有了保障。

此(ci)外，在此(ci)次發(fa)布(bu)會上，火山(shan)引擎還發(fa)布(bu)了跨(kua)語(yu)言同聲復刻直播方(fang)(fang)案、多模態視頻理解與生(sheng)成方(fang)(fang)案、對話式AI實時交(jiao)互(hu)方(fang)(fang)案和AIG3D&大場景重建方(fang)(fang)案，從視頻的生(sheng)產端、交(jiao)互(hu)端到消費端，全鏈(lian)路(lu)融入AI能力。

拿到AI視頻時代的“船票”之后，去向何方？

AI正全方位重塑(su)著人們生產、傳播和(he)接(jie)受信息(xi)的(de)路徑。其中，不斷涌現的(de)視(shi)頻新技術將(jiang)人們從流暢、高清的(de)數據(ju)世界帶(dai)入了(le)更加智能、更具交(jiao)互體驗的(de)AI世界。

今(jin)年7月(yue)，商湯(tang)推出(chu)了(le)首個面(mian)向C端用戶的(de)可控(kong)人(ren)物(wu)視頻(pin)生(sheng)成(cheng)(cheng)大模(mo)(mo)型Vimi；8月(yue)，“AI六小(xiao)龍”之一的(de)MiniMax發布(bu)了(le)視頻(pin)生(sheng)成(cheng)(cheng)模(mo)(mo)型video-1；9月(yue)，可靈(ling)AI完成(cheng)(cheng)第9次迭(die)代，發布(bu)“可靈(ling)1.5模(mo)(mo)型”，阿里(li)云在云棲大會上(shang)推出(chu)全(quan)新的(de)視頻(pin)生(sheng)成(cheng)(cheng)模(mo)(mo)型，字節也發布(bu)了(le)2款視頻(pin)生(sheng)成(cheng)(cheng)模(mo)(mo)型??AI視頻(pin)產品的(de)誕生(sheng)和迭(die)代幾乎是以(yi)月(yue)來計時的(de)。

對(dui)于AI視(shi)頻(pin)(pin)產品(pin)的“爆發(fa)”，北(bei)京市(shi)社會科學院副研究員(yuan)王鵬在接(jie)受(shou)《每日經濟新聞》記(ji)者采訪時(shi)表示，國內AI視(shi)頻(pin)(pin)產品(pin)正處于快速發(fa)展和不斷迭代的階段(duan)，主要(yao)因為市(shi)場需求旺盛、應用場景廣泛和商業化模(mo)式(shi)多樣(yang)等。

目(mu)前市場上AI視頻產(chan)品的落(luo)地大多在影(ying)視、電商(shang)營銷等(deng)領域(yu)，例如(ru)今(jin)年7月，即夢AI和(he)博納影(ying)業合(he)作推出了全國首部AIGC生成(cheng)式連續性敘事科幻(huan)短(duan)劇(ju)集《三星堆：未(wei)來啟(qi)示(shi)錄》；今(jin)年9月，快手聯合(he)賈樟柯、李(li)少紅等(deng)9位知名導(dao)演啟(qi)動“可靈AI”導(dao)演共創計(ji)劃。

與此同(tong)時，工信(xin)部信(xin)息(xi)通信(xin)經濟(ji)(ji)專家(jia)委員會委員盤和林向《每日經濟(ji)(ji)新聞》記者指出，如今(jin)部分AI視頻(pin)產品處于導入(ru)期，因為(wei)技術(shu)或(huo)合(he)規性(xing)，很難在市(shi)場上(shang)鋪(pu)開(kai)，“目(mu)前感覺開(kai)源(yuan)（AI視頻(pin)產品）比閉源(yuan)的(de)更受(shou)歡迎，因為(wei)AI視頻(pin)生成的(de)成本很高(gao)，而視頻(pin)制作者往(wang)往(wang)缺少(shao)資金，所以(yi)利用開(kai)源(yuan)的(de)、下載到終(zhong)端的(de)AI算法可以(yi)更好地制作生成視頻(pin)。”

在他(ta)看來，現階段AI視(shi)(shi)頻產品主要(yao)有(you)算(suan)力和(he)合規(gui)風險兩(liang)方面的主要(yao)障礙。“算(suan)法、算(suan)力和(he)數據方面都(dou)需要(yao)企(qi)業投入較多的資源和(he)時間；另一難點在于合規(gui)風險，如今對隱私越(yue)來越(yue)重(zhong)視(shi)(shi)，合規(gui)是繞(rao)不過去的話題(ti)，而AI視(shi)(shi)頻有(you)時可能會侵犯個人隱私。”他(ta)解釋(shi)。

此外，易觀分析研究合伙人陳晨(chen)也(ye)在接受(shou)《每日(ri)經(jing)濟新聞》記(ji)者采訪(fang)時表達了對(dui)視(shi)頻(pin)生成大(da)模型(xing)(xing)短期變現能力的擔憂，“由于AI大(da)模型(xing)(xing)高昂的模型(xing)(xing)訓練與推理成本，加之(zhi)C端用戶對(dui)AI工具(ju)的需求相對(dui)分散，付費意(yi)愿不足，視(shi)頻(pin)大(da)模型(xing)(xing)在C端市場的商(shang)業(ye)化仍然會(hui)面(mian)臨一個較長(chang)的培育(yu)期。”

AI視頻(pin)的時代來到(dao)了，但這注定是(shi)一個長坡厚雪的賽道，如何(he)降本增效、拿(na)下更多市場也(ye)將成為互聯(lian)網大廠和科(ke)技企業面對的不變命題。