如果用一個(gè)詞來概括2023世界人工智能大會(huì)（WAIC2023）的熱點(diǎn)，那么大模型當(dāng)之無愧。百度文心、阿里通義、華為盤古、訊飛星火、商湯日日新、復(fù)旦MOSS……國內(nèi)外30余款大模型將同臺(tái)競技，背后的核心開發(fā)團(tuán)隊(duì)也將悉數(shù)亮相。

這是一條“狂飆”的新賽道。去年底，對(duì)話式大型語言模型Chat GPT火爆出圈，激起AI領(lǐng)域“千層浪”，也帶動(dòng)大模型這一重要的底層基座變得炙手可熱。今年以來，國內(nèi)“百模大戰(zhàn)”趨于白熱化，那么下一步是重技術(shù)還是重應(yīng)用？自主研發(fā)大模型，對(duì)于上?？苿?chuàng)中心建設(shè)有著怎樣的意義？2023世界人工智能大會(huì)開幕之際，記者采訪了復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授邱錫鵬。

出生5個(gè)月，MOSS更強(qiáng)了

作為學(xué)界頂尖研究者，邱錫鵬還有一個(gè)更讓人關(guān)注的身份——復(fù)旦大學(xué)MOSS系統(tǒng)負(fù)責(zé)人。今年2月，邱錫鵬團(tuán)隊(duì)發(fā)布MOSS，成為國內(nèi)首個(gè)發(fā)布的類ChatGPT模型。

復(fù)旦大學(xué)MOSS系統(tǒng)亮相WAIC2023，將是該大模型首次現(xiàn)身大型展會(huì)。邱錫鵬告訴記者，過去5個(gè)月來，MOSS系統(tǒng)日夜成長，不斷迭代優(yōu)化，比如：4月20日，第三輪迭代版本MOSS003大模型上線，成為國內(nèi)首個(gè)插件增強(qiáng)的開源對(duì)話語言模型?！跋啾?月‘出生’時(shí)，如今的MOSS系統(tǒng)性能提升不少，主要表現(xiàn)在邏輯能力、無害性、有用性等方向?！鼻皴a鵬總結(jié)道，大模型靠大量語料來訓(xùn)練，一些能力已超越大部分成年人。

“圍繞大模型，我們做的不僅僅是模型本身，還有很多挑戰(zhàn)要解決。”邱錫鵬舉例說，其中一個(gè)就是普惠化，即將大模型巨大算力成本降下來，“過去優(yōu)化一個(gè)百億參數(shù)量級(jí)的大模型，需要數(shù)個(gè)A100芯片做硬件支撐，一臺(tái)機(jī)器就要100多萬元，并非普通研究機(jī)構(gòu)承擔(dān)得起。”5個(gè)月來，這也是邱錫鵬的主要研究方向之一。就在上個(gè)月，他帶領(lǐng)團(tuán)隊(duì)發(fā)布了低內(nèi)存優(yōu)化技術(shù)（LOMO），可將大模型訓(xùn)練內(nèi)存使用量降低到之前的10.8%，新方法能夠在一臺(tái)消費(fèi)級(jí)顯卡的機(jī)器上，對(duì)650億參數(shù)大模型進(jìn)行全參數(shù)微調(diào)，大大降低了使用門檻。

技術(shù)與應(yīng)用，兩手都要抓

隨著ChatGPT火遍全球，國內(nèi)“大模型之戰(zhàn)”也已打響。中國科學(xué)技術(shù)信息研究所發(fā)布的《中國人工智能大模型地圖研究報(bào)告》顯示，截至5月底，國內(nèi)10億級(jí)參數(shù)規(guī)模以上的大模型已發(fā)布79個(gè)，互聯(lián)網(wǎng)大廠、人工智能公司、行業(yè)頭部企業(yè)、高校及科研機(jī)構(gòu)、大數(shù)據(jù)及云計(jì)算供應(yīng)商都參與到大模型的比拼中。如果算上垂直應(yīng)用方向，說“千模大戰(zhàn)”并不過分。

那么，走出實(shí)驗(yàn)室階段的大模型，未來發(fā)展應(yīng)該更重技術(shù)還是更偏應(yīng)用？在邱錫鵬看來，技術(shù)與應(yīng)用兩手都要抓。作為一線科研工作者，他對(duì)于當(dāng)下國內(nèi)的大模型技術(shù)并不滿意，“雖然是‘百模大戰(zhàn)’‘千模大戰(zhàn)’，但國內(nèi)競逐者的大模型基座比較雷同，從技術(shù)到模型架構(gòu)，再到能力，沒有讓人特別眼前一亮的產(chǎn)品。競爭者未來一定要結(jié)合自主研發(fā)，做出更多有創(chuàng)新性的產(chǎn)品?！?/p>

邱錫鵬也提到了應(yīng)用驅(qū)動(dòng)的重要性，正如中國在移動(dòng)互聯(lián)網(wǎng)應(yīng)用領(lǐng)域領(lǐng)跑全球，應(yīng)用是我們的優(yōu)勢(shì)項(xiàng)?！叭魏渭夹g(shù)走出實(shí)驗(yàn)室，在下游落地應(yīng)用的過程中，都會(huì)遇到很多挑戰(zhàn)，以應(yīng)用驅(qū)動(dòng)技術(shù)發(fā)展是一種很好的方式?！钡赋觯壳皣鴥?nèi)缺少的是支撐高級(jí)應(yīng)用的功能，比如一些高級(jí)的插件以及推理能力，特別是在有用性方面，缺少能真正幫助人們提升效率的殺手級(jí)應(yīng)用。

他透露，目前復(fù)旦大學(xué)MOSS系統(tǒng)在開源社區(qū)里的下載量排名靠前，“截至目前，我們已收到幾百家企業(yè)的使用申請(qǐng)，覆蓋智能信息服務(wù)、金融、醫(yī)療、教育等行業(yè)，不少企業(yè)在使用后也給出反饋，絕大部分希望在垂直領(lǐng)域有進(jìn)一步優(yōu)化?！?/p>

做好技術(shù)基座助力科創(chuàng)中心建設(shè)

作為生成式人工智能的技術(shù)底座，大模型無疑是兵家必爭之地。從《報(bào)告》數(shù)據(jù)來看，國內(nèi)大模型的“出產(chǎn)地”集中在北京、上海、廣東和浙江等省市，這4個(gè)地方也是近3年人工智能服務(wù)器采購數(shù)量最高的地區(qū)。

在邱錫鵬看來，爭奪大模型的技術(shù)底座話語權(quán)，對(duì)于上?？苿?chuàng)中心建設(shè)的意義重大。相比于國外技術(shù)實(shí)力，目前國內(nèi)大模型還有一定差距，體現(xiàn)在語料清洗、工程、算法等方面，對(duì)自主研發(fā)的要求很高。再往生態(tài)圈延伸，國內(nèi)大模型需要從頭到底有一套自主研發(fā)的技術(shù)，適配國內(nèi)的配套硬件，保障在任何環(huán)節(jié)不被卡脖子。邱錫鵬認(rèn)為，上海在前沿科技領(lǐng)域有獨(dú)特的優(yōu)勢(shì)，體現(xiàn)在人工智能企業(yè)數(shù)量多、能級(jí)高，從底層技術(shù)到大模型、算力，從系統(tǒng)設(shè)計(jì)到應(yīng)用，全鏈條企業(yè)都有涉及，更容易從生態(tài)上做規(guī)劃。

就在近日，《上海市推動(dòng)制造業(yè)高質(zhì)量發(fā)展三年行動(dòng)計(jì)劃（2023-2025年）》出爐，其中對(duì)大模型、算力等多方面作出指引，提出“瞄準(zhǔn)人工智能技術(shù)前沿，構(gòu)建通用大模型，面向垂直領(lǐng)域發(fā)展產(chǎn)業(yè)生態(tài)，建設(shè)國際算法創(chuàng)新基地”。邱錫鵬認(rèn)為，上海應(yīng)發(fā)揮自身優(yōu)勢(shì)，在AI大模型領(lǐng)域走出有中國特色的創(chuàng)新路。