欧美老妇性午夜小视频_国产97最新在线视频_亚洲精品免费Ww久久_日韩三级在线成人网站

中國(guó)西藏網(wǎng) > 即時(shí)新聞 > 國(guó)內(nèi)

復(fù)旦MOSS距離ChatGPT還有多遠(yuǎn)?

發(fā)布時(shí)間:2023-02-23 10:23:00來(lái)源: 科技日?qǐng)?bào)

  ◎侯樹文 本報(bào)記者 王 春

  最近上熱搜的MOSS,不是《流浪地球2》中量子計(jì)算機(jī)550W給自己起的新名字,而是復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授邱錫鵬團(tuán)隊(duì)最新發(fā)布的國(guó)內(nèi)第一個(gè)對(duì)話式大型語(yǔ)言模型,也被稱作中國(guó)版ChatGPT。

  2月20日,MOSS悄然上線,邱錫鵬團(tuán)隊(duì)發(fā)布至公開平臺(tái)(https://moss.fastnlp.top/),邀公眾參與內(nèi)測(cè)。但是由于瞬時(shí)訪問(wèn)火爆,計(jì)算資源無(wú)法支撐,內(nèi)測(cè)窗口已暫時(shí)關(guān)閉。

  悄然上線,又匆匆關(guān)閉,MOSS這一“快閃”的舉動(dòng),讓它的亮相飽受爭(zhēng)議。

  科技日?qǐng)?bào)記者在瀏覽器上輸入公開平臺(tái)的網(wǎng)址,其中對(duì)MOSS這樣介紹:一種像ChatGPT的對(duì)話語(yǔ)言模型。MOSS能夠按照用戶的指示執(zhí)行各種自然語(yǔ)言任務(wù),包括問(wèn)答、生成文本、總結(jié)文本、生成代碼等。MOSS還能夠挑戰(zhàn)不正確的前提,并且拒絕不適當(dāng)?shù)恼?qǐng)求。

  那么相對(duì)于美國(guó)OpenAI的ChatGPT,中國(guó)的MOSS有何特別之處呢?記者在主頁(yè)看到了這樣的介紹:MOSS和ChatGPT的區(qū)別——如MOSS的參數(shù)量比ChatGPT少得多;MOSS通過(guò)與人類和其他AI模型交談來(lái)學(xué)習(xí),而ChatGPT是使用來(lái)自人類反饋的強(qiáng)化學(xué)習(xí)(RLHF)進(jìn)行培訓(xùn);MOSS將是開源的,以促進(jìn)未來(lái)的研究,但ChatGPT可能不是這樣。

  據(jù)介紹,MOSS開發(fā)的基本步驟與ChatGPT一樣,包括自然語(yǔ)言模型的基座訓(xùn)練、理解人類意圖的對(duì)話能力訓(xùn)練兩個(gè)階段。作為MOSS主要作者之一,邱錫鵬表示:“MOSS與ChatGPT的差距主要在自然語(yǔ)言模型基座預(yù)訓(xùn)練這個(gè)階段。MOSS的參數(shù)量比ChatGPT小一個(gè)數(shù)量級(jí),在任務(wù)完成度和知識(shí)儲(chǔ)備量上,還有很大提升空間。”

  ChatGPT語(yǔ)言模型的參數(shù)量高達(dá)1750億,而在它問(wèn)世前,世界上最大的語(yǔ)言模型是微軟開發(fā)的Turing-NLG,其參數(shù)量為170億。自去年11月30日正式發(fā)布以來(lái),ChatGPT上線5天,注冊(cè)用戶就突破百萬(wàn)。目前,其用戶規(guī)模已達(dá)到1億,成為互聯(lián)網(wǎng)發(fā)展史上用戶增長(zhǎng)最快的消費(fèi)級(jí)應(yīng)用。

  在關(guān)閉內(nèi)測(cè)之后,MOSS官網(wǎng)發(fā)布公告稱,MOSS還是一個(gè)非常不成熟的模型,距離ChatGPT還有很長(zhǎng)的路要走?!拔覀兪且粋€(gè)進(jìn)行學(xué)術(shù)研究的實(shí)驗(yàn)室,無(wú)法做出和ChatGPT能力相近的模型。”科研團(tuán)隊(duì)相關(guān)負(fù)責(zé)人指出,當(dāng)前版本的MOSS表現(xiàn)不夠穩(wěn)定,部分回答或存在事實(shí)差錯(cuò)、邏輯不順等問(wèn)題。不僅如此,MOSS的英文回答水平較中文回答水平更高,這主要受到其模型基座的單詞收錄量影響,MOSS學(xué)習(xí)了3000多億個(gè)英文單詞,但中文詞語(yǔ)只學(xué)了約300億個(gè)。

  復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授張奇是推出MOSS的復(fù)旦大學(xué)NLP實(shí)驗(yàn)室核心成員之一。對(duì)于ChatGPT背后模型所擁有的1750億的參數(shù)規(guī)模,他在一次公開討論中表示,學(xué)校這類機(jī)構(gòu)很難去完成,目前百億級(jí)的規(guī)模都已經(jīng)非常困難。

  按照ChatGPT目前開源的最簡(jiǎn)單復(fù)現(xiàn)版本、最便宜模式去計(jì)算,要做到1750億的參數(shù)規(guī)模,需要大概6000萬(wàn)元的硬件成本,同時(shí)運(yùn)算3.5個(gè)月。這還是所有事情都做對(duì)的情況,如中間有參數(shù)調(diào)整,或者想加速訓(xùn)練過(guò)程,就需要更高規(guī)模的投資。

  歸根到底還是研發(fā)投入的問(wèn)題。而除了學(xué)術(shù)界,國(guó)內(nèi)科技企業(yè)也紛紛摩拳擦掌開發(fā)自己的ChatGPT:原美團(tuán)聯(lián)合創(chuàng)始人王慧文近日明確表示,要“組隊(duì)擁抱新時(shí)代,打造中國(guó)OpenAI”;百度此前宣布將在3月上線百度版ChatGPT——文心一言(英文名為ERNIE Bot);阿里達(dá)摩院正在研發(fā)類ChatGPT的對(duì)話機(jī)器人,目前已開放給公司內(nèi)員工測(cè)試;科大訊飛也表示,Al學(xué)習(xí)機(jī)將成為公司類ChatGPT技術(shù)率先落地的產(chǎn)品……

  《科技日?qǐng)?bào)》2023年2月23日第02版

(責(zé)編:陳濛濛)

版權(quán)聲明:凡注明“來(lái)源:中國(guó)西藏網(wǎng)”或“中國(guó)西藏網(wǎng)文”的所有作品,版權(quán)歸高原(北京)文化傳播有限公司。任何媒體轉(zhuǎn)載、摘編、引用,須注明來(lái)源中國(guó)西藏網(wǎng)和署著作者名,否則將追究相關(guān)法律責(zé)任。