中國西藏網 > 即時新聞 > 國內

復旦MOSS距離ChatGPT還有多遠?

發布時間:2023-02-23 10:23:00來源: 科技日報

  ◎侯樹文 本報記者 王 春

  最近上熱搜的MOSS,不是《流浪地球2》中量子計算機550W給自己起的新名字,而是復旦大學計算機科學技術學院教授邱錫鵬團隊最新發布的國內第一個對話式大型語言模型,也被稱作中國版ChatGPT。

  2月20日,MOSS悄然上線,邱錫鵬團隊發布至公開平臺(https://moss.fastnlp.top/),邀公眾參與內測。但是由于瞬時訪問火爆,計算資源無法支撐,內測窗口已暫時關閉。

  悄然上線,又匆匆關閉,MOSS這一“快閃”的舉動,讓它的亮相飽受爭議。

  科技日報記者在瀏覽器上輸入公開平臺的網址,其中對MOSS這樣介紹:一種像ChatGPT的對話語言模型。MOSS能夠按照用戶的指示執行各種自然語言任務,包括問答、生成文本、總結文本、生成代碼等。MOSS還能夠挑戰不正確的前提,并且拒絕不適當的請求。

  那么相對于美國OpenAI的ChatGPT,中國的MOSS有何特別之處呢?記者在主頁看到了這樣的介紹:MOSS和ChatGPT的區別——如MOSS的參數量比ChatGPT少得多;MOSS通過與人類和其他AI模型交談來學習,而ChatGPT是使用來自人類反饋的強化學習(RLHF)進行培訓;MOSS將是開源的,以促進未來的研究,但ChatGPT可能不是這樣。

  據介紹,MOSS開發的基本步驟與ChatGPT一樣,包括自然語言模型的基座訓練、理解人類意圖的對話能力訓練兩個階段。作為MOSS主要作者之一,邱錫鵬表示:“MOSS與ChatGPT的差距主要在自然語言模型基座預訓練這個階段。MOSS的參數量比ChatGPT小一個數量級,在任務完成度和知識儲備量上,還有很大提升空間。”

  ChatGPT語言模型的參數量高達1750億,而在它問世前,世界上最大的語言模型是微軟開發的Turing-NLG,其參數量為170億。自去年11月30日正式發布以來,ChatGPT上線5天,注冊用戶就突破百萬。目前,其用戶規模已達到1億,成為互聯網發展史上用戶增長最快的消費級應用。

  在關閉內測之后,MOSS官網發布公告稱,MOSS還是一個非常不成熟的模型,距離ChatGPT還有很長的路要走。“我們是一個進行學術研究的實驗室,無法做出和ChatGPT能力相近的模型。”科研團隊相關負責人指出,當前版本的MOSS表現不夠穩定,部分回答或存在事實差錯、邏輯不順等問題。不僅如此,MOSS的英文回答水平較中文回答水平更高,這主要受到其模型基座的單詞收錄量影響,MOSS學習了3000多億個英文單詞,但中文詞語只學了約300億個。

  復旦大學計算機科學技術學院教授張奇是推出MOSS的復旦大學NLP實驗室核心成員之一。對于ChatGPT背后模型所擁有的1750億的參數規模,他在一次公開討論中表示,學校這類機構很難去完成,目前百億級的規模都已經非常困難。

  按照ChatGPT目前開源的最簡單復現版本、最便宜模式去計算,要做到1750億的參數規模,需要大概6000萬元的硬件成本,同時運算3.5個月。這還是所有事情都做對的情況,如中間有參數調整,或者想加速訓練過程,就需要更高規模的投資。

  歸根到底還是研發投入的問題。而除了學術界,國內科技企業也紛紛摩拳擦掌開發自己的ChatGPT:原美團聯合創始人王慧文近日明確表示,要“組隊擁抱新時代,打造中國OpenAI”;百度此前宣布將在3月上線百度版ChatGPT——文心一言(英文名為ERNIE Bot);阿里達摩院正在研發類ChatGPT的對話機器人,目前已開放給公司內員工測試;科大訊飛也表示,Al學習機將成為公司類ChatGPT技術率先落地的產品……

  《科技日報》2023年2月23日第02版

(責編:陳濛濛)

版權聲明:凡注明“來源:中國西藏網”或“中國西藏網文”的所有作品,版權歸高原(北京)文化傳播有限公司。任何媒體轉載、摘編、引用,須注明來源中國西藏網和署著作者名,否則將追究相關法律責任。

精品亚洲欧美中文字幕在线看| 无码av高潮喷水无码专区线| 四虎成人精品国产永久免费无码| √天堂中文www官网| 无码AV片在线观看免费| 久久久久成人精品无码中文字幕| 精品人妻无码一区二区色欲产成人| 少妇中文无码高清| 亚洲国产精品无码中文字| 一本一道精品欧美中文字幕| 久久久久亚洲精品无码蜜桃 | 日本一区二区三区中文字幕| 亚洲AⅤ无码一区二区三区在线| 无码国产精品一区二区免费模式 | 无码AV动漫精品一区二区免费| 中文字幕精品亚洲无线码二区| 国产成人无码精品一区二区三区| 国产无码区| 精品亚洲A∨无码一区二区三区| 中文字幕无码精品亚洲资源网久久| 中文字幕亚洲免费无线观看日本| 亚洲AⅤ无码一区二区三区在线| MM1313亚洲精品无码| 亚洲欧美中文日韩在线v日本| 亚洲成A∨人片天堂网无码| 日韩精品无码人妻一区二区三区| 亚洲欧美日韩国产中文| 忘忧草在线社区WWW中国中文| 免费无码又爽又黄又刺激网站| 91精品国产综合久久四虎久久无码一级| 日韩亚洲AV无码一区二区不卡| 亚洲av激情无码专区在线播放| 亚洲国产精品无码久久| 亚洲日韩国产AV无码无码精品| 亚洲人成网亚洲欧洲无码久久| 国产成人A亚洲精V品无码| 精品高潮呻吟99av无码视频| 亚洲中文久久精品无码ww16| 亚洲精品无码久久久影院相关影片| 国产成人A亚洲精V品无码 | 亚洲av无码一区二区三区不卡|