(資料圖)

有問必答,侃侃應對。這種神奇的人機互動體驗,勾起人們絞盡腦汁向ChatGPT提問的熱情,并為其帶來驚人的用戶量:該系統在兩個多月前由美國人工智能研究公司OpenAI推出,今年1月便已達到1億月活躍用戶,用戶增長速度堪稱史無前例。

這款產品大受歡迎,其重要幕后功臣是被業內稱為預訓練模型的技術。面對ChatGPT的爆火,國內科技機構和企業紛紛“亮劍”。據最新消息,中國版ChatGPT將于下個月與公眾見面。

參數規模從幾百萬狂飆至幾千億

“目前,預訓練技術是人工智能研究的重要突破口?!卑⒗镅芯吭何磥砑夹g中心負責人蘇中解讀,傳統的研究方法中,標注成本一直是阻礙人工智能算法推向更大數據集合的障礙,而預訓練技術不依賴數據標注,就可以訓練出一個大規模深度學習模型。

科技日報記者了解到,由于不需要數據標注,預訓練模型往往可以使用更大的數據集,因而可以選擇更大的模型規?!@就催生了預訓練大模型。

“與以往的人工神經網絡相比,預訓練大模型最大的不同在于它規模足夠大,深度學習網絡的層數多、連接多、參數多?!盜DEA研究院(粵港澳大灣區數字經濟研究院)認知計算與自然語言研究中心講席科學家張家興接受記者采訪時介紹,2012年前后的深度學習網絡只有幾百萬參數;2018年前后主流的預訓練模型達到1億參數;目前被證明非常有效的大規模預訓練模型已有幾千億參數,短短幾年時間提升了幾千倍。

量變引起質變。蘇中分析,在對預訓練模型各種不同的技術評測中,算法性能展示了一個規律:數據規模越大、預訓練模型參數越多,算法輸出精度往往也越高。

除了規模大以外,張家興談到,目前的預訓練大模型由于采用了新的結構模型,非常適合并行訓練。同時,在訓練方式上,人工神經網絡的預訓練任務類似“解題”,比如把一句話的某個詞或前半句去掉,讓預訓練模型利用海量大數據對句子進行恢復,這樣訓練下去,預訓練模型的“解題”能力就會越來越好。而且,在大語言模型的基礎上,引入指令學習,可以遠超模型微調帶來的收益。在此基礎上,人類的反饋可以幫助模型更好地理解人類意圖和接收信息,人機對話也就越來越流暢。

“ChatGPT在底層數據、核心技術、用戶體驗等各方面都可以說是里程碑式的人工智能產品?!睍缫曆芯吭夯A科研負責人張祥雨表示,ChatGPT的核心技術是人工智能語言大模型,其關鍵是如何讓人工智能模型具備邏輯推理能力,以及如何讓人工智能學習全互聯網的知識。這些ChatGPT基本都做到了,因此在決策和知識環節有了很大的突破。

國內多家科技機構已布局相關領域

據外媒報道,多家國外科技巨頭正重金投入預訓練模型和人工智能生成內容(AIGC)賽道。記者了解到,國內已有不少科技機構和企業布局相關領域。

張家興告訴記者,IDEA研究院認知計算與自然語言研究中心在此方向上布局已久,該中心擁有國內最大的開源模型體系——封神榜,已開源的98個模型正在全力支持中國AIGC的發展,探索研發適配各個領域的個性化可定制模型,支持全部自然語言處理(NLP)任務。

“很高興能在深度學習高速發展的第十年節點上,看到AIGC和ChatGPT的出現,今天所有這些自然語言處理任務正在被統一到ChatGPT模式下,我們也正在整合之前的模型和技術,推出我們的類ChatGPT模型?!睆埣遗d說。

記者從百度獲悉,百度已投入開發類似ChatGPT的相關技術,該項目名字確定為文心一言,英文名ERNIE Bot,3月份完成內測后面向公眾開放。目前,文心一言在做上線前的沖刺。

“ChatGPT主要涉及自然語言處理相關技術,屬于認知智能領域的應用之一,科大訊飛在該方向的技術和應用方面具備長期深厚的積累?!?月8日晚,科大訊飛在投資者互動平臺回應稱,公司已面向認知智能領域陸續開源了6大類、超過40個通用領域的系列中文預訓練語言模型,并于去年12月啟動生成式預訓練大模型任務攻關,人工智能學習機將成為該項技術率先落地的產品,今年5月將進行產品級發布。

此外,360公司2月7日在投資者互動平臺表示,該公司也計劃盡快推出類ChatGPT技術的原型版產品?!癆IGC技術除了在搜索引擎的應用之外,還可以輔助數字安全能力的提升?!?60公司稱。

(本報記者操秀英、劉艷對此文亦有貢獻)

備案號:贛ICP備2022005379號
華網(http://www.www489tv.com) 版權所有未經同意不得復制或鏡像

QQ:51985809郵箱:51985809@qq.com

主站蜘蛛池模板: 国产大学生一级毛片绿象| 男人边摸边吃奶边做下面| 无码精品久久久久久人妻中字| 午夜精品不卡电影在线观看| 女人隐私秘视频黄www免费| 日韩在线视频免费看| 啊灬啊灬别停啊灬用力| 99精品国产高清一区二区| 欧洲多毛裸体xxxxx| 国产一区二区精品久久岳| 777米奇影视盒| 日韩一区二区三区电影| 亚洲综合久久精品无码色欲| 黄色网址免费观看| 打开腿给医生检查黄文| 人人妻人人添人人爽日韩欧美| 边吃奶边摸下我好爽视频免费| 国产美女一级高清免费观看| 久久国产成人精品国产成人亚洲| 毛片免费观看的视频在线| 国产成人欧美一区二区三区vr| 两个漂亮女百合啪啪水声| 欧美黑人巨大videos在线| 国产小视频免费观看| 一本大道香蕉在线观看| 欧美色图亚洲自拍| 午夜成人无码福利免费视频| 黄色a级片网站| 好好的曰com久久| 亚洲一区二区三区偷拍女厕| 美女张开腿让男人桶的动态图 | 无遮挡很爽很污很黄在线网站| 亚洲专区欧美专区| 波多野结衣久久高清免费| 国产在线观a免费观看| 一个人看的片免费高清大全| 欧美xxxxx在线观看| 亚洲精品视频免费看| 精品国产一区二区三区香蕉| 国产精品三级国语在线看| a级成人毛片免费视频高清|