(資料圖)
中新網上海4月4日電(記者 陳靜)復旦大學計算機科學技術學院教授、MOSS系統負責人邱錫鵬4日對記者表示,好的語言模型需要更好地理解語言與常識。情景學習、思維鏈和自然指令學習是語言模型的關鍵技術。
邱錫鵬教授認為,大型語言模型技術的快速演進,已經給人類展現出一個通向“通用人工智能”未來的大框架,下一步最重要的是讓大模型和現實世界“對齊”,保證模型對人類的可信、誠實、有助、無害至關重要。
邱錫鵬解釋,情景學習,即在上下文語境中學習的能力。語言模型會在“提示詞”(prompt)中附帶一些例子作為“上文”輸入,再預測并輸出下文,這就改變了傳統的學習范式,可以大幅降低下游開發成本。
思維鏈,指的是做大模型示例的時候不要只給答案,也要給它推導過程,語言模型學習這個推導過程,最終給出一個正確的答案。他認為,這是突破模型參數約束、實現“涌現”能力的關鍵技術。自然指令學習,則是讓模型能直接理解人類指令,模型從指令中學習判斷能力,不斷“對齊”人類的真實意圖。
邱錫鵬教授主持研發的MOSS系統將于4月中旬開源。他直言,該系統在推理能力和事實類知識方面還需提升。這主要是由于參數規模不足造成的,可以通過擴大模型規模來實現。這位學者指出:“首先是對語言模型基座進行架構優化,將面臨輸入長度、中文編碼、多模態接入等幾重挑戰;其次是指令微調,難度遠高于預訓練,而讓模型的回答‘對齊’人類思維習慣也非常困難;再次是能力強化?!?/p>
“在讓模型自我學習、自我迭代的過程中,最重要的就是人必須參與其中,以保持機器與人類價值觀、思維方式的對齊,否則就可能會離我們人類的偏好越來越遠?!彼赋?,當語言模型向人類的價值觀和思維方式對齊,并應用于真實世界,無疑將顛覆各個行業生態。
記者了解到,在由復旦大學管理學院主辦的復旦科創先鋒論壇上,嘉賓們聚焦“大型語言模型引發的時代變革”,就人工智能的現狀和未來展開對話,進一步討論了人類可能將要面臨的時代變革。
作為從事人工智能技術產品化的業界人士,沈李斌看到的則更多是如何用AI替代掉簡單重復人類勞動的問題。他介紹,目前客服機器人已經替代了不少的人工。“人類的精力就可以留做一些更積極主動的工作?!鄙蚶畋笳J為,這種生成式能力將在企業里發揮非常重要的作用,提高各個流程的效率。同時,基于生產力的解放,很多企業與企業之間的上下游關系也將產生變化,大量結構性的機會正孕育其中。
對此,邱錫鵬教授認為,人類具有適應性和靈活性,更擅長的是利用AI的能力把工作做到更好。在這樣的背景下,人類的思考和判斷能力需要再度強化,變得更加明確。他表示,目前為止AI依然在可控范圍內發展,但當它成為某種基礎設施后,如何控制其能力就將變得十分關鍵,相關的法律法規、政府的重視、社會的認同,都將參與進整個生態中來。(完)