未來汽車(未來汽車創始人是誰)
商湯絕影智能座艙
“未來汽車智能化的競爭,本質上是通用人工智能技術融合應用的比拼。”在北京車展上,商湯科技聯合創始人、首席科學家、絕影智能汽車事業群總裁王曉剛判斷說。
與傳統燃油車強調引擎動力、操控性能不同,新能源車市場有兩大普適性的核心賣點,一個是智能駕駛,另一個則是智能座艙。隨著大模型的出現和普及,智能駕駛也好,智能座艙也好,都受到了極大的改變和沖擊。
那么,在生成式人工智能爆火一年后,大模型究竟該用什么樣的方式上車?
從2024年的北京車展上,可以明顯看到車企們紛紛大張旗鼓地擁抱大模型,不僅僅是在技術層面深入布局,而且還在通過智能座艙、智能駕駛等多種用戶場景出發來探索大模型的落地機會。
王曉剛在溝通中也強調說,今年商湯絕影主要就兩件事,第一個是端到端的自動駕駛要落地,第二個是多模態的大模型,包括駕駛跟座艙結合也要實現落地的突破。
智能座艙不是機械搬運手機端APP作為駕駛員及乘客最容易感知的智能化體驗,智能座艙的交互設計也同樣是消費者購車與否的重要理由。當前主流車企均在智能座艙上發力,實際上智能座艙也已經成為電動車市場的“兵家必爭之地”。
王曉剛表示,汽車是一個落地大模型非常好的場景,甚至比手機還要好,特別是對于多模態的大模型。
但是智能座艙也存在諸多待解決的問題。一方面,傳統的智能座艙設計往往以單點功能為主,不同功能之間相互獨立,用戶體驗不夠流暢,孤立、離散的功能組合稱不上是真正的智能座艙。
另一方面, 當前很多座艙大模型僅僅是將PC端或手機端的大模型APP簡單地搬運到車內,而非針對座艙場景專項定制。由于手機和座艙在交互邏輯、顯示方式等都存在顯著差異,這樣的機械式搬運難以提供良好的人機交互體驗。
對此,王曉剛介紹說,商湯絕影基于多模態大模型、語言大模型、文生圖大模型、“大醫”大模型等能力組合,商湯絕影以多模態場景大腦為核心,推出了AI大模型座艙產品矩陣。
多模態場景大腦可以讓智能汽車全景感知和深度理解用戶需求和周圍環境,并以場景大腦為核心打通不同應用,可以全局調用車上開放的軟硬件服務,將離散的單點功能聚合在一起,從而為用戶提供更多深度個性化的主動關懷和服務。
除了基于地理位置推薦符合用戶喜好的餐廳、介紹用戶感興趣的外部自然景物,并進行優質景點推薦這樣的基礎功能。還可以感知車外信息,包括周圍車輛的車型、標志性建筑物等,以語音、圖片或視頻等方式為艙內人員提供更為準確和全面的內容,幫助用戶了解和掌握外部環境信息。
大模型上車的能力不止于此。王曉剛指出,根據對于用戶行程安排和實時交通數據的精準分析,結合用戶的表情和語氣,商湯絕影“場景大腦”能夠及時發現駕駛員可能面臨的遲到風險,并提供兩條可選路線與預計抵達時間,用戶可通過手勢或語音命令進行確認。同時,在得到確認后,系統還可以根據用戶的表達習慣向相關會議參與者發送通知,告知相關情況。
對于落地的進展,據王曉剛介紹說,目前廣汽、蔚來、長安、奇瑞都是座艙重要的客戶,“還有一些量產項目現在正在談,到明年就可以有落地的。”
“兩段式”端到端,難以解決智駕性能瓶頸2024年智能駕駛最重要的技術趨勢,非端到端自動駕駛莫屬。
有別于傳統的智駕算法,端到端自動駕駛方案是指以最終的駕駛性能為目標,通過一種集成化的方式處理自動駕駛任務,從感知到決策再到控制的整個流程都依靠Transformer神經網絡模型完成。
去年 12 月底,理想 AD MAX3.0 系統在端到端架構下,整合了 BEV 模型、MPC 模型預測控制以及時空聯合規劃等能力;蔚來將在今年上半年上線“基于端到端”的主動安全功能;小鵬的下一步也是實現端到端模型全面上車。
目前,市面上不少端到端方案是在感知和決策兩個模塊分別搭建一個大模型框架,更容易實現落地,但“‘兩段式’端到端方案的感知和決策兩個模型之間傳輸的信息是人為定義的顯性信息,數據傳遞仍然會有過濾和丟失。”王曉剛解釋說。
2022年底商湯絕影提出了感知決策一體化方案,并在次年獲得了CVPR的最佳論文。商湯絕影UniAD方案則是將感知、決策、規劃等模塊都整合到一個全棧Transformer端到端模型,實現感知決策一體化,不需要對感知數據進行抽象和逐級傳遞,“所見即所得”,將原始信息直接輸入到端到端模型中,然后以自車軌跡規劃為準進行指令輸出。
在北京車展上,商湯絕影發布了下一代自動駕駛技術——DriveAGI的前瞻預覽,它是基于多模態大模型對端到端智駕方案進行改進和升級。
王曉剛表示,汽車技術還在快速的發展,不是到了已經停滯的狀態,如果停滯那想得更多是降本增效,怎么去減少研發的投入,提高性價比。但今天各種新的技術層出不窮,各種軟硬件的架構不斷更新迭代,所以還是需要去加大投入的過程。
雖然自2016年,商湯就開始進行智能駕駛方面的研究,2017年與本田建立了長期戰略合作,但動靜并不算大。一直以來,商湯給外界的認知仍然主要是AI公司。
王曉剛也坦言,汽車是一個比較長期的行業,商湯自身是一個AI的公司,在汽車行業的時間還不長。不過,他也表示,“在過去幾年商湯有一些比較關鍵的項目交付,在這過程中,克服了很多困難并完成交付,大家的信任度會加深。另外我們也引進了一批汽車行業方面的專業人才,從產品設計、商業模式、工程落地等各個方面能提升自身能力。”
2021年商湯科技推出“SenseAuto絕影”智能汽車平臺,并于后續成立了絕影智能汽車事業群,進一步明確了智能座艙、智能駕駛、車路協同三大業務板塊的全棧體系。
據鈦媒體App了解,截至2023年12月,商湯絕影已與本田、比亞迪、長城、廣汽、紅旗、極氪、哪吒、奇瑞、蔚來等超過30家國內外車企合作,覆蓋超90款車型,累計交付195萬輛智能汽車。
除了在汽車行業的積累之外,王曉剛也提到了另一個挑戰,就是技術的發展比較快,比如大模型以及相應的落地,這些都需要一個行業認知的過程。
為了讓行業有更快的認知,商湯選擇有代表性的客戶進行合作。比如,前不久上市的小米SU7將AI大模型帶進座艙,而商湯“日日新”大模型也全面助力小愛同學車載語音場景應用。
王剛透露,近期大火的小米SU7也由小愛同學為車主提供智能交互體驗,“不同于生成圖文,車上大模型是完全不一樣的設計體驗,在這方面我們與商湯一起做車上大模型的適配”。
不過,汽車場景與手機場景雖有通用之處,但彼此之間也會存在不少差異。
比如,因為車艙、車外本身有攝像頭,所以用戶可以直接針對攝像頭問各種問題,甚至用戶不問汽車也可以根據用戶的狀態會主動的發問。但這就需要涉及到隱私的保護、延遲等問題。
對此,商湯會更多地把一些從云端調用的大模型部署到終端。“我們1.8B的小模型就可以部署到終端,大大提升體驗。”王曉剛說到。
現在,智能化已經成為了汽車行業的兵家必爭之地,車企、智駕技術公司、互聯網大廠、AI公司紛紛涉足其中。
王曉剛在談到競爭時也表示,競爭是一個綜合因素,不是光有技術路線就可以了。首先技術方向的選擇是很重要的,如果選錯了技術方向,很多的資源、時間都錯過了。另外除了技術方向,還要有比較好的產品設計。“有了好的技術不一定能有好的產品。有了好的產品也不一定有好的商業模式能賺到錢。在這過程中還有交付落地、工程質量、跟車企的合作模式都是比較重要的。”
從8年前布局汽車產業開始,商湯科技已經拿到了一些車型的訂單與落地項目。看起來,商湯絕影已經將智能化的入場券握在了手里,但是能否脫穎而出,還需要更多的量產項目來證明。
(本文首發于鈦媒體App,作者|韓敬嫻,編輯|張敏)