AI多模態(tài)浪潮來了!ChatGPT迎重磅升級 算力需求噴發(fā)可期
原創(chuàng)
2023-09-26 10:40 星期二
科創(chuàng)板日報 鄭遠(yuǎn)方
①最新的ChatGPT能講故事、進(jìn)行語音對話,還會看圖;
②OpenAI將能看圖的模型稱作GPT-4V(ision),還測試了GPT-4V的驗證碼破解及地理定位能力;
③語音與圖像數(shù)據(jù)大小顯著高于文本,券商指出,多模態(tài)大模型的訓(xùn)練推理算力需求將大幅攀升。

《科創(chuàng)板日報》9月26日訊(編輯 鄭遠(yuǎn)方) 當(dāng)?shù)貢r間25日,OpenAI宣布ChatGPT迎來重磅更新:這個聊天機(jī)器人如今“會看、會說、會聽”——換言之,ChatGPT加入了語音與圖像功能。未來兩周內(nèi),Plus用戶與企業(yè)用戶便能體驗新功能,開發(fā)人員等其他用戶群體也有望在不久的將來體驗。

其中,最受外界關(guān)注的是ChatGPT的圖像理解能力。據(jù)介紹,用戶可以向ChatGPT展示一張或多張圖片,排查為何燒烤爐無法啟動,檢查冰箱里的菜能做什么美食,或分析復(fù)雜圖表得出數(shù)據(jù)。若想讓ChatGPT關(guān)注圖片中的特定部分,還可以使用APP中的繪圖工具高亮標(biāo)注。

在OpenAI給出的示例視頻中可以看到,當(dāng)用戶向ChatGPT發(fā)送一張自行車照片、詢問如何調(diào)低車墊時,ChatGPT不僅會自發(fā)觀察自行車型號、辨認(rèn)零部件、給出詳細(xì)步驟,還會看說明書,并分辨用戶現(xiàn)有工具能否完成這項工作。

image

值得注意的是,同日發(fā)布的一篇論文中,OpenAI將這一能看圖的模型稱作GPT-4V(ision)。該模型在2022年已完成訓(xùn)練,之后在2023年早些時候開始早期測試訪問。

借助GPT-4V,今年3月OpenAI與Be My Eyes組織合作開發(fā)Be My AI,可為盲人與視力障礙人士描述外界世界。測試表明,Be My AI可為50萬盲人和視力障礙用戶提供工具,滿足他們在信息、文化和就業(yè)方面的需求。

另外,OpenAI還測試了GPT-4V的驗證碼破解及地理定位能力,前者表明模型具備解決謎題與執(zhí)行復(fù)雜視覺推理任務(wù)的能力,后者則展現(xiàn)出了模型在搜索物品/地點(diǎn)的用處。但這兩項功能將涉及網(wǎng)絡(luò)安全及隱私問題。

至于本次更新的另一語音識別與生成功能,OpenAI表示,用戶可以用這一功能為孩子講述睡前故事,還可以在吵架時作為幫手。

OpenAI與專業(yè)配音演員合作,提供了5種不同的聲音。另外,公司還與Spotify展開合作,通過這一功能將播客翻譯為其他語言,同時保留播客主持人的聲音。

image

值得一提的是,數(shù)據(jù)顯示,近期ChatGPT流量回升。SimilarWeb數(shù)據(jù)顯示,9月11日那一周,ChatGPT流量較前一周增長約12%。另一家分析公司Sensor Tower報告稱,8月最后兩周全球ChatGPT應(yīng)用程序用戶每周增長超過10%。據(jù)悉,流量增長的主要原因為學(xué)生開始返校,且印度及巴西市場迎來增長。

▌多模態(tài)大模型成兵家必爭之地 算力需求顯著攀升

如今,多模態(tài)功能已成為各家AI大模型的必爭之地。Meta最近推出AudioCraft,通過AI生成音樂;谷歌Bard及必應(yīng)機(jī)器人均已部署多模式功能;蘋果也在試驗AI生成語音Personal Voice。

隨著AI感知、交互與生成能力快速發(fā)展,應(yīng)用場景與生態(tài)也有望進(jìn)一步豐富。而語音與圖像數(shù)據(jù)大小顯著高于文本,券商指出,多模態(tài)大模型的訓(xùn)練推理算力需求將大幅攀升。

例如被谷歌寄予厚望的多模態(tài)大模型Gemini,據(jù)SemiAnalysi分析師Dylan Patel和Daniel Nishball透露,其已開始在TPUv5 Pod上進(jìn)行訓(xùn)練,算力高達(dá)~1e26 FLOPS,是訓(xùn)練GPT-4所需算力的5倍

華為副董事長、輪值董事長、CFO孟晚舟日前也表示,“人工智能的發(fā)展,算力是核心驅(qū)動力。大模型需要大算力,算力大小決定著AI迭代與創(chuàng)新的速度,也影響著經(jīng)濟(jì)發(fā)展的速度。算力的稀缺和昂貴,已經(jīng)成為制約AI發(fā)展的核心因素。”

國信證券指出,AI三元素(大模型、算力、應(yīng)用)呈螺旋式促進(jìn)關(guān)系。AI三元素以“模型更新-算力芯片迭代、單位tokens成本降低-應(yīng)用增加”循環(huán)往復(fù),當(dāng)三者中有一個要素噴發(fā),就是強(qiáng)刺激期;三者同時沒有更新,就會進(jìn)入停滯期,等待下次爆發(fā)。

image

多模態(tài)大模型是未來發(fā)展趨勢。通過將不同數(shù)據(jù)類型相互關(guān)聯(lián)結(jié)合,可以大幅提高模型準(zhǔn)確性和魯棒性,應(yīng)用場景進(jìn)一步拓展。

同時,3月谷歌發(fā)布多模態(tài)具身視覺語言模型(VLM)PaLM-E,其可用于機(jī)器人領(lǐng)域;7月谷歌發(fā)布新一代視覺-語言-動作(VLA)模型Robotics Transformer 2(RT-2),專用于機(jī)器人領(lǐng)域,看好大模型賦能機(jī)器人趨勢,分析師看好大模型賦能機(jī)器人。

收藏
125.37W
我要評論
歡迎您發(fā)表有價值的評論,發(fā)布廣告和不和諧的評論都將會被刪除,您的賬號將禁止評論。
發(fā)表評論
要聞
股市
關(guān)聯(lián)話題
4.25W 人關(guān)注
2.16W 人關(guān)注
8834 人關(guān)注
6.67W 人關(guān)注
1.3W 人關(guān)注
9138 人關(guān)注