財(cái)聯(lián)社2月24日訊（編輯 黃君芝）上周末，社交媒體X上有一條關(guān)于“未來(lái)AI競(jìng)爭(zhēng)趨勢(shì)”的推文引起了馬斯克的興趣，并獲得了其“手動(dòng)點(diǎn)贊”。而且，馬斯克旗下的xAI也剛好在上周正式發(fā)布了Grok 3大模型。

這篇推文是由美國(guó)著名TMT（科技、媒體和通信）投資人Gavin Baker發(fā)布，馬斯克對(duì)此評(píng)論道：“分析得很好”。那么，下面就讓我們來(lái)看下Gavin Baker究竟表達(dá)了什么內(nèi)容。

先說(shuō)結(jié)論：Baker認(rèn)為，AI產(chǎn)業(yè)格局的變革正在加速，OpenAI在未來(lái)的領(lǐng)先優(yōu)勢(shì)將會(huì)縮小。未來(lái)，數(shù)據(jù)將成為競(jìng)爭(zhēng)核心，無(wú)法獲得獨(dú)特、有價(jià)值數(shù)據(jù)的前沿模型是歷史上貶值最快的資產(chǎn)。就這一點(diǎn)來(lái)看，谷歌、Meta等巨頭可以通過(guò)壟斷數(shù)據(jù)構(gòu)建“護(hù)城河”。

具體而言，Baker指出，從2022年夏季到2024年春季，OpenAI一直處于領(lǐng)先地位，但后來(lái)谷歌和Anthropic趕上了GPT-4。由于其先發(fā)優(yōu)勢(shì)，以及積極押注傳統(tǒng)的預(yù)訓(xùn)練“縮放定律”（Scaling Law），OpenAI公司占據(jù)了逾7個(gè)季度的主導(dǎo)地位。

Scaling Law也稱尺度定律，被業(yè)界認(rèn)為是大模型預(yù)訓(xùn)練第一性原理。在機(jī)器學(xué)習(xí)領(lǐng)域，特別是對(duì)于大型語(yǔ)言模型而言，模型性能與其規(guī)模（如參數(shù)數(shù)量）、訓(xùn)練數(shù)據(jù)集大小以及用于訓(xùn)練的計(jì)算資源之間存在的一種可預(yù)測(cè)的關(guān)系。

Baker指出，“Scaling Law”的優(yōu)勢(shì)窗口正在關(guān)閉。

他寫(xiě)道：“Google的Gemini、xAI的Grok-3，以及Deepseek的最新模型，均已達(dá)到與GPT-4相近的技術(shù)水平。就連OpenAI創(chuàng)始人奧爾特曼也指出，OpenAI未來(lái)的領(lǐng)先優(yōu)勢(shì)將更加狹窄。微軟CEO納德拉表示，OpenAI在模型能力方面領(lǐng)先的獨(dú)特時(shí)期即將結(jié)束?！?/p>

“在我看來(lái)，這就是為什么納德拉選擇不為OpenAI提供1600億美元的預(yù)訓(xùn)練資金。”Baker補(bǔ)充道。

據(jù)媒體此前報(bào)道，微軟內(nèi)部備忘錄顯示，由于預(yù)訓(xùn)練邊際效益遞減，原計(jì)劃投入160億美元升級(jí)預(yù)訓(xùn)練基礎(chǔ)設(shè)施的方案已被叫停，微軟轉(zhuǎn)而專注于為OpenAI提供推理算力以獲取收益。

納德拉此前也曾表示，數(shù)據(jù)中心可能建設(shè)過(guò)剩，租賃優(yōu)于自建，微軟甚至可能會(huì)使用開(kāi)源模型來(lái)支持CoPilot。Baker認(rèn)為，這預(yù)示著單純依靠規(guī)模擴(kuò)張建立壁壘的“預(yù)訓(xùn)練時(shí)代”已走向終結(jié)。

數(shù)據(jù)“獨(dú)一無(wú)二”

在如此的背景下，大模型層出不窮、而模型架構(gòu)又大差不差，Baker認(rèn)為，“獨(dú)一無(wú)二”的數(shù)據(jù)資源才是決勝的關(guān)鍵。他進(jìn)一步指出，谷歌和Xai都擁有獨(dú)特的、有價(jià)值的數(shù)據(jù)來(lái)源，這將使它們與Deepseek、OpenAI和Anthropic越來(lái)越不同。

“我多次轉(zhuǎn)述EricVishria的話，無(wú)法獲得獨(dú)特、有價(jià)值數(shù)據(jù)的前沿模型是史上貶值最快的資產(chǎn)，而蒸餾只會(huì)放大這一點(diǎn)。”他寫(xiě)道。

大模型蒸餾（Large Model Distillation），簡(jiǎn)單來(lái)說(shuō)，就是將一個(gè)復(fù)雜的大模型（教師模型）的知識(shí)遷移到一個(gè)較小的模型（學(xué)生模型）中。就像老師把自己淵博的知識(shí)傳授給學(xué)生，讓學(xué)生能夠在資源有限的情況下，盡可能地表現(xiàn)出和老師相似的能力。

Baker還指出，如果未來(lái)前沿模型無(wú)法訪問(wèn)YouTube、X、TeslaVision、Instagram和Facebook 等獨(dú)特而有價(jià)值的數(shù)據(jù)，則可能沒(méi)有任何投資回報(bào)率。獨(dú)特的數(shù)據(jù)可能最終成為預(yù)訓(xùn)練數(shù)萬(wàn)億或千萬(wàn)億參數(shù)模型的差異化和ROI（投資回報(bào)率）的唯一基礎(chǔ)。

格局變化

Baker總結(jié)稱，如果這是正確的，那么巨型數(shù)據(jù)中心只需要2-3個(gè)，推理所需算力占95%。AI計(jì)算的其余部分將是較小的數(shù)據(jù)中心，這些數(shù)據(jù)中心在地理空間上進(jìn)行了優(yōu)化，以實(shí)現(xiàn)低延遲和/或成本效益推理。

他解釋稱，成本效益推理=更便宜的電力（核能的溢價(jià)更低），基于量化壓縮技術(shù)（如Deepseek R1的1-bit LLM）支撐低成本推理。

Baker總結(jié)稱，與之前那種預(yù)訓(xùn)練和推理階段計(jì)算資源分配大致各占一半的情況不同，現(xiàn)在會(huì)變成預(yù)訓(xùn)練占 5%，推理階段占95%。卓越的基礎(chǔ)設(shè)施將至關(guān)重要。

最后，他還提到，如果OpenAI在5年后仍然是該領(lǐng)域的領(lǐng)導(dǎo)者，那可能是因?yàn)橄劝l(fā)優(yōu)勢(shì)和規(guī)模優(yōu)勢(shì)，以及產(chǎn)品影響力。

“時(shí)間會(huì)證明一切?！彼麑?xiě)道。