月之暗面楊植麟復(fù)盤(pán)大模型創(chuàng)業(yè)這一年：向延綿而未知的雪山前進(jìn)

激石Pepperstone(http://dsgkdz.com/)報(bào)道：

就在一年以前，AI科學(xué)家楊植麟在硅谷做了一筆精確的計(jì)算。他意識(shí)到，如果決定啟動(dòng)一場(chǎng)以AGI為目標(biāo)的大模型創(chuàng)業(yè)，要在未來(lái)幾個(gè)月立馬籌措超1億美金資本。

然而，這僅僅只是一張入場(chǎng)券。一年后，這個(gè)數(shù)字翻了13倍。

大模型公司的競(jìng)爭(zhēng)，與其說(shuō)是一場(chǎng)科學(xué)競(jìng)爭(zhēng)，不如說(shuō)首先是一場(chǎng)殘酷的金錢(qián)角力。在資本方捂緊口袋的情況下，你要領(lǐng)先對(duì)手找到更多的錢(qián)，購(gòu)買(mǎi)更多的卡，搶奪更多的人才。

“它需要人才聚集、資本聚集?！背闪⒂?023年3月1日的大模型公司月之暗面（Moonshot AI）創(chuàng)始人兼CEO楊植麟說(shuō)。

過(guò)去一年，國(guó)產(chǎn)大模型公司似乎處在一種緊迫而逼仄的生存邊緣?？瓷先?，他們每個(gè)都手握重金。但一方面，他們要把剛?cè)诘腻X(qián)，立馬投入極高昂的科研中追趕OpenAI——先是追齊GPT-3.5，沒(méi)等追上GPT-4，Sora又來(lái)了；另一方面，他們要馬不停蹄在落地場(chǎng)景上找可能，自我驗(yàn)證你是一家公司、而不是只會(huì)吞噬資本金的研究所；這還不夠，每個(gè)項(xiàng)目不管是上市還是并購(gòu)，出路更是毫不明朗。

在中國(guó)大模型創(chuàng)始人中，楊植麟年紀(jì)最輕，于1992年出生。業(yè)界評(píng)價(jià)他是堅(jiān)定的AGI信徒和有技術(shù)號(hào)召力的創(chuàng)始人。他的學(xué)習(xí)與工作履歷很多與通用AI相關(guān)，論文引用超22000次。

對(duì)于大模型，中國(guó)科技界于2023年中從狂熱驟然轉(zhuǎn)冷，進(jìn)入加速落地的實(shí)用主義主旋律。這不免讓大模型CEO們處于理想與現(xiàn)實(shí)的劇烈拉扯之間。在人人喊PMF（Product/Market Fit，產(chǎn)品/市場(chǎng)契合）、人人喊商業(yè)化的中國(guó)AI生態(tài)里，這位AI研究員出身的創(chuàng)始人倒不那么著急。

月之暗面是頭部國(guó)產(chǎn)大模型公司中，人數(shù)最少的一家，為80人。他沒(méi)有像他的對(duì)手那樣，做更穩(wěn)妥的to B生意，或是在醫(yī)療、游戲等細(xì)分場(chǎng)景中找落地，而是做且只做了一款to C產(chǎn)品——智能助手Kimi，支持20萬(wàn)漢字輸入。Kimi也是楊植麟的英文名。

楊植麟傾向于將他的公司看作是，構(gòu)建一個(gè)結(jié)合科學(xué)、工程和商業(yè)的系統(tǒng)。你可以想象成，他要在人類(lèi)世界上空，架起一張AI實(shí)驗(yàn)臺(tái)，一手做實(shí)驗(yàn)，一手將尖端技術(shù)落進(jìn)真實(shí)世界，通過(guò)與人類(lèi)互動(dòng)找到應(yīng)用機(jī)會(huì)，再將應(yīng)用送入消費(fèi)者手中。理想狀況是，前者燒掉數(shù)以十億、百億計(jì)資本；后者再把這些錢(qián)數(shù)成百上千倍地掙回來(lái)——怎么聽(tīng)，都像“走鋼絲”一樣驚險(xiǎn)。

“AI不是我在接下來(lái)一兩年找到什么PMF，而是接下來(lái)十到二十年如何改變世界?！彼f(shuō)。

這種抽象和理想主義的思考，令人不免替他捏一把冷汗：一位年輕的AI科學(xué)家，在現(xiàn)實(shí)主義的中國(guó)能否找到生存空間？

2024年2月，月之暗面逆勢(shì)完成一筆大額融資。據(jù)了解，它以15億美金投前估值完成超10億美元B輪，阿里領(lǐng)投，礪思資本、小紅書(shū)等跟投，該筆交易完成后，月之暗面投后估值約25億美元——由此，它成為中國(guó)大模型賽場(chǎng)上現(xiàn)階段估值最高的一家獨(dú)角獸。（他們拒絕回應(yīng)和評(píng)論此事。）

就在第三筆融資的過(guò)程中，我們和楊植麟聊了聊他過(guò)去一年創(chuàng)業(yè)故事，這也是國(guó)產(chǎn)大模型搶跑一年的截面縮影。

他的公司沒(méi)有選址在大模型企業(yè)聚集地，北京搜狐網(wǎng)絡(luò)大廈。對(duì)于一家融資總額約90億元人民幣的公司，這間位于量子芯座的辦公室，顯得簡(jiǎn)陋又破舊。門(mén)口連公司logo都沒(méi)有，只有一架白色鋼琴守在門(mén)口。

會(huì)議室在一個(gè)角落，由于窗戶小黑漆漆的，冬天送來(lái)暖風(fēng)的空調(diào)機(jī)器嗡嗡作響。暗沉的光亮中，楊植麟形容自己過(guò)去一年的感知：“有點(diǎn)像開(kāi)車(chē)在路上，前面有延綿的雪山，但你不知道里面是什么，你在一步一步往前走。”

以下是對(duì)楊植麟的訪談全文。（為方便閱讀，作者做了一些文本優(yōu)化）

站在開(kāi)端，“要ride the wave”

騰訊新聞《潛望》：最近你的狀態(tài)怎么樣？

楊植麟：忙啊，事情很多。但還是很興奮。站在產(chǎn)業(yè)開(kāi)端，有巨大想象空間。

騰訊新聞《潛望》：我剛進(jìn)來(lái)看到你們公司門(mén)口放了一架純白色鋼琴。

楊植麟：上面還有一張Pink Floyd專輯。我都不知道誰(shuí)放的，前兩天突然看到，沒(méi)來(lái)得及問(wèn)。（Pink Floyd是發(fā)布專輯《月之暗面》的英國(guó)搖滾樂(lè)隊(duì)）

騰訊新聞《潛望》：2022年11月，ChatGPT發(fā)布那天，你在做什么？

楊植麟：我正在籌備這個(gè)事，找人組團(tuán)隊(duì)，碰撞一些新認(rèn)知?？吹紺hatGPT很激動(dòng)。放到三五年前，甚至2021年，都是不可思議的。這種高階推理能力過(guò)去很難做到。

我預(yù)感市場(chǎng)會(huì)發(fā)生很多變量：一方面是資本，一方面是人才，這是做AI的核心生產(chǎn)要素。如果變量成立，我們就有可能正兒八經(jīng)搞一家公司做這件事——一個(gè)為AGI搭建的組織從0到1存在可能性，這是很大的頓悟。獨(dú)立公司更make sense，但不是你想做馬上就能做，ChatGPT刺激了變量，使生產(chǎn)要素齊全。還是要ride the wave。

騰訊新聞《潛望》：你在決定創(chuàng)立一家AGI公司后，做了哪些準(zhǔn)備？怎么湊齊資本和人才這兩個(gè)生產(chǎn)要素？

楊植麟：是曲折的過(guò)程。ChatGPT擴(kuò)散需要時(shí)間。有的人知道得早，有的人知道得晚，有的人一開(kāi)始懷疑、后面變成震驚、再變成相信。找人找錢(qián)，跟timing結(jié)合得很緊。

我們2023年2月開(kāi)始集中做第一輪融資。如果delay（延遲）到4月，基本沒(méi)機(jī)會(huì)了。但如果2022年12月或2023年1月做也沒(méi)機(jī)會(huì)，當(dāng)時(shí)有疫情，大家沒(méi)反應(yīng)過(guò)來(lái)——所以，真正窗口就是一個(gè)月。

當(dāng)時(shí)，在美國(guó)有一個(gè)晚上，我做了精確的計(jì)算。算完覺(jué)得至少要在幾個(gè)月內(nèi)拿到1億美元。市場(chǎng)上很多人沒(méi)開(kāi)始融資，很多人覺(jué)得你這個(gè)不一定能融這么多錢(qián)。但后來(lái)證明是可以的，甚至比這個(gè)更多。

人才市場(chǎng)開(kāi)始流動(dòng)。受ChatGPT啟發(fā)，很多人在2023年3月或4月有這樣的realization（意識(shí)）：這是接下來(lái)十年唯一值得做的。要在正確時(shí)間積極觸達(dá)對(duì)的人。如果是前兩年，人才聚集度不會(huì)這么高。那時(shí)更多人做傳統(tǒng)AI，或者跟AI相關(guān)的業(yè)務(wù)，都不是通用AI。

騰訊新聞《潛望》：總結(jié)一下，2月是融資的窗口期，3月、4月是招人的窗口期？

楊植麟：差不多。

騰訊新聞《潛望》：你在美國(guó)那一晚是在哪算了這筆賬？具體怎么算的？

楊植麟：22年底到23年初，我在美國(guó)待了一兩個(gè)月，找人聊。

在我住的地方。算一下你對(duì)應(yīng)多少FLOPs（Floating Point Operations，每秒浮點(diǎn)運(yùn)算次數(shù)）、Training Cost（訓(xùn)練成本）、Inference（推理）、用戶量。

騰訊新聞《潛望》：彼時(shí)彼刻，硅谷沉浸在什么樣的情緒中？

楊植麟：這個(gè)產(chǎn)品開(kāi)始有很多early adopters（早期用戶），集中在技術(shù)圈，我們本身在這個(gè)圈子，感受更深刻。硅谷大廠每半年要寫(xiě)performance review（績(jī)效評(píng)估），開(kāi)始很多人用ChatGPT寫(xiě)。有的人平時(shí)寫(xiě)的語(yǔ)言不大professional（專業(yè)），用ChatGPT寫(xiě)，大家都一本正經(jīng)的樣子。

暗流涌動(dòng)。很多人考慮下一份工作去哪或者創(chuàng)業(yè)。很多和我們聊的朋友后來(lái)紛紛創(chuàng)業(yè)。而且，有很強(qiáng)FOMO情緒（Fear of Missing Out，害怕錯(cuò)過(guò)）。所有人每天睡不著覺(jué)。不管晚上12點(diǎn)、1點(diǎn)、2點(diǎn)，你去找，always大家都在。有點(diǎn)焦慮，有點(diǎn)FOMO，又很興奮。

騰訊新聞《潛望》：算出要融1億美金那晚，你算到了幾點(diǎn)？

楊植麟：還好吧，計(jì)算過(guò)程倒不用很久。

但算完我也不能跟太多人說(shuō)。說(shuō)了也沒(méi)有人覺(jué)得這事可以做。

技術(shù)師承，“把自己從無(wú)限雕花中解放出來(lái)”

騰訊新聞《潛望》：創(chuàng)投行業(yè)提到你會(huì)說(shuō)，“創(chuàng)始人很聰明，有技術(shù)號(hào)召力，團(tuán)隊(duì)里也有很多技術(shù)明星”。所以，聊大模型創(chuàng)業(yè)之前，想先聊聊你的學(xué)術(shù)背景。

你本科是清華計(jì)算機(jī)系，博士是卡耐基梅隆計(jì)算機(jī)學(xué)院，方向一直是AI嗎？

楊植麟：我是92年出生，11級(jí)本科，大二到現(xiàn)在十多年一直在這個(gè)方向。一開(kāi)始偏發(fā)散的探索，到處看看，跟圖或多模態(tài)都做過(guò)一些，2017年收斂到語(yǔ)言模型——當(dāng)時(shí)覺(jué)得語(yǔ)言模型是比較重要的問(wèn)題，后來(lái)覺(jué)得它是唯一重要的問(wèn)題。

騰訊新聞《潛望》：2017年AI業(yè)界對(duì)語(yǔ)言模型普遍是怎樣的認(rèn)知，后來(lái)如何演進(jìn)？

楊植麟：它（當(dāng)時(shí)）是用來(lái)給語(yǔ)音識(shí)別做排序的模型。（笑）當(dāng)你識(shí)別完一段語(yǔ)音，有很多結(jié)果，拿語(yǔ)言模型看到底哪個(gè)概率更大，輸出最有可能的結(jié)果，應(yīng)用非常有限。

但你發(fā)現(xiàn)它是根本問(wèn)題，因?yàn)槟阍趯?duì)這個(gè)世界概率建模。雖然語(yǔ)言局限，它是世界的投映；但理論上你把token space（所有可能的標(biāo)記組成的空間）做得更大，就可以構(gòu)建一個(gè)通用世界模型。世界上每樣?xùn)|西怎么產(chǎn)生、發(fā)展，都能給它分配一個(gè)概率。所有問(wèn)題都可以被歸結(jié)成怎么對(duì)概率估計(jì)。

騰訊新聞《潛望》：你學(xué)術(shù)生涯的導(dǎo)師很有名，博士導(dǎo)師是蘋(píng)果公司AI負(fù)責(zé)人Ruslan Salakhutdinov和Google AI智能首席科學(xué)家William W. Cohen。他們都既在產(chǎn)業(yè)界，又在學(xué)界。

楊植麟：產(chǎn)業(yè)界和學(xué)術(shù)界從前幾年有更多結(jié)合，現(xiàn)在趨勢(shì)在變化：更多有價(jià)值的突破會(huì)產(chǎn)生在工業(yè)界，這是發(fā)展的必然規(guī)律。先從探索性研究開(kāi)始，逐漸轉(zhuǎn)移到更成熟的工業(yè)化過(guò)程，但不意味著工業(yè)化過(guò)程中不需要研究，只是純研究會(huì)很難做出有價(jià)值的突破。

騰訊新聞《潛望》：從這幾位頗有名望的導(dǎo)師身上學(xué)到了什么？

楊植麟：我學(xué)習(xí)到最多是在Google，實(shí)習(xí)了很長(zhǎng)時(shí)間。2018年底開(kāi)始做基于Transformer的語(yǔ)言模型，最大learning是從無(wú)限雕花中把自己釋放出來(lái)，這很關(guān)鍵。

應(yīng)該看什么是大方向、大梯度。當(dāng)你眼前有十條路，一般人考慮我走這條路前面有一個(gè)行人怎么剎車(chē)，是短期細(xì)節(jié)，但這十條路到底選哪一條最重要。

這個(gè)領(lǐng)域在之前有這樣的問(wèn)題。比如，在只有一兩百萬(wàn)token（標(biāo)記）的數(shù)據(jù)集上，看perplexity（困惑度，衡量模型在預(yù)測(cè)序列時(shí)的不確定性或混亂度）怎么降得更低，loss（損失，模型在訓(xùn)練過(guò)程中的誤差或損失函數(shù)的值）怎么降得更低，怎么提升準(zhǔn)確率，你會(huì)陷入無(wú)限雕花。有人發(fā)明很多詭異的architecture（架構(gòu)），這些是雕花技巧。雕花之后可能在這種數(shù)據(jù)集上變好，但沒(méi)看到問(wèn)題本質(zhì)。

本質(zhì)在于，要去分析這個(gè)領(lǐng)域缺少的是什么？第一性原理是什么？

Scaling law為什么能成為第一性原理？你只要能找到一個(gè)結(jié)構(gòu)，滿足兩個(gè)條件：一是足夠通用，二是可規(guī)模化。通用是你把所有問(wèn)題放到這個(gè)框架建模，可規(guī)?；侵灰阃度胱銐蚨嗨懔?，它就能變好。

這是我在Google學(xué)到的思維：如果能被更底層的東西解釋，就不應(yīng)該在上層過(guò)度雕花。有一句重要的話我很認(rèn)同：如果你能用scale解決的問(wèn)題，就不要用新的算法解決。新算法最大價(jià)值是讓它怎么更好的scale。當(dāng)你把自己從雕花的事中釋放出來(lái)，可以看到更多。

騰訊新聞《潛望》：Google那時(shí)也是scaling law的追隨者嗎？它是怎么貫徹第一性原理的？

楊植麟：已經(jīng)有很多這樣的思想，但Google沒(méi)有貫徹得非常好。它有這樣的思維，但它沒(méi)辦法組織起來(lái)，變成一個(gè)真正的moonshot（登月計(jì)劃）。更多是，這有5個(gè)人追求我的第一性原理，那有5個(gè)人追求他們的第一性原理。沒(méi)有top-down（自上而下）的東西。

騰訊新聞《潛望》：你讀博期間，先后和圖靈獎(jiǎng)得主Yann LeCun（楊立昆）、Yoshua Bengio合作發(fā)表論文，而且你都是一作。學(xué)術(shù)上這些合作是怎么產(chǎn)生的？——我的意思是，他們是圖靈獎(jiǎng)得主，又不是你的導(dǎo)師，你靠什么吸引他們？

楊植麟：學(xué)術(shù)界很open。只要你有好的想法、有意義的問(wèn)題，這個(gè)都還好。兩個(gè)腦子或n個(gè)腦子做出來(lái)的，比一個(gè)腦子多。這在開(kāi)發(fā)AGI的時(shí)候也可以用。AI一個(gè)重要策略叫“ensemble”（使用集成方法，用多個(gè)不同的模型或方法，將它們的預(yù)測(cè)或結(jié)果結(jié)合起來(lái)，獲得更優(yōu)性能），本質(zhì)在做一樣的事情，當(dāng)你有diverse的觀點(diǎn)你可以碰撞出很多新東西。合作有很大受益。

騰訊新聞《潛望》：你是先有一個(gè)idea，拿去問(wèn)他們是否感興趣嗎？

楊植麟：差不多是這個(gè)過(guò)程。

騰訊新聞《潛望》：在學(xué)術(shù)上搞定學(xué)術(shù)大佬和在融資中搞定資本大佬哪個(gè)更難？相似點(diǎn)是什么？

楊植麟：“搞定”不是一個(gè)好的詞，背后本質(zhì)是合作。合作就是能雙贏，因?yàn)殡p贏是合作的前提。所以也沒(méi)什么區(qū)別，需要給別人提供獨(dú)特價(jià)值。

騰訊新聞《潛望》：怎么讓他們信任？你覺(jué)得你的天賦是什么？

楊植麟：也沒(méi)有什么天賦，就是努力干活。

舊系統(tǒng)不適用了，“AGI需要新的組織方式”

騰訊新聞《潛望》：你剛說(shuō)“更多有價(jià)值的突破會(huì)發(fā)生在工業(yè)界”，包括創(chuàng)業(yè)公司、巨頭的AI lab？

楊植麟：Lab是歷史了。以前Google Brain是產(chǎn)業(yè)界最大AI lab，但它是把研究型組織安插在大公司。這種組織能探索新想法，很難產(chǎn)生偉大系統(tǒng)——能產(chǎn)生Transformer，但產(chǎn)生不了ChatGPT。

現(xiàn)在的開(kāi)發(fā)方式會(huì)演變成，你是要做一個(gè)巨大的系統(tǒng)，需要新的算法，扎實(shí)的工程，甚至很多產(chǎn)品和商業(yè)化。好比21世紀(jì)初，你不可能在實(shí)驗(yàn)室研究信息檢索，要放在現(xiàn)實(shí)世界，有一個(gè)巨大的系統(tǒng)，有一個(gè)有用戶的產(chǎn)品，像Google。所以，科研或教育系統(tǒng)會(huì)轉(zhuǎn)變職能，變成培養(yǎng)人才為主。

騰訊新聞《潛望》：你會(huì)怎么形容這個(gè)新的系統(tǒng)形式？OpenAI是它的雛形？

楊植麟：它是現(xiàn)在最成熟的組織了，還在逐漸演化。

騰訊新聞《潛望》：可以理解，這是為人類(lèi)宏偉的科學(xué)目標(biāo)而設(shè)立的組織？

楊植麟：我想強(qiáng)調(diào)，它不是純科學(xué)，它是科學(xué)、工程和商業(yè)的結(jié)合。它得是一個(gè)商業(yè)化組織，是公司、不是研究院。但這個(gè)公司是從零到一建造的，因?yàn)锳GI需要新的組織方式——一，生產(chǎn)方式跟互聯(lián)網(wǎng)不一樣；二，它會(huì)從純研究變成研究、工程、產(chǎn)品、商業(yè)相結(jié)合。

核心是，它應(yīng)該是一個(gè)登月計(jì)劃，有很多自頂向下的規(guī)劃，但規(guī)劃中又有創(chuàng)新空間，并不是所有技術(shù)都確定。在一個(gè)top-down（自上而下）框架下有bottom-up（自下而上）的元素。本來(lái)不存在這樣的組織，但組織要適配技術(shù)，因?yàn)榧夹g(shù)決定了生產(chǎn)方式，不匹配就沒(méi)法有效產(chǎn)出。我們相信大概率要重新設(shè)計(jì)。

騰訊新聞《潛望》：去年OpenAI政變時(shí)，Sam Altman有一種選擇是加入微軟，領(lǐng)導(dǎo)新的微軟人工智能團(tuán)隊(duì)。這和他在OpenAI做CEO的本質(zhì)差別是什么？

楊植麟：你需要在舊文化里產(chǎn)生新組織，難度很大。

騰訊新聞《潛望》：你想做“中國(guó)的OpenAI”，可以這么說(shuō)？

楊植麟：不大準(zhǔn)確，我們不想做中國(guó)的什么東西，也不一定想做OpenAI。

首先，真正AGI肯定是全球化的，不存在由于市場(chǎng)保護(hù)機(jī)制導(dǎo)致你只能做某個(gè)regional market（區(qū)域市場(chǎng)）的AGI公司，長(zhǎng)期不存在——全球化、AGI和你有一個(gè)很大用戶量的產(chǎn)品，這三個(gè)東西最終是必要條件。

第二，是不是OpenAI？你去看2017年-2018年，OpenAI風(fēng)評(píng)很差，我們?nèi)ψ拥娜苏夜ぷ?，一般考慮像Google。很多人跟Ilya Sutskever（OpenAI首席科學(xué)家）聊完，覺(jué)得這個(gè)人瘋了，太自以 為是了——OpenAI不是瘋子就是騙子。但他們從很早開(kāi)始投入，找到非共識(shí)，找到AI現(xiàn)在唯一work的第一性原理：通過(guò)next token prediction去scale（通過(guò)對(duì)下一個(gè)標(biāo)記的預(yù)測(cè)來(lái)進(jìn)行規(guī)模化）。

我認(rèn)為，會(huì)有比OpenAI更偉大的公司存在。一個(gè)真正偉大的公司能結(jié)合技術(shù)理想主義，并讓它用一個(gè)偉大的產(chǎn)品跟用戶共創(chuàng)，AGI最終會(huì)是一個(gè)跟所有用戶co-work（協(xié)作）產(chǎn)生的東西。所以，不光是技術(shù)，也需要功利主義和現(xiàn)實(shí)追求。最終在這兩者之間完美結(jié)合。

不過(guò)我們應(yīng)該學(xué)習(xí)OpenAI的技術(shù)理想主義。如果所有人都覺(jué)得你正常，你的理想是大家都能想到的，它對(duì)人類(lèi)的理想總量沒(méi)有增量。

登月的第一步是長(zhǎng)文本，第二步呢？“接下來(lái)會(huì)有兩個(gè)milestone”

騰訊新聞《潛望》：話題回到你決定創(chuàng)業(yè)的時(shí)刻，你回國(guó)后立馬啟動(dòng)了第一輪融資？

楊植麟：（去年）2月在美國(guó)就開(kāi)始了，也有遠(yuǎn)程的。最后以國(guó)內(nèi)投資人為主。

騰訊新聞《潛望》：第一輪融了1億美金？

楊植麟：第一輪還沒(méi)有，后來(lái)超過(guò)這個(gè)數(shù)。2023年完成兩輪，總共近20億人民幣。

現(xiàn)在是第三輪。融資我們沒(méi)有正式announce，現(xiàn)在沒(méi)辦法comment。

騰訊新聞《潛望》：有人說(shuō)，2023年下半年開(kāi)始，已經(jīng)沒(méi)有人愿意投基礎(chǔ)大模型公司了，他們說(shuō)的是錯(cuò)誤的？

楊植麟：還是有。確實(shí)能看到情緒變化，不是說(shuō)沒(méi)人投，至少目前市場(chǎng)上投資意向是蠻多的。

騰訊新聞《潛望》：除了資本和人，你在2023年還做了哪些關(guān)鍵決策？

楊植麟：要做什么事。這是我們這類(lèi)公司的優(yōu)勢(shì)——在最高層面的決策有技術(shù)vision（愿景）。

我們做long context（長(zhǎng)上下文），需要對(duì)未來(lái)有判斷，你要知道什么是根本的、接下來(lái)的方向。還是第一性原理，“去雕花的過(guò)程”。如果你專注雕花，只能看OpenAI已經(jīng)做了什么，我看怎么把它已經(jīng)做的做出來(lái)。

你會(huì)發(fā)現(xiàn)在Kimi（AI智能助手）里做長(zhǎng)文本無(wú)損壓縮，產(chǎn)品體驗(yàn)獨(dú)特。讀英語(yǔ)文獻(xiàn)，它能很好幫你理解。你今天用Claude或GPT-4，不一定做得好，需要提前布局。我們做了半年多。相比我今天看到一個(gè)long context風(fēng)口，趕緊召集兩個(gè)團(tuán)隊(duì)，用最快速度開(kāi)發(fā)，有很大區(qū)別。

當(dāng)然馬拉松剛開(kāi)始，接下來(lái)會(huì)有更多差異化，這需要你提前預(yù)判到底什么是“成立的非共識(shí)”。

騰訊新聞《潛望》：做這件事是在幾月份決定的？

楊植麟：二三月，公司成立就決定了。

騰訊新聞《潛望》：為什么長(zhǎng)文本是登月第一步？

楊植麟：它很本質(zhì)。它是新的計(jì)算機(jī)內(nèi)存。

老的計(jì)算機(jī)內(nèi)存，在過(guò)去幾十年漲了好幾個(gè)數(shù)量級(jí)，一樣的事會(huì)發(fā)生在新的計(jì)算機(jī)上。它能解決很多現(xiàn)在的問(wèn)題。比如，現(xiàn)在多模態(tài)架構(gòu)還需要tokenizer（標(biāo)記器），但當(dāng)你有一個(gè)無(wú)損壓縮的long context就不需要了，可以把原始的放進(jìn)去。進(jìn)一步講，它是把新計(jì)算范式變成更通用的基礎(chǔ)。

舊的計(jì)算機(jī)可以0、1表示所有，所有東西可被數(shù)字化。但今天新計(jì)算機(jī)還不行，context不夠多，沒(méi)那么通用。要變成通用的世界模型，是需要long context的。

第二，能夠做到個(gè)性化。AI最核心的價(jià)值是個(gè)性化互動(dòng)，價(jià)值落腳點(diǎn)還是個(gè)性化，AGI會(huì)比上一代推薦引擎更加個(gè)性化。

但個(gè)性化過(guò)程不是通過(guò)微調(diào)實(shí)現(xiàn)，而是它能支持很長(zhǎng)的context（上下文）。你跟機(jī)器所有的歷史都是context，這個(gè)context定義了個(gè)性化過(guò)程，而且無(wú)法被復(fù)刻，它會(huì)是更直接的對(duì)話，對(duì)話產(chǎn)生信息。

騰訊新聞《潛望》：接下來(lái)它有多大可擴(kuò)展的空間？

楊植麟：非常大。一方面是本身窗口的提升，有很長(zhǎng)路要走，會(huì)有幾個(gè)數(shù)量級(jí)。

另一方面是，你不能只提升窗口，不能只看數(shù)字，今天是幾百萬(wàn)還是多少億的窗口沒(méi)有意義。你要看它在這個(gè)窗口下能實(shí)現(xiàn)的推理能力、the faithfulness的能力（對(duì)原始信息的忠實(shí)度）、the instruction following的能力（遵循指令的能力）——不應(yīng)該只追求單一指標(biāo)，而是結(jié)合指標(biāo)和能力。

如果這兩個(gè)維度持續(xù)提升，能做非常多事?？赡芸梢詅ollow（執(zhí)行）一個(gè)幾萬(wàn)字的instruction（指令），instruction本身會(huì)定義很多agent（智能體），高度個(gè)性化。

騰訊新聞《潛望》：做長(zhǎng)文本和追趕GPT-4技術(shù)是可復(fù)用的嗎？他們是一件事嗎？

楊植麟：我覺(jué)得不是。更多是升維，是一個(gè)新維度，是GPT-4沒(méi)有的維度。

騰訊新聞《潛望》：很多人說(shuō)國(guó)內(nèi)這幾家大模型公司做的事都差不多——2023年追趕GPT-3.5，2024年追趕GPT-4。你認(rèn)可這種說(shuō)法嗎？

楊植麟：綜合能力提升肯定有關(guān)鍵目標(biāo)，這個(gè)說(shuō)法一定程度上是對(duì)的，你是后發(fā)肯定有追趕過(guò)程。但同時(shí)它是片面的。除了綜合能力，在很多空間可以產(chǎn)生獨(dú)特的能力，能在一些方向做到state of the art（世界領(lǐng)先）。Long context是一個(gè)。DALL-E3圖片生成效果完敗于Midjourney V6。所以要做兩方面。

騰訊新聞《潛望》：綜合能力和新維度分別耗費(fèi)的時(shí)間及生產(chǎn)資源，占多大比例？

楊植麟：需要結(jié)合，新維度不可能脫離綜合能力存在，很難直接給出一個(gè)比例。但需要足夠投入才能把新維度做好。

騰訊新聞《潛望》：這些新維度對(duì)于你們，都會(huì)承載在Kimi上？

楊植麟：這肯定是我們很重要的產(chǎn)品，也會(huì)有一些別的嘗試。

騰訊新聞《潛望》：怎么看李廣密（拾象創(chuàng)始人）說(shuō)，中國(guó)大模型公司今天的技術(shù)辨識(shí)度還不算太高？

楊植麟：我覺(jué)得還好啊，我們今天只是做出了很多差異化。這跟時(shí)間有關(guān)系，今年應(yīng)該能看到更多維度。去年大家是先搭個(gè)架子，先跑起來(lái)。

騰訊新聞《潛望》：登月的第一步是長(zhǎng)文本，第二步是什么？

楊植麟：接下來(lái)會(huì)有兩個(gè)大的milestone（里程碑）。一是真正的統(tǒng)一的世界模型，就是它能統(tǒng)一各種不同模態(tài)，一個(gè)真正的scalable和general的architecture（可擴(kuò)展、通用的系統(tǒng)結(jié)構(gòu)）。

二是能在沒(méi)有人類(lèi)數(shù)據(jù)輸入的情況下，使AI持續(xù)進(jìn)化。

騰訊新聞《潛望》：這兩個(gè)milestone需要多久達(dá)到？

楊植麟：兩到三年，有可能更快。

騰訊新聞《潛望》：所以三年后我們已經(jīng)看到的是和今天完全不一樣的世界了。

楊植麟：按照今天的發(fā)展速度是這樣。現(xiàn)在技術(shù)是萌芽，快速發(fā)展的階段。

騰訊新聞《潛望》：能不能暢想一下三年后會(huì)出現(xiàn)什么？

楊植麟：會(huì)有一定程度的AGI。我們今天在做的很多事AI也能做，甚至它做得更好。但關(guān)鍵看我們?cè)趺从盟?/p>

騰訊新聞《潛望》：對(duì)于你、對(duì)于月之暗面這家公司來(lái)說(shuō)呢？接下來(lái)第二步是什么？

楊植麟：我們會(huì)去做這兩件事。剩下很多問(wèn)題，都是這兩個(gè)因素推導(dǎo)出來(lái)的。今天談到reasoning（推理）、agent（智能體），都是這兩個(gè)問(wèn)題解決后的產(chǎn)物。要再做一些雕花，但沒(méi)有fundamental的blocker（根本性阻礙因素）。

騰訊新聞《潛望》：你會(huì)all in追趕GPT-4嗎？

楊植麟：（GPT-4）是AGI的必經(jīng)之路。核心是，不能只滿足做到GPT-4的效果。一是要想現(xiàn)在真正的非共識(shí)是什么，除了GPT-4，下一步是什么？GPT-5和GPT-6應(yīng)該是什么樣？二是看，你在這里面有哪些獨(dú)特能力，這點(diǎn)更重要。

騰訊新聞《潛望》：其他大模型公司會(huì)公布自己的模型能力和排名，你們好像沒(méi)做這件事？

楊植麟：刷榜意義很小了。最好的榜就是用戶，應(yīng)該讓用戶投票。很多榜存在問(wèn)題。

騰訊新聞《潛望》：在中國(guó)大模型公司的競(jìng)賽中最快達(dá)到GPT-4，是你的目標(biāo)嗎？快與慢有區(qū)別嗎？

楊植麟：肯定有，如果把時(shí)間放到足夠長(zhǎng)周期，最終所有人都能達(dá)到。但要看你早晚是多長(zhǎng)周期。半年或以上的周期是有意義的，也取決于你能用這個(gè)周期做什么事。

騰訊新聞《潛望》：你們預(yù)計(jì)會(huì)在什么時(shí)間達(dá)到GPT-4？

楊植麟：應(yīng)該會(huì)很快，具體時(shí)間還沒(méi)辦法對(duì)外說(shuō)。

騰訊新聞《潛望》：你們會(huì)是最快的嗎？

楊植麟：這要?jiǎng)討B(tài)去看，但我們有概率。

騰訊新聞《潛望》：推出Kimi之后，你的北極星指標(biāo)是什么？

楊植麟：今天是把產(chǎn)品做得更好，有更多升維（即新的維度）。舉個(gè)例子，不應(yīng)該只去卷一個(gè)搜索場(chǎng)景，搜索在后面只是這個(gè)產(chǎn)品有價(jià)值的很小一部分，這個(gè)產(chǎn)品應(yīng)該有更大增量。比傳統(tǒng)搜索引擎好個(gè)10%、20%，沒(méi)什么太大價(jià)值——只有一個(gè)顛覆性的東西，才配得上AGI這三個(gè)字。

獨(dú)特價(jià)值是你增量的智能。要抓住這個(gè)點(diǎn)，智能永遠(yuǎn)是最核心的增量?jī)r(jià)值。如果你這個(gè)產(chǎn)品最核心價(jià)值只有10%-20%來(lái)自于AI，就不成立。

我一點(diǎn)也不焦慮落地，“user scaling和model scaling需要同時(shí)做”

騰訊新聞《潛望》：2023年中是一個(gè)巨大分水嶺，市場(chǎng)從狂熱迅速轉(zhuǎn)冷。你的感知是怎樣的？

楊植麟：這個(gè)判斷我不完全認(rèn)同，我們確實(shí)在下半年完成了一輪融資。而且，持續(xù)有新東西出來(lái)。今天的模型能力在去年底無(wú)法想象。越來(lái)越多AI公司的用戶量和revenue（收入）一直在上升。它持續(xù)地證明了價(jià)值。

騰訊新聞《潛望》：上半年和下半年對(duì)于你來(lái)說(shuō)，不同感受是？

楊植麟：沒(méi)有太大變化，變量肯定存在，但回到第一性原理——怎么給用戶提供好產(chǎn)品。最終，我們要滿足用戶需求，而不是贏得一場(chǎng)比賽。我們不是為了競(jìng)爭(zhēng)而建立的公司。

騰訊新聞《潛望》：業(yè)界認(rèn)為，2023年上半年和下半年一個(gè)顯著區(qū)別是，關(guān)注重心變了。上半年提AGI更多，下半年開(kāi)始講怎么落地、怎么商業(yè)化。你有沒(méi)有這么做？

楊植麟：我肯定要做AGI嘛，這是接下來(lái)十年唯一有意義的事。但不是說(shuō)我們不做應(yīng)用?；蛘?，不應(yīng)該把它定義成一個(gè)“應(yīng)用”。

“應(yīng)用”聽(tīng)起來(lái)好像你有一個(gè)技術(shù)，你想把它用在什么地方，有商業(yè)化閉環(huán)。但“應(yīng)用”不是準(zhǔn)確的詞。它跟AGI是相輔相成的。它本身是實(shí)現(xiàn)AGI的手段，也是實(shí)現(xiàn)AGI的目的。“應(yīng)用”聽(tīng)起來(lái)更像目的：我為了讓它有用。你是要combine東西方的哲學(xué)，要賺錢(qián)，也要有理想。

今天用戶幫我們發(fā)現(xiàn)了很多從沒(méi)考慮過(guò)的場(chǎng)景。他拿這個(gè)篩選簡(jiǎn)歷，這是我們?cè)O(shè)計(jì)產(chǎn)品時(shí)沒(méi)想過(guò)的，但它天然work。用戶的輸入反過(guò)來(lái)讓模型變得更好。Midjourney為什么效果好？它在用戶端做了scaling——user scaling和model scaling需要同時(shí)做。反過(guò)來(lái)，你如果只關(guān)注應(yīng)用，不關(guān)注模型能力迭代，不關(guān)注AGI，貢獻(xiàn)也有限。

騰訊新聞《潛望》：朱嘯虎（金沙江創(chuàng)投主管合伙人）就只投大模型的應(yīng)用。他有一個(gè)觀點(diǎn)：核心最難的是AIGC的PMF——你十個(gè)人找不到PMF，你投一百個(gè)人也找不到，和人數(shù)、和成本沒(méi)關(guān)系，不要砸錢(qián)。他說(shuō)“用LLaMA訓(xùn)練兩三個(gè)月，至少能做到人類(lèi)top 30的水平，立馬可以取代人”。你怎么看他的觀點(diǎn)？

楊植麟：AI不是我在接下來(lái)一兩年找到什么PMF，而是接下來(lái)十到二十年如何改變世界——這是兩種不同思維。

我們是堅(jiān)定的長(zhǎng)期主義者。當(dāng)你實(shí)現(xiàn)AGI或更強(qiáng)智能，今天的一切會(huì)被改寫(xiě)。PMF固然重要，但如果著急找PMF，你很可能又被降維打擊。降維打擊發(fā)生過(guò)太多次。以前很多人做客服、對(duì)話系統(tǒng)，做slot filling（槽填充），有些規(guī)模不錯(cuò)的公司。但是，全是降維打擊了，很難受。

它不是說(shuō)不成立。假設(shè)你今天找到一個(gè)場(chǎng)景，用現(xiàn)在的技術(shù)能力，且從0到1增量?jī)r(jià)值巨大，從1到n空間又沒(méi)那么大，這種場(chǎng)景OK。Midjourney就是，或者做文案生成，相對(duì)簡(jiǎn)單一點(diǎn)的任務(wù)，從0到1效果又很明顯。這種是只關(guān)注應(yīng)用的機(jī)會(huì)。但是，最大機(jī)會(huì)不在這。你的目的假設(shè)是商業(yè)化，你不可能脫離AGI去思考。我現(xiàn)在只做應(yīng)用，那好，可能過(guò)一年你就被碾壓了。

騰訊新聞《潛望》：可以偷偷把底層模型升級(jí)啊。

楊植麟：但這個(gè)不可能做得比它更大。技術(shù)是這個(gè)時(shí)代唯一新變量，其他變量沒(méi)變。回到第一性原理，AGI是所有事情的核心。基于這個(gè)，我們推導(dǎo)出來(lái)：超級(jí)應(yīng)用肯定需要有最強(qiáng)的技術(shù)能力。

騰訊新聞《潛望》：可以用開(kāi)源的模型嗎？（最新消息是Google宣布開(kāi)源模型Gemma）

楊植麟：開(kāi)源落后于閉源，這也是個(gè)事實(shí)。

騰訊新聞《潛望》：會(huì)不會(huì)只是暫時(shí)落后？

楊植麟：目前看起來(lái)不是。

騰訊新聞《潛望》：為什么開(kāi)源追不上閉源？

楊植麟：因?yàn)殚_(kāi)源的開(kāi)發(fā)方式跟以前不一樣了，以前是所有人都可以contribute（貢獻(xiàn)）到開(kāi)源，現(xiàn)在開(kāi)源本身還是中心化的。開(kāi)源的貢獻(xiàn)可能很多都沒(méi)有經(jīng)過(guò)算力驗(yàn)證。閉源會(huì)有人才聚集和資本聚集，最后一定是閉源更好，是一個(gè)consolidation（對(duì)市場(chǎng)的整合）。

如果我今天有一個(gè)領(lǐng)先的模型，開(kāi)源出來(lái)，大概率不合理。反而是落后者可能會(huì)這么做，或者開(kāi)源小模型，攪局嘛，反正不開(kāi)源也沒(méi)價(jià)值。

騰訊新聞《潛望》：你怎么對(duì)抗國(guó)內(nèi)的焦慮情緒？他們會(huì)說(shuō)，大模型公司如果沒(méi)有快速做出能兌現(xiàn)投資人預(yù)期的落地場(chǎng)景和產(chǎn)品，難以融到下一筆錢(qián)。

楊植麟：需要有長(zhǎng)期和短期的平衡。完全沒(méi)有用戶、沒(méi)有收入，肯定不行。

可以看到，從GPT-3.5到GPT-4，解鎖了很多應(yīng)用；從GPT-4到GPT-4.5再到GPT-5，大概率會(huì)持續(xù)解鎖更多，甚至是指數(shù)型的應(yīng)用。所謂“場(chǎng)景摩爾定律”，就是你能用的場(chǎng)景數(shù)量會(huì)隨著時(shí)間指數(shù)級(jí)上升。我們需要邊提升模型能力，邊找更多場(chǎng)景，需要這樣的平衡。

它是個(gè)螺旋?？茨阃度攵嗌俜峙湓诙唐冢嗌俜峙湓陂L(zhǎng)期。要在你能活下去的情況下，追求長(zhǎng)期。長(zhǎng)期一定不能沒(méi)有，否則你會(huì)錯(cuò)過(guò)整個(gè)時(shí)代。今天下結(jié)論，確實(shí)太早了。

騰訊新聞《潛望》：你認(rèn)可王慧文（美團(tuán)聯(lián)合創(chuàng)始人、光年之外創(chuàng)始人）提出的“雙輪驅(qū)動(dòng)”嗎？

楊植麟：這是個(gè)好問(wèn)題。一定程度上是這個(gè)邏輯。但你真正怎么去做，有很大區(qū)別。是不是能真的做一些“有概率的非共識(shí)”？

騰訊新聞《潛望》：我理解他們說(shuō)的雙輪驅(qū)動(dòng)，也需要快速找到那個(gè)新的應(yīng)用場(chǎng)景，否則不知道技術(shù)何以落地。

楊植麟：還是model scaling（模型擴(kuò)展）和user scaling（用戶擴(kuò)展）之間的區(qū)別。

騰訊新聞《潛望》：國(guó)內(nèi)除了你是model scaling的思維，還有誰(shuí)是？

楊植麟：這個(gè)我就不好評(píng)價(jià)了。

騰訊新聞《潛望》：大多數(shù)人可能是user scaling的思維?；蛘吣懿荒苓@么說(shuō)，這是學(xué)院派和商業(yè)落地派的區(qū)別？

楊植麟：我們不是學(xué)院派，學(xué)院派絕對(duì)不work。

騰訊新聞《潛望》：很多大模型公司會(huì)通過(guò)to B落地（畢竟to B的確定性高），你們做嗎？

楊植麟：我們不做。我們從第一天就決定做to C。

看你要什么東西。如果你知道這不是你想要的，你就不會(huì)FOMO。因?yàn)榈玫搅?，也沒(méi)啥。

騰訊新聞《潛望》：你焦慮嗎？過(guò)去一年。

楊植麟：更多是興奮、激動(dòng)。因?yàn)檫@件事我想了非常久。我們可能是我們最早想去探索月之暗面的人。你今天發(fā)現(xiàn)你真的在造一架火箭，每天在討論往火箭里加什么燃料跑得更快，怎么樣不讓它炸了。

騰訊新聞《潛望》：總結(jié)一下你所做過(guò)的“有概率的非共識(shí)”決定，除了to C、長(zhǎng)文本，還有嗎？

楊植麟：更多在過(guò)程中，希望盡快跟大家見(jiàn)面。

騰訊新聞《潛望》：中國(guó)上一代創(chuàng)業(yè)者在應(yīng)用和場(chǎng)景上吃到甜頭，所以他們更看產(chǎn)品、用戶、數(shù)據(jù)飛輪。以你為代表的新一代AI創(chuàng)業(yè)者，能代表新的未來(lái)嗎？

楊植麟：我們也很關(guān)注用戶，用戶是我們最終的目標(biāo)，但也是共創(chuàng)的過(guò)程。最大區(qū)別是，這次會(huì)更加技術(shù)驅(qū)動(dòng)——還是那個(gè)馬車(chē)和汽車(chē)的問(wèn)題——現(xiàn)在屬于從馬車(chē)到汽車(chē)的跳躍過(guò)程，應(yīng)該盡可能想怎么給用戶提供一輛汽車(chē)。

騰訊新聞《潛望》：你會(huì)覺(jué)得孤獨(dú)嗎？

楊植麟：哈哈哈……你這個(gè)問(wèn)題很有意思。我覺(jué)得還好，因?yàn)槲覀冞€有大幾十、100號(hào)人一起在戰(zhàn)斗。

GPT-4還沒(méi)趕上，Sora又來(lái)了，“現(xiàn)在就有點(diǎn)像視頻生成的GPT-3.5，是階躍式提升”

騰訊新聞《潛望》：今年Sora的突然出現(xiàn)，多少在你的意料之中，多少在你的意料之外？

楊植麟：Generative AI（生成式AI）做到這個(gè)效果，在意料之內(nèi)，意外的是時(shí)間——比之前預(yù)估更早。這也反映了現(xiàn)在AI的發(fā)展很快，很多scaling的紅利沒(méi)有被完全吃下來(lái)。

騰訊新聞《潛望》：去年業(yè)界就判斷，2024年大模型一定會(huì)卷多模態(tài)敘事，視頻的生成效果會(huì)像2023年文生圖一樣迅速提升。Sora的技術(shù)能力是超出、符合還是低于你的預(yù)期？

楊植麟：解決了很多之前比較難的問(wèn)題。比如，能在一個(gè)比較長(zhǎng)的時(shí)間窗口內(nèi)保持生成的一致性，這是關(guān)鍵點(diǎn)，是一個(gè)巨大的提升。

騰訊新聞《潛望》：它對(duì)于全球產(chǎn)業(yè)格局來(lái)說(shuō)意義是什么？2024年大模型會(huì)有哪些新敘事？

楊植麟：一是短期的應(yīng)用價(jià)值，可以在生產(chǎn)環(huán)節(jié)進(jìn)一步提升效率，當(dāng)然更期待在目前能力基礎(chǔ)上，有更多延展。二是和其他模態(tài)結(jié)合。它本身是對(duì)世界建模，有了這個(gè)知識(shí)，對(duì)現(xiàn)有文本是非常好的補(bǔ)充。在這個(gè)基礎(chǔ)上，不管在agent還是和物理世界的連接方面，有蠻多空間和機(jī)會(huì)。

騰訊新聞《潛望》：你們總體怎么判斷Sora？

楊植麟：我們本來(lái)也在籌劃類(lèi)似方向，做了一段時(shí)間。方向上，倒沒(méi)有太大意外，更多是技術(shù)細(xì)節(jié)。

騰訊新聞《潛望》：應(yīng)該學(xué)習(xí)的技術(shù)細(xì)節(jié)是？

楊植麟：很多OpenAI也沒(méi)完全講清楚。它講了大致的，會(huì)有一些關(guān)鍵細(xì)節(jié)。這要從它的效果或已有信息再去判斷，也結(jié)合我們之前的實(shí)驗(yàn)。至少對(duì)我們來(lái)說(shuō)，在開(kāi)發(fā)過(guò)程中會(huì)加上更多數(shù)據(jù)點(diǎn)，有更多數(shù)據(jù)輸入。

騰訊新聞《潛望》：之前視頻生成相對(duì)文字生成來(lái)說(shuō)，主要瓶頸有哪？這次可以看到OpenAI找到了哪些解決辦法？

楊植麟：主要瓶頸，核心還是數(shù)據(jù)，你怎么去規(guī)?；?cái)M合這個(gè)數(shù)據(jù)？之前沒(méi)被驗(yàn)證過(guò)。特別是，當(dāng)你的動(dòng)作比較復(fù)雜，生成的效果photo realistic（照片逼真）。在這樣的條件下，能夠去規(guī)?；?，它這次解決了這些。

剩下的是它也沒(méi)有完全解決，比如需要一個(gè)統(tǒng)一的architecture（架構(gòu)）。DiT這個(gè)architecture仍然不是非常通用。在單純對(duì)視覺(jué)信號(hào)的marginal probability（邊際概率）去建模，它可以做得非常好，但怎么泛化成一個(gè)通用的新計(jì)算機(jī)？還是需要更unified architecture（統(tǒng)一的架構(gòu)），這個(gè)東西還是有空間。

騰訊新聞《潛望》：你讀了OpenAI出的Sora報(bào)告沒(méi)有？——《Video generation models as world simulators》，里面有什么關(guān)鍵點(diǎn)值得劃重點(diǎn)？

楊植麟：讀了。考慮到當(dāng)前的競(jìng)爭(zhēng)情況，最重點(diǎn)它肯定都不會(huì)寫(xiě)出來(lái)。但還是值得學(xué)習(xí)，這個(gè)東西本來(lái)是付費(fèi)內(nèi)容，你可能要花錢(qián)做很多實(shí)驗(yàn)才知道，但現(xiàn)在你知道的有一些東西，不用花錢(qián)做實(shí)驗(yàn)，就大概有一個(gè)認(rèn)知吧。

騰訊新聞《潛望》：你從里面提取到的關(guān)鍵信號(hào)是？

楊植麟：這個(gè)東西一定程度上是scalable的。此外，它也給出了比較具體的architecture到底怎么做。但也有可能不同architecture在這個(gè)事情上不一定有那么本質(zhì)的區(qū)別。

騰訊新聞《潛望》：你認(rèn)可它那句話嗎？——“擴(kuò)展視頻生成模型是構(gòu)建物理世界通用模擬器的一條有前途的途徑?！?/strong>

楊植麟：我非常認(rèn)同，這兩個(gè)東西優(yōu)化的是同一個(gè)目標(biāo)函數(shù)，沒(méi)有太大疑問(wèn)。

騰訊新聞《潛望》：你怎么看楊立昆又跳出來(lái)反對(duì)生成式AI？他的觀點(diǎn)是：“通過(guò)生成像素對(duì)世界進(jìn)行建模是一種浪費(fèi)，并且注定會(huì)失敗。生成恰好適用文本，因?yàn)槲谋臼请x散的具有有限數(shù)量的符號(hào)。這種情況下，處理預(yù)測(cè)中的不確定性很容易，處理高緯連續(xù)感官輸入中的預(yù)測(cè)不確定性是非常棘手的?！?/strong>

楊植麟：我現(xiàn)在覺(jué)得，你通過(guò)對(duì)視頻的邊際概率去建模，本質(zhì)是在做無(wú)損壓縮，跟語(yǔ)言模型next token predictions沒(méi)有本質(zhì)區(qū)別。只要你壓縮得足夠好，就可以把這個(gè)世界可以被解釋的東西去進(jìn)行解釋。

但同時(shí)也有重要的還沒(méi)做的事：它怎么跟已有的已經(jīng)被壓縮的能力結(jié)合起來(lái)？

可以理解成有兩種不同壓縮。一種是壓縮原始世界，這是視頻模型在做的。另一種是壓縮人類(lèi)產(chǎn)生的行為，因?yàn)槿祟?lèi)產(chǎn)生的行為經(jīng)過(guò)了人的大腦，這是世界上唯一能產(chǎn)生智能的東西。你可以認(rèn)為視頻模型在做第一種，文本模型在做第二種，當(dāng)然視頻模型也一定程度包含了第二種，一些人創(chuàng)造出來(lái)的視頻包含了創(chuàng)作者的智能。

它最終可能會(huì)是mix，需要通過(guò)這兩種方式從不同角度學(xué)習(xí)，但最終對(duì)智能的增長(zhǎng)都有幫助。

所以，生成可能不是目的，它只是壓縮這個(gè)函數(shù)。如果你壓縮足夠好，最后生成的效果就會(huì)很好。反過(guò)來(lái)，如果你這個(gè)模型本身沒(méi)辦法生成，是不是也存在可能把它壓縮得非常好？這點(diǎn)存疑。有可能生成非常好，是壓縮非常好的一個(gè)必要條件。

騰訊新聞《潛望》：Sora相對(duì)于去年的ChatGPT來(lái)說(shuō)，是兩個(gè)不一樣的milestone，哪個(gè)更重大？

楊植麟：都很重要。現(xiàn)在就有點(diǎn)像（視頻生成的）GPT-3.5，是階躍式提升。它的模型也還比較小，可預(yù)見(jiàn)的是會(huì)有更大的模型，是確定性的效果提升。

騰訊新聞《潛望》：也有人評(píng)價(jià)說(shuō)，對(duì)于做多模態(tài)，Google Gemini突破更重要一些。

楊植麟：Gemini是follow GPT-4V的路線，把這個(gè)理解也放進(jìn)去了。都很重要，只是最終需要把這些東西放在同一個(gè)模型，這還沒(méi)解決。

騰訊新聞《潛望》：為什么放在同一個(gè)模型那么難？

楊植麟：大家還不知道怎么做，還不存在一個(gè)被驗(yàn)證過(guò)的architecture。

騰訊新聞《潛望》：Sora + GPT會(huì)產(chǎn)生什么？

楊植麟：Sora馬上可以用到視頻生產(chǎn)過(guò)程中，但如果跟語(yǔ)言模型結(jié)合，就有可能打通數(shù)字世界和物理世界。另外，你也可以去更加端到端完成任務(wù)，因?yàn)楝F(xiàn)在你對(duì)這個(gè)世界的建模比之前更好，它甚至能用來(lái)提升你對(duì)多模態(tài)輸入的理解能力。所以你最后能在不同模態(tài)之間做比較多切換。

總結(jié)下來(lái)，你對(duì)世界的理解更好了，你可以在數(shù)字世界里做更加端到端的任務(wù)，甚至去架起一座橋梁，連接物理世界，完成一些物理世界里的任務(wù)。這是起點(diǎn)。比方說(shuō)，自動(dòng)駕駛，或者一些家務(wù)，理論上都是打通物理世界的一個(gè)概念。

所以數(shù)字世界的突破是確定的了，但它也還是潛在有通往物理的可能。

騰訊新聞《潛望》：Sora對(duì)國(guó)產(chǎn)大模型公司意味著什么？有什么應(yīng)對(duì)策略？

楊植麟：沒(méi)什么區(qū)別，這本來(lái)就是確定性方向。

騰訊新聞《潛望》：國(guó)產(chǎn)大模型GPT-4還沒(méi)趕上，Sora又來(lái)了，你怎么看？?jī)蓚€(gè)世界好像差得越來(lái)越遠(yuǎn)，你感覺(jué)焦慮嗎？

楊植麟：這就是客觀的事實(shí)嘛。但實(shí)際上的差距可能還在縮小，這是技術(shù)發(fā)展的規(guī)律。

騰訊新聞《潛望》：什么意思？就是說(shuō)，一開(kāi)始技術(shù)曲線很陡峭，接著慢慢放緩。

楊植麟：是的。我倒沒(méi)有很意外，OpenAI一直在做下一代模型。但客觀上差距會(huì)持續(xù)存在一段時(shí)間，甚至在國(guó)內(nèi)不同公司之間的差距也會(huì)持續(xù)一段時(shí)間，現(xiàn)在是技術(shù)爆發(fā)期。

但再過(guò)兩三年，有可能中國(guó)頂尖的公司可以在這里面去做好更多基礎(chǔ)性工作，包括技術(shù)的基建、人才的儲(chǔ)備和組織文化的沉淀，有這些打磨后，更有可能在某一些方面有領(lǐng)先可能性——但需要一定的耐心。

騰訊新聞《潛望》：中美最終有沒(méi)有可能形成的是完全不一樣的AI科技生態(tài)？

楊植麟：生態(tài)有可能不一樣，如果你是從產(chǎn)品和商業(yè)化角度。但從技術(shù)角度，通用能力不會(huì)是完全不同的技術(shù)路線，基礎(chǔ)通用能力肯定會(huì)差不多。但因?yàn)锳GI空間很大，在通用能力基礎(chǔ)上去有差異化，這個(gè)更可能發(fā)生。

騰訊新聞《潛望》：硅谷一直有一個(gè)爭(zhēng)論：one model rules all還是many specialized (smaller) models（一個(gè)通用模型來(lái)處理各種任務(wù)，還是采用許多專門(mén)的較小模型來(lái)處理特定任務(wù)），你怎么看？

楊植麟：我的觀點(diǎn)是第一個(gè)。

騰訊新聞《潛望》：在這一點(diǎn)上，中美會(huì)呈現(xiàn)巨大不同嗎？

楊植麟：我覺(jué)得最終不會(huì)。

我接受有失敗的概率，“它已經(jīng)改變了我的生命”

騰訊新聞《潛望》：大模型創(chuàng)業(yè)在中國(guó)是比較怪異的存在，你們?nèi)诹诉@么多錢(qián)，但似乎一大筆錢(qián)都要花在做科學(xué)實(shí)驗(yàn)上，這種情況下怎么說(shuō)服投資人愿意掏錢(qián)？

楊植麟：跟在美國(guó)沒(méi)有區(qū)別。我們今天拿到的錢(qián)還不算特別多。所以，我們還要更多向OpenAI學(xué)習(xí)。

騰訊新聞《潛望》：我想知道做到GPT-4還需要多少錢(qián)？做到Sora還需要多少錢(qián)？

楊植麟：GPT-4和Sora都不需要那么多，現(xiàn)在的錢(qián)更多是為了下一代甚至下下代模型做儲(chǔ)備，做前沿探索。

騰訊新聞《潛望》：中國(guó)大模型創(chuàng)業(yè)公司雖然拿了巨頭的錢(qián)，但巨頭也在訓(xùn)練自己的模型——你怎么看大模型創(chuàng)業(yè)公司和巨頭的關(guān)系？

楊植麟：這里面有競(jìng)爭(zhēng)，也有合作。巨頭和創(chuàng)業(yè)公司第一目標(biāo)不一樣，今天你去看每個(gè)大廠的第一目標(biāo)，跟AGI公司的第一目標(biāo)不同。第一目標(biāo)會(huì)影響動(dòng)作、結(jié)果，最終在生態(tài)里是不同的關(guān)系。

騰訊新聞《潛望》：為什么巨頭同時(shí)對(duì)多家大模型公司投入一點(diǎn)錢(qián)，而不重注一家公司？

楊植麟：這是階段問(wèn)題。下面會(huì)有更多的consolidation（資源整合），會(huì)有更少的公司。

騰訊新聞《潛望》：有人說(shuō)大模型公司的終局是被巨頭收購(gòu)，你認(rèn)可嗎？

楊植麟：我覺(jué)得不一定，但是他們有可能有很深入合作關(guān)系。

騰訊新聞《潛望》：比如說(shuō)，可以怎么合作？

楊植麟：OpenAI和微軟就是典型合作模式，這里面很多可以參考，也有一些可以優(yōu)化。

騰訊新聞《潛望》：過(guò)去一年，在你看來(lái)創(chuàng)業(yè)中的曲折體現(xiàn)在了哪？

楊植麟：外部變量很多——資本、人才、卡、產(chǎn)品、研發(fā)、技術(shù)。有高光時(shí)刻，也有困難要克服。比如說(shuō)卡。

中間有很多back and forth（來(lái)回）。一段時(shí)間很緊張，一段時(shí)間供應(yīng)變好。最夸張的是，有一段時(shí)間每天在變，今天一臺(tái)機(jī)器價(jià)格260，明天340了，過(guò)兩天又跌回來(lái)，是一個(gè)動(dòng)態(tài)變化的過(guò)程。要對(duì)這件事密切關(guān)注。價(jià)格一直變，策略也要一直變，到底從什么渠道，買(mǎi)還是租，有很多不同選擇。

騰訊新聞《潛望》：這個(gè)動(dòng)態(tài)因素是受什么影響？

楊植麟：有g(shù)eo-political（地緣政治）原因，生產(chǎn)本身有批次，也受市場(chǎng)情緒變化。我們觀察到很多公司開(kāi)始退卡，他們發(fā)現(xiàn)自己不一定要訓(xùn)這個(gè)模型。市場(chǎng)情緒和大家的決策變化，供求關(guān)系跟著變化。好消息是，最近整個(gè)市場(chǎng)供應(yīng)好了非常多。我個(gè)人判斷至少在接下來(lái)一到兩年，卡不會(huì)成為很大瓶頸。

騰訊新聞《潛望》：你似乎一直在思考組織，在團(tuán)隊(duì)構(gòu)建上是怎么做的？

楊植麟：招人思路發(fā)生過(guò)一些變化。世界上AGI人才非常有限，有經(jīng)驗(yàn)的人很少。我們最早期的畫(huà)像是，專注找對(duì)口的genius（天才）。這個(gè)證明非常成功。之前有對(duì)模型動(dòng)手術(shù)的能力，有訓(xùn)練超大規(guī)模模型直接的經(jīng)驗(yàn)，就可以很快做出來(lái)。包括Kimi發(fā)布，資本效率和組織效率其實(shí)很高。

騰訊新聞《潛望》：花了多少錢(qián)？

楊植麟：一個(gè)挺小的數(shù)，相比很多其他花費(fèi)，是花小錢(qián)辦大事。我們很長(zhǎng)一段時(shí)間是30-40人的狀態(tài)?，F(xiàn)在80人。我們追求人才密度。

人才畫(huà)像后來(lái)發(fā)生了變化。最早期招g(shù)enius，認(rèn)為他的上限高，公司上限是由人的上限決定的。但后面我們補(bǔ)齊了更多維度的人——產(chǎn)品運(yùn)營(yíng)側(cè)的人，leader型的人，能把事情做到極致的人。現(xiàn)在是一個(gè)更完整、有韌性、能打仗的團(tuán)隊(duì)。

騰訊新聞《潛望》：在中國(guó)大模型創(chuàng)業(yè)一年，怎么評(píng)價(jià)現(xiàn)在取得的階段性成果？

楊植麟：造了一個(gè)火箭的原型，現(xiàn)在點(diǎn)火試飛。積累了一個(gè)團(tuán)隊(duì)，弄清楚了一些燃料的配方，多多少少還能看到一個(gè)PMF的雛形。

可以說(shuō)，登月走了第一步。

騰訊新聞《潛望》：你怎么看楊立昆說(shuō)，他不看好現(xiàn)有技術(shù)路線，認(rèn)為自監(jiān)督的語(yǔ)言模型沒(méi)辦法習(xí)得真正世界的知識(shí)，隨著模型規(guī)模的擴(kuò)大出現(xiàn)謬誤，也就是機(jī)器幻覺(jué)的幾率會(huì)越來(lái)越高。他提出了“世界模型”的觀點(diǎn)。

楊植麟：沒(méi)有本質(zhì)瓶頸。當(dāng)token space足夠大，變成一個(gè)新型計(jì)算機(jī)解決通用性問(wèn)題就OK了，它就是一個(gè)通用世界模型。

（他這么說(shuō)）很重要一點(diǎn)在于，大家都能看到現(xiàn)在的局限性。但解決方式并不一定需要全新框架。AI唯一work就是next token prediction + scaling law，只要token足夠完整，都是可以做的。當(dāng)然今天他指出的問(wèn)題存在，但這些問(wèn)題就是你把token space變得很通用，就可以了。

騰訊新聞《潛望》：他是放大了局限性。

楊植麟：我覺(jué)得是。但底層第一性原理沒(méi)什么問(wèn)題，只是說(shuō)現(xiàn)在有些小技術(shù)問(wèn)題沒(méi)解決。

騰訊新聞《潛望》：你怎么看Geoffrey Hinton（深度學(xué)習(xí)之父）一而再、再而三呼吁AI Safety的問(wèn)題？

楊植麟：Safety反而表明了，他對(duì)接下來(lái)技術(shù)能力的提升有極大信心。他們是相反的。

騰訊新聞《潛望》：幻覺(jué)的問(wèn)題怎么解決？

楊植麟：還是scaling law，就是scale的是不一樣的東西。

騰訊新聞《潛望》：有多大概率scaling law走到最后發(fā)現(xiàn)根本走不通？

楊植麟：可能約等于0。

騰訊新聞《潛望》：怎么看你的CMU校友陸奇的觀點(diǎn)：OpenAI未來(lái)肯定比Google大，只不過(guò)是大一倍、五倍還是十倍的問(wèn)題？

楊植麟：未來(lái)最成功的AGI公司肯定是會(huì)比現(xiàn)在所有公司都大。這點(diǎn)沒(méi)有疑問(wèn)，它最終可能是double、triple GPT的事。它不一定是OpenAI，有可能是別的公司，但肯定有這樣的公司。

騰訊新聞《潛望》：如果你恰巧成了這家AI帝國(guó)的CEO，你會(huì)做什么用以保護(hù)人類(lèi)嗎？

楊植麟：現(xiàn)在想這個(gè)問(wèn)題還缺少一些前提條件。但我們肯定愿意跟社會(huì)不同角色去合作和提升，包括在模型上有更多安全措施。

騰訊新聞《潛望》：你2024年的目標(biāo)是什么？

楊植麟：第一是技術(shù)突破，我們現(xiàn)在應(yīng)該能做出比2023年好得多的模型。第二是用戶和產(chǎn)品，希望有更多成規(guī)模的用戶和黏性。

騰訊新聞《潛望》：2024年對(duì)于全球大模型產(chǎn)業(yè)有哪些預(yù)測(cè)？

楊植麟：今年還會(huì)有更多capability出現(xiàn)，但格局不會(huì)跟今天有太大差別，top這幾個(gè)還是會(huì)領(lǐng)先。在能力上應(yīng)該今年下半年會(huì)有一些比較大的突破，很多會(huì)來(lái)自O(shè)penAI，它肯定還有下一代模型——有可能是4.5，也有可能是5，感覺(jué)是大概率事件。視頻的生成模型肯定還能繼續(xù)scale。

騰訊新聞《潛望》：2024年對(duì)于國(guó)產(chǎn)大模型產(chǎn)業(yè)有哪些預(yù)測(cè)？

楊植麟：一是可以看到新的獨(dú)特能力產(chǎn)生。你會(huì)看到國(guó)產(chǎn)模型，因?yàn)榍捌诘耐度?，有合適的團(tuán)隊(duì)，做出世界領(lǐng)先的某一些維度的能力。二是會(huì)出現(xiàn)更多用戶量級(jí)更大的產(chǎn)品，這是大概率的。三是會(huì)有進(jìn)一步的consolidation和路線選擇的分化。

騰訊新聞《潛望》：創(chuàng)業(yè)你最害怕的一件事情是什么？

楊植麟：還好，就是要無(wú)所（畏懼）往前沖啊。

騰訊新聞《潛望》：想對(duì)同行說(shuō)什么？

楊植麟：一起努力。

騰訊新聞《潛望》：說(shuō)一個(gè)你對(duì)于大模型行業(yè)現(xiàn)在還不知道但最想知道的問(wèn)題。

楊植麟：我不知道AGI的上限是什么樣的，它會(huì)產(chǎn)生一個(gè)什么樣的公司，這個(gè)公司能產(chǎn)生出來(lái)什么樣的產(chǎn)品。這是我現(xiàn)在最想知道的事。

騰訊新聞《潛望》：AGI這么發(fā)展下去，你最不想看到的一件事是什么？

楊植麟：我對(duì)這個(gè)比較樂(lè)觀，它可以讓人類(lèi)文明往下一個(gè)階段去發(fā)展。

騰訊新聞《潛望》：有沒(méi)有人評(píng)價(jià)你，太過(guò)于理想主義？

楊植麟：我們也是很腳踏實(shí)地的，我們真的也做了一些事，不是只是在說(shuō)嘛。

騰訊新聞《潛望》：如果你今天拿到的錢(qián)是最后一筆錢(qián)，你會(huì)怎么花這筆錢(qián)？

楊植麟：我希望這個(gè)永遠(yuǎn)不會(huì)發(fā)生，因?yàn)槲覀兾磥?lái)還需要很多錢(qián)。

騰訊新聞《潛望》：如果你沒(méi)有做成什么，會(huì)覺(jué)得自己失敗了？

楊植麟：關(guān)系不是那么大，我接受有失敗的概率。

這個(gè)事情它已經(jīng)完全改變了我的生命，我是充滿感激的。