Lex
: 我應該提一下,我在德克薩斯州有機會遇到一個被稱為“追風者”的群體。是的。關于他們真正令人難以置信的是,我需要和他們多聊聊,他們對技術非常精通,因為他們必須使用模型來預測風暴的位置。所以這是一種奇妙的結合,既要足夠瘋狂去進入風暴眼,又要為了保護你的生命并預測極端事件將發生在哪里,他們必須擁有越來越精密的 weather 模型。是的,這是一種美妙的平衡,既要像生物體一樣身處其中,又要掌握最前沿的科學。所以他們實際上可能會使用 DeepMind 系統。所以那是...
德米斯
: 是的,希望他們正在使用。而且我很想加入他們的追逐行動。它們看起來很棒,對吧?真正體驗一次。
Lex
: 沒錯。而且還能體驗到正確的預測,知道某事將發生在哪里以及它將如何演變。這太不可思議了。是的。
通往AGI之路:定義、測試與挑戰
Lex
: 你估計我們將在2030年實現通用人工智能(AGI)。所以圍繞這一點存在著有趣的問題。我們如何才能真正知道我們已經達到了目標?通用人工智能的第37步棋可能是什么?
德米斯
: 我的估計是在未來五年內有大約50%的幾率。所以,你知道,比如說,到2030年。所以我認為很有可能發生這種情況。其中一部分取決于你對通用人工智能的定義是什么?當然,人們現在正在爭論這個問題。而我的標準一直很高,比如,我們能否匹配大腦所擁有的認知功能?所以我們知道我們的大腦幾乎是通用的圖靈機,近似的。當然,我們用我們的頭腦創造了令人難以置信的現代文明。這也說明了大腦的普遍性。
為了知道我們是否擁有真正的人工通用智能(AGI),我們必須確保它擁有所有這些能力。它不是一種參差不齊的智能,在某些方面,比如今天的系統,它非常擅長,但在其他方面,它又存在缺陷。這就是我們目前通過今天的系統所擁有的。它們不一致。所以你會希望在各個方面都保持這種智能的一致性。然后我們還有一些缺失的能力,我認為,比如我們之前談到的真正的發明能力和創造力。所以你會希望看到這些。
如何測試呢?我認為你只需要測試它。一種方法是對數以萬計的人類可以做的認知任務進行某種程度的暴力測試,并且可能讓世界頂尖的數百位專家,即各個學科領域的泰倫斯·陶,使用這個系統,看看他們是否能找到明顯的缺陷,比如給他們一兩個月的時間看看他們能不能找到。如果他們找不到,那么我認為你就可以相當自信地說我們擁有一個完全通用的系統。
Lex
: 也許稍微反駁一下,似乎人類在所有領域都隨著智力的提高而變得非常不可思議,以至于認為這是理所當然的。就像你提到的泰倫斯·陶,這些杰出的專家,他們可能會在短短幾周內迅速將它能做的所有不可思議的事情視為理所當然,然后專注于“啊哈,就在那里”。你知道,首先,我認為自己是人類。我把自己定義為人類。你知道,有些人聽我說話,他們會覺得,那家伙不擅長說話,結結巴巴的,你知道的。所以即使是人類,即使在數學和物理學等等領域之外,也有明顯的跨領域局限性。我想知道是否需要像第37步這樣的舉動,從積極的方面來說,而不是像10000個認知任務的狂轟濫炸,在這10000個任務中,可能有一兩個任務讓人覺得,我的天,這太特別了。
德米斯
: 沒錯,所以我認為既要進行全面測試,以確保一致性,也要關注像圍棋37手那樣的燈塔時刻。其中一個就是像愛因斯坦那樣,提出關于物理學的新猜想或新假設。所以也許你可以非常嚴格地對它進行回溯測試,比如設置1900年的知識截止點,然后給系統提供1900年之前的所有文獻,看看它是否能提出狹義相對論和廣義相對論,對吧?就像愛因斯坦做的那樣。那將會是一個有趣的測試。另一個是,它能否發明一種像圍棋一樣的游戲? 不僅僅是提出圍棋37手,一種新的策略,而是能否發明一種像圍棋一樣深刻、具有美感和優雅的游戲?這些是我會關注的事情,而且可能需要一個系統能夠完成其中幾件事,對吧,才能使其非常通用,而不僅僅局限于一個領域。所以我認為這些跡象,至少是我會尋找的跡象,表明我們擁有一個達到通用人工智能(AGI)水平的系統。然后也許為了完善它,你還會檢查一致性,確保系統中也沒有漏洞。
Lex
: 是的,類似新的猜想或科學發現。那會是一種很酷的感覺。
德米斯
: 是的,那會非常棒。所以它不僅僅是幫助我們做到這一點,而且實際上是在提出全新的東西。
Lex
: 而你也會參與其中。這樣的話,可能要在宣布之前兩到三個月。而你只會坐在那里,努力不發推特。
德米斯
: 諸如此類,沒錯。這就像,這個驚人的新物理學想法是什么?然后我們可能會與該領域的全球專家核實,對吧?并驗證它,并仔細檢查它的運作方式。我想這也包括解釋它的運作方式。是的,那將是一個了不起的時刻。
Lex
: 您是否擔心我們人類,甚至是像您這樣的專家,可能會錯過它?
德米斯
: 嗯,它可能非常復雜。所以可能是,我給出的類比是,我認為對于最優秀的人類科學家來說,它不會完全神秘,但可能有點像,例如,在國際象棋中,如果我和加里·卡斯帕羅夫或馬格努斯·卡爾森交談并和他們下棋,他們走了一步妙棋,我可能想不出那一步棋,但之后他們可以解釋為什么那一步棋有意義。我們可以在某種程度上理解它。達不到他們的水平,但如果他們善于解釋,這實際上也是智力的一部分,即能夠用簡單的方式解釋你在想什么。我認為對于最優秀的人類科學家來說,這非常有可能。
Lex
: 但我在想,也許您可以在圍棋方面給我一些指導。我想知道,馬格努斯或加里是否有某些棋步,他們起初會認為這是臭棋。
德米斯
: 是啊,當然。有可能。但之后他們會憑直覺弄明白為什么這樣有效。然后從經驗上來說,游戲的好處之一是,游戲最棒的地方之一是你可以把它當作一種科學測試。你能贏得游戲嗎?還是不能?然后它會告訴你,好吧,最終這一步走得很好。這個策略是好的。然后你可以回過頭來分析它,甚至向自己更多地解釋為什么,并圍繞它進行探索。象棋分析和類似的事情就是這樣運作的。所以也許這就是為什么我的大腦會這樣運作,因為我從四歲起就開始這樣做了。而且你接受過訓練,從某種程度上來說,那是種硬核訓練。
Lex
: 但即使是現在,比如當我生成代碼時,也會出現這種細微的、引人入勝的爭論,我一開始可能會認為一組生成的代碼在某些有趣的細微之處是不正確的。但我總是不得不問這個問題,這里面是否隱藏著更深層的見解,而實際上是我自己錯了?隨著系統變得越來越智能,你將不得不面對這個問題。這就像,什么,什么,你,這是你提出的一個漏洞還是一個特性?
德米斯
: 是的,而且它們將會非常復雜,但當然,你可以想象也會有AI系統生成那些代碼或其他什么。然后人類程序員會查看它,但也會借助AI工具的幫助。所以這將會是一種有趣的,你知道,也許不同的AI工具,和那些監控工具比起來,它們更像是生成工具。
Lex
: 所以如果我們看一個AGI系統,抱歉又提起來了,但Alpha Evolve,超級酷。因此,Alpha Evolve 在編程方面實現了遞歸式自我改進之類的可能性。如果我們能想象那個通用人工智能系統,也許不是第一個版本,而是之后的幾個版本,它實際上會是什么樣子?你認為它會很簡單嗎?你認為它會像是簡單的自我改進程序嗎?
德米斯
: 我的意思是,這有可能是可行的,我會這么說。我不確定這是否是人們所期望的,因為這有點像是硬起飛 (情景),但是像Alpha Evolve這樣的當前系統,你知道,它們有人工參與來決定各種事情。它們是獨立的混合系統,彼此交互。人們可以想象最終實現端到端。我不明白為什么這不可能,但現在,你知道,我認為這些系統還不夠好,無法在提出代碼架構方面做到這一點。
并且,它與提出新的推測性假設的想法有些重新連接。就像,如果你給他們關于你試圖做什么的非常具體的指示,他們就做得很好,但是如果你給他們非常模糊的高級指示,目前這是行不通的。比如,我認為這與發明一款像圍棋一樣好的游戲有關,對吧?想象一下,這就是提示。這就太不明確了。所以我認為,目前的系統不知道該如何處理,如何將其縮小到可處理的范圍。而且我認為也有類似的,比如,只是做一個更好的自己。這太不受約束了。
但是我們已經做到了,你知道,正如你所知,通過Alpha Evolve,比如更快的矩陣乘法。所以當你把它磨練成你想要的非常具體的東西時,它非常擅長逐步改進它。但目前,這些更像是漸進式的改進,有點像小的迭代。然而,你知道,如果你想要在理解上取得巨大的飛躍,你需要一個更大的進步。
Lex
: 是的,但它也可能是為了反擊硬著陸情景。它可能只是一系列漸進式的改進,比如矩陣乘法。就像它必須在那里坐幾天,思考如何逐步改進一件事。并且它是以遞歸的方式進行的。并且隨著你做越來越多的改進,你的速度會減慢。對。就像,就像通往通用人工智能的道路不會是,它會是隨著時間的推移而逐漸改進。
德米斯
: 是的。如果只是漸進式的改進,那它看起來就會是那樣。所以問題是,它能否提出一個新的飛躍,就像Transformer架構?是的。就像,它能否在2017年做到這一點,你知道,當我們和Brain做到這一點時?并且這些系統,像Alpha Evolve這樣的東西,是否能夠做出如此大的飛躍,這一點尚不清楚。所以可以肯定的是,這些系統很好。我認為,我們擁有可以進行增量爬坡的系統。這就引出了一個更大的問題,那就是從現在開始,是否只需要這些就夠了?或者我們是否真的需要一兩個更大的突破?
Lex
: 同樣的系統也能提供突破嗎?所以把它做成一堆S型曲線。比如漸進式改進,但也時不時地有飛躍。
德米斯
: 是的。我認為沒有人擁有可以明確展示這些巨大飛躍的系統。對吧?我們有很多系統可以進行你當前所處的S型曲線的爬坡。
Lex
: 是的。那應該是第37步,是嗎?
德米斯
: 是的。我認為會是一個跳躍,類似那樣的。
計算、能源與文明的未來
Lex
: 你認為縮放定律在預訓練、后訓練、測試時間和計算方面都保持強勁嗎?反過來說,你是否預計人工智能的進展會遇到瓶頸?
德米斯
: 我們當然覺得在擴展方面還有很大的空間。所以實際上是所有步驟,預訓練、后訓練和推理時間。所以有三種擴展同時發生。我們再次強調,這取決于你有多大的創新能力。我們為自己擁有最廣泛和最深入的研究團隊而感到自豪。我們擁有杰出、令人難以置信的研究人員,比如諾姆·沙澤爾,他提出了Transformer模型,還有戴維·席爾瓦,他領導了AlphaGo項目等等。這種研究基礎意味著,如果需要像AlphaGo或Transformer這樣的新突破,我會支持我們成為實現突破的地方。
所以實際上我非常喜歡地形變得更加困難,對吧?因為這樣它就更多地從單純的工程轉向真正的研究,或者研究加上工程。那是我們的優勢所在。而且我認為這更難。發明東西比快速跟進更難。因此,我們不知道,我想說這有點像五五開,是否需要新的東西,或者擴展現有東西是否就足夠了。所以以一種真正的經驗主義的方式,我們正在盡可能地推動這兩方面。全新的藍天創意,也許我們大約一半的資源都投入在其中。然后擴展到最大限度,即當前的能力。
Lex
: 我們仍然看到 Gemini 的每個不同版本都取得了令人驚嘆的進展。你用深度儲備來描述它的方式很有意思,如果通往 AGI(通用人工智能)的進展不僅僅是擴展計算能力,還包括問題的工程方面,并且更多地是科學方面,需要突破,那么你是否認為 DeepMind,或者說 Google DeepMind,也同樣有能力在該領域大展拳腳。
德米斯
: 嗯,我的意思是,如果你回顧過去十年或十五年的歷史,也許,我不知道,支撐當今現代人工智能領域的 80%、90% 的突破最初都來自 Google Brain、Google Research 和 DeepMind。所以,是的,我希望并支持這種情況繼續下去。
Lex
: 那么在數據方面,您是否擔心高質量數據,尤其是高質量的人類數據會耗盡?
德米斯
: 我不太擔心,部分原因是我認為有足夠的數據,而且已經證明這些數據足以讓系統變得相當好。這又回到了模擬。如果你有足夠的數據來進行模擬,這樣你就可以創建更多來自正確分布的合成數據。顯然,這是關鍵。因此,你需要足夠的真實世界數據,才能創建那些類型的數據生成器。我認為我們目前正處于那個階段。
Lex
: 是的,你在科學和生物學方面做了很多了不起的事情,用不多的數據做了很多。是的。我是說,數據仍然很多,但我猜足以起飛。
德米斯
: 讓它運轉起來,沒錯。的確如此。
Lex
: 計算規模的擴大對于構建AGI有多么關鍵? 這是一個工程問題。這幾乎是一個地緣政治問題,因為它也融入了供應鏈和能源,這是你非常關心的問題,即潛在的核聚變。也在能源方面進行創新。你認為我們會繼續擴大計算規模嗎?
德米斯
: 我也這么認為。有幾個原因。我認為計算方面,存在用于訓練的計算量的問題。通常需要將它們放置在同一地點。所以實際上,即使是數據中心之間的帶寬限制也會影響這一點。所以即使在那方面也有額外的限制。這對訓練來說很重要,顯然可以訓練出最大的模型。而且,由于現在人工智能系統已應用于產品中,并被全球數十億人使用,因此現在需要大量的推理計算。除此之外,還有思考系統,這是去年出現的新范式,即在測試時給予它們越長的推理時間,它們就會變得越聰明。
所以所有這些都需要大量的計算。我真的沒看到這種趨勢會放緩。隨著人工智能系統變得更好,它們將變得更有用,對它們的需求也會更大。因此,無論是從訓練方面來說,訓練方面實際上只是其中的一部分,甚至可能成為總體計算需求中較小的一部分。
Lex
: 是的,這有點像一個迷因梗,就像VEO3的成功和令人難以置信之處。人們會拿這個開玩笑,比如,它越成功,服務器就越辛苦。是的,完全正確。為了進行推理。
德米斯
: 是的,是的,完全正確。我們做了一個小視頻,關于服務器煎雞蛋之類的,沒錯。我們必須想辦法解決這個問題。我們有很多有趣的硬件創新要做。正如你所知,我們有自己的TPU產品線,并且正在研究諸如僅推理事物、僅推理芯片以及如何提高效率的問題。我們也非常有興趣構建人工智能系統,并且已經在能源使用方面提供了幫助。例如,幫助數據中心節能,像冷卻系統那樣提高效率,優化電網,最終還有幫助等離子體約束聚變反應堆之類的事情。我們與聯邦聚變公司在這方面做了很多工作,而且人們可以想象反應堆設計,我認為材料設計是最令人興奮的。新型太陽能材料、太陽能電池板材料、超棒的室溫超導體一直是我夢想突破和優化電池的清單上的項目。而且我認為,任何一個問題的解決方案都將對氣候和能源使用產生絕對性的革命。而且我們可能已經接近了,并且在未來5年內將擁有能夠切實幫助解決這些問題的人工智能系統。
Lex
: 如果你要下注,很抱歉這個問題很荒謬,但在20、30、40年后,主要的能源來源會是什么?你認為會是核聚變嗎?
德米斯
: 我認為聚變和太陽能是我會押注的兩種能源。太陽,我的意思是,當然,它是天空中的聚變反應堆。而且我認為真正的問題在于電池和傳輸。因此,除了更高效、越來越高效的太陽能材料之外,或許最終會在太空,類似于戴森球類型的想法。而聚變,我認為絕對是可行的,看起來,如果我們有正確設計的反應堆,并且能夠足夠快地控制等離子體等等。而且我認為這兩件事實際上都會得到解決。所以我們可能至少會擁有,那些可能是可再生、清潔、幾乎免費,或者可能免費能源的兩個主要來源。
Lex
: 真是個美好的時代。如果我與你一起穿越到100年后的未來,如果我們已經超越了1型卡爾達肖夫文明,你會感到多么驚訝?
德米斯
: 如果從現在開始有大約100年的時間尺度,我不會感到那么驚訝。我的意思是,我認為很明顯,如果我們以我們剛才討論的其中一種方式解決了能源問題,即聚變或非常高效的太陽能,那么如果能源是某種程度上免費、可再生且清潔的,那么這將解決一大堆其他問題。舉例來說,用水問題就消失了,因為你可以直接使用海水淡化。我們有這項技術,只是太貴了。所以只有像新加坡和以色列等相當富裕的國家才會實際使用它。但如果它很便宜,那么所有有海岸線的國家都可以使用。而且你還會擁有無限的火箭燃料。你可以用能量將海水分離成氫和氧,那就是火箭燃料。再加上埃隆令人驚嘆的自著陸火箭,那就可能像太空巴士服務一樣。這就開啟了令人難以置信的新資源和領域。我認為小行星采礦將會成為現實,并將人類的繁榮推向星辰。這也是我夢想的,就像卡爾·薩根的那種將意識帶到宇宙,喚醒宇宙的想法。而且我認為如果我們正確地使用人工智能并解決它帶來的一些問題,人類文明將在完整的時間意義上做到這一點。
Lex
: 是的,我想知道,如果你只是一個在太空中飛行的游客,那會是什么樣子,你可能會注意到地球,因為如果你解決了能源問題,你可能會看到很多太空火箭。所以這就像倫敦的交通一樣,只是在太空中,有很多火箭。然后你可能會看到漂浮在太空中的某種能源,比如太陽能。所以地球表面看起來會更加科技化。然后你將利用這種能量的力量來保護自然,比如熱帶雨林和所有類似的東西。
德米斯
: 因為在人類歷史上,我們第一次不會受到資源限制。而且我認為那可能是人類一個了不起的新時代,不再是零和博弈,對吧?我擁有這片土地,而你沒有。或者如果老虎擁有它們的森林,那么當地村民就不能,他們該怎么辦?我認為這會有很大幫助。不,它不會解決所有問題,因為仍然存在其他人類弱點,但至少會消除一個,我認為是其中一個主要因素,即資源的稀缺,包括土地和更多的材料和能源。我們應該像一些人所說的那樣,進入另一種關于這種徹底富足時代的學派,在這個時代里有充足的資源可以分配。當然,下一個大問題是確保公平分配,并且社會中的每個人都能從中受益。
人性的游戲:沖突、意義與合作
Lex
: 所以關于人性,我總覺得,就像《波拉特》里一樣,像我的鄰居,就像你挑起事端,我們確實會引發沖突。這就是為什么游戲一直以來,正如我實際上越來越多地了解到的那樣,即使在古代歷史上,也起到了使人們遠離戰爭,實際上是熱戰的目的。所以也許我們可以設計出越來越復雜的電子游戲,來滿足我們的那種沖動,那種類似于沖突的渴望,無論那是什么關于我們,關于人性的東西,然后避免實際的熱戰,因為隨著日益精密的技術,我們早已過了我們所能創造的武器實際上可以摧毀所有人類文明的階段。所以,再也不能用與鄰居開戰的方式來挑起事端了。最好是下盤棋。
德米斯
: 或者踢足球?;蛘咦闱?,是的。我認為這就是我的現代運動。我喜歡足球,喜歡觀看。我只是覺得,而且我過去也經常踢足球。它非常發自內心,而且具有部落性。我認為它確實將很多能量導入到一個,我認為這是一種人類需要歸屬于某個群體的需求。但是進入一個有趣的方式,一個健康的方式,和一個非破壞性的方式,一種建設性的事物。
而且我認為再次回到游戲,我認為最初它們之所以如此偉大,比如讓孩子們玩象棋,是因為它們是很好的小規模世界模擬。它們也是世界的模擬。它們是某些現實世界情況的簡化版本,無論是撲克、圍棋還是象棋,現實世界的不同方面或者外交的不同方面。它也允許你練習這些。而且,你知道,你一生中有多少次機會練習一個重大的決策時刻?你知道,該選擇什么工作?該去哪所大學?你知道,你也許會,我不知道,一個人大概需要做出十幾個左右的關鍵決定。而且你必須盡可能地把這些決定做好。游戲是一種安全的環境,可重復的環境,在那里你可以提高你的決策過程。并且它可能還有這個額外的好處,可以將一些精力引導到更具創造性和建設性的追求中。
Lex
: 嗯,我認為練習失敗和獲勝也非常重要。對。比如失敗真的是,你知道,這就是為什么我喜歡游戲。這就是為什么我喜歡巴西柔術之類的東西,在那里你可以在安全的環境中一次又一次地被打敗。它提醒你關于方式、關于物理學、關于世界運作的方式,關于有時你輸,有時你贏。你仍然可以和每個人成為朋友。是的。那種失敗的感覺。我的意思是,對于我們人類來說,真正理解它是一件很奇怪的事情。就像那是生活的一部分。失敗是生活的一個基本組成部分。
德米斯
: 是的。而且我認為在武術中,正如我所理解的那樣,但在像輕量級國際象棋這樣的事情中,至少我所理解的方式是,它與自我提升、自我認知有很多關系,你知道,好吧。所以我做了這件事。這與真正超越另一個人無關。這是關于最大化你自己的潛力。如果你以一種健康的方式去做,你就會學會如何利用勝利和失敗。不要被勝利沖昏頭腦,認為你就是世界上最棒的。失敗讓你保持謙遜,并且始終明白總有更多東西需要學習??傆懈Y深的專家可以指導你。你知道,我想你會學到這些。我很確定在武術中是這樣。我認為這也是至少我接受國際象棋訓練的方式。因此,以同樣的方式,它可以非常硬核,非常重要。當然,你想要贏,但你也需要學習如何以一種健康的方式處理挫折,并將你失去某些東西時的那種感覺轉化為建設性的東西,例如下次我要改進這一點,對吧?或者在這方面做得更好。
Lex
: 有些東西是幸福的源泉,是意義的源泉,它改進了這種狀況。這與輸贏無關。
德米斯
: 是的,精通。在某種程度上,沒有什么比“哇,這件我以前做不到的事情”更令人滿足的了?,F在我可以了。再次,游戲、體育運動和腦力運動都是衡量的方式。它們很棒,因為你可以衡量這種進步。
Lex
: 是的。我的意思是,有些東西,我想這就是我喜歡角色扮演游戲的原因,比如技能樹上的數字在增長。就像字面意義上那樣,那是我們人類意義的來源。
德米斯
: 無論我們如何——是的,我們非常沉迷于這種,是的,這些數字不斷增長,也許這就是我們制作此類游戲的原因,因為很明顯,這是我們自己也在進行爬山算法的系統,對吧?
Lex
: 是的,如果我們沒有任何機制,那將是非??杀?。彩色腰帶,我們到處都這么做,對吧?在那里我們只是擁有這樣一件很棒的事情。而且我不想否定這一點。那是我們人類深刻意義的來源。