曾經(jīng)奠定人工智能基礎(chǔ)，如今卻成為「反 AI」的先鋒。

1947 年，艾倫·圖靈在一次演講中提出了一個(gè)前瞻性的設(shè)想：「我們想要的是一臺(tái)能夠從經(jīng)驗(yàn)中學(xué)習(xí)的機(jī)器?！?8 年后，以圖靈命名的「計(jì)算機(jī)界諾貝爾獎(jiǎng)」——圖靈獎(jiǎng)，將這一愿景變?yōu)楝F(xiàn)實(shí)，授予了兩位畢生致力于解決圖靈這一問(wèn)題的科學(xué)家。安德魯·巴托（Andrew Barto）與理查德·薩頓（Richard Sutton）共同獲得了 2024 年度圖靈獎(jiǎng)，他們不僅是相差九歲的師徒，更是 AlphaGo 和 ChatGPT 技術(shù)上的奠基人，以及機(jī)器學(xué)習(xí)領(lǐng)域的技術(shù)先驅(qū)。

圖靈獎(jiǎng)獲獎(jiǎng)?wù)甙驳卖敗ぐ屯校ˋndrew Barto）與理查德·薩頓（Richard Sutton）
圖片來(lái)源：圖靈獎(jiǎng)官網(wǎng)

谷歌首席科學(xué)家 Jeff Dean 在頒獎(jiǎng)詞中高度評(píng)價(jià)了巴托和薩頓的貢獻(xiàn)：「由巴托和薩頓開(kāi)創(chuàng)的強(qiáng)化學(xué)習(xí)技術(shù)，直接回答了圖靈的問(wèn)題。他們的工作是過(guò)去幾十年 AI 進(jìn)步的關(guān)鍵。他們開(kāi)發(fā)的工具仍是 AI 繁榮的核心支柱……谷歌很榮幸贊助 ACM A.M.圖靈獎(jiǎng)。」圖靈獎(jiǎng)的 100 萬(wàn)美元獎(jiǎng)金唯一贊助方正是谷歌。然而，在聚光燈下，兩位科學(xué)家卻劍指 AI 大公司，他們對(duì)媒體表示：「現(xiàn)在的 AI 公司在『受到商業(yè)激勵(lì)』而非專注于技術(shù)研究，在社會(huì)上『架起一座未經(jīng)測(cè)試的橋梁，讓人們過(guò)橋來(lái)測(cè)試』?！?

無(wú)獨(dú)有偶，圖靈獎(jiǎng)上一次頒發(fā)給人工智能領(lǐng)域的科學(xué)家是在 2018 屆，約書亞·本希奧、杰弗里·辛頓、楊立昆三位因在深度學(xué)習(xí)領(lǐng)域的貢獻(xiàn)而獲獎(jiǎng)。其中，約書亞·本希奧和杰弗里·辛頓（亦是 2024 年諾貝爾物理學(xué)獎(jiǎng)獲獎(jiǎng)?wù)撸┰诮陙?lái)的 AI 浪潮中頻繁呼吁全球社會(huì)和科學(xué)界警惕大公司對(duì)人工智能的濫用。杰弗里·辛頓更是直接從谷歌辭職，以便「暢所欲言」，而這次獲獎(jiǎng)的桑頓，在 2017 – 2023 年也曾任 DeepMind 的研究科學(xué)家。

當(dāng)計(jì)算機(jī)界的最高榮譽(yù)一次次被授予給 AI 核心技術(shù)的奠基者時(shí)，一個(gè)耐人尋味的現(xiàn)象逐漸浮現(xiàn)：為何這些站上巔峰的科學(xué)家，總會(huì)在聚光燈下轉(zhuǎn)身敲響 AI 的警鐘？

人工智能的「造橋者」

如果說(shuō)艾倫·圖靈是人工智能的引路人，那安德魯·巴托和理查德·薩頓就是這條道路上的「造橋者」。在人工智能飛馳之時(shí)，在被授予禮贊之后，他們?cè)谥匦聦徱曌约捍罱ǖ臉蛄?，能否承載人類安全通行？或許答案正藏在他們跨越半個(gè)世紀(jì)的學(xué)術(shù)生涯中——唯有回溯他們?nèi)绾螛?gòu)建了「機(jī)器的學(xué)習(xí)」，才能理解他們?yōu)楹尉琛讣夹g(shù)的失控」。

圖片來(lái)源：卡耐基梅隆大學(xué)

1950 年，艾倫·圖靈在其著名論文《計(jì)算機(jī)器與智能》中，開(kāi)篇就提出一個(gè)哲學(xué)和技術(shù)問(wèn)題：「機(jī)器能思考嗎？」由此，圖靈設(shè)計(jì)出了「模仿游戲」，即后世廣為人知的「圖靈測(cè)試」。同時(shí)，他提出機(jī)器智能可以通過(guò)學(xué)習(xí)獲得，而非僅依賴事先編程。他設(shè)想了「兒童機(jī)器（Child Machine）」的概念，即通過(guò)訓(xùn)練和經(jīng)驗(yàn)，讓機(jī)器像孩子一樣逐步學(xué)習(xí)。

人工智能的核心目標(biāo)是構(gòu)建出能感知、并采取更好行動(dòng)的智能體，而衡量智能的標(biāo)準(zhǔn)，即智能體有判斷「某些行動(dòng)比其他行動(dòng)更好」的能力。機(jī)器學(xué)習(xí)的目的就在于此，給予機(jī)器行動(dòng)后相應(yīng)的反饋，并且能讓機(jī)器自主地在反饋經(jīng)驗(yàn)中學(xué)習(xí)。換言之，圖靈構(gòu)思出基于獎(jiǎng)勵(lì)和懲罰的機(jī)器學(xué)習(xí)方法與巴普洛夫訓(xùn)狗無(wú)異。

我在游戲里越玩越敗越強(qiáng)，也是一種「強(qiáng)化學(xué)習(xí)」
圖片來(lái)源：zequance.ai

由圖靈引出的機(jī)器學(xué)習(xí)之路，在三十年后，才由一對(duì)師徒建出了橋——強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL）。1977 年，安德魯·巴托受到心理學(xué)和神經(jīng)科學(xué)的啟發(fā)，開(kāi)始探索一種人類智能的新理論：神經(jīng)元就像「享樂(lè)主義者」，人類大腦內(nèi)數(shù)十億個(gè)神經(jīng)元細(xì)胞，每個(gè)都試圖最大化快樂(lè)（獎(jiǎng)勵(lì)）并最小化痛苦（懲罰）。而且神經(jīng)元并不是機(jī)械地接收信號(hào)和傳遞信號(hào)，如果某個(gè)神經(jīng)元的活動(dòng)模式導(dǎo)致了正反饋，它就會(huì)傾向于重復(fù)這個(gè)模式，由此共同驅(qū)動(dòng)了人類的學(xué)習(xí)過(guò)程。

到了 1980 年代，巴托帶上了他的博士生理查德·薩頓，想把這套「不斷嘗試、根據(jù)反饋調(diào)整連接，找到最優(yōu)的行為模式」的神經(jīng)元理論應(yīng)用在人工智能上，強(qiáng)化學(xué)習(xí)就此誕生。《強(qiáng)化學(xué)習(xí)：導(dǎo)論》成為經(jīng)典教材，已被引用近 80000 次。

圖片來(lái)源：IEEE

師徒二人利用馬爾可夫決策過(guò)程的數(shù)學(xué)基礎(chǔ)，開(kāi)發(fā)并編寫出了許多強(qiáng)化學(xué)習(xí)的核心算法，系統(tǒng)地構(gòu)建出了強(qiáng)化學(xué)習(xí)的理論框架，還編寫了《強(qiáng)化學(xué)習(xí)：導(dǎo)論》教科書，讓數(shù)萬(wàn)名研究人員得以進(jìn)入強(qiáng)化學(xué)習(xí)領(lǐng)域，二者堪稱強(qiáng)化學(xué)習(xí)之父。而他們研究強(qiáng)化學(xué)習(xí)的目的，是為了探尋出高效準(zhǔn)確、回報(bào)最大化、行動(dòng)最佳的機(jī)器學(xué)習(xí)方法。

強(qiáng)化學(xué)習(xí)的「神之一手」

如果說(shuō)機(jī)器學(xué)習(xí)是「填鴨式」學(xué)習(xí)，那強(qiáng)化學(xué)習(xí)就是「放養(yǎng)式」學(xué)習(xí)。傳統(tǒng)的機(jī)器學(xué)習(xí)，就是給模型被喂大量標(biāo)注好的數(shù)據(jù)，建立輸入和輸出之間固定的映射關(guān)系。最經(jīng)典的場(chǎng)景就是給電腦看一堆貓和狗的照片，告訴它哪張是貓、哪張是狗，只要投喂足夠多的圖，電腦就會(huì)辨認(rèn)出貓狗。而強(qiáng)化學(xué)習(xí)，是在沒(méi)有明確指導(dǎo)的情況下，機(jī)器通過(guò)不斷試錯(cuò)和獎(jiǎng)懲機(jī)制，逐漸調(diào)整行為來(lái)優(yōu)化結(jié)果。就像一個(gè)機(jī)器人學(xué)走路，不需要人類一直告訴它「這步對(duì)，那步錯(cuò)」，它只要嘗試、摔倒、調(diào)整，最終自己就會(huì)走路了，甚至走出自己獨(dú)特的步態(tài)。

顯而易見(jiàn)，強(qiáng)化學(xué)習(xí)的原理更接近人類的智能，就像每個(gè)幼童在跌倒里學(xué)會(huì)走路，在摸索中學(xué)會(huì)抓取，在咿呀里捕捉音節(jié)，學(xué)會(huì)語(yǔ)言。

爆火的「回旋踢機(jī)器人」背后也是強(qiáng)化學(xué)習(xí)的訓(xùn)練
圖片來(lái)源：宇樹科技

強(qiáng)化學(xué)習(xí)的「高光時(shí)刻」，正是 2016 年 AlphaGo 的「神之一手」。當(dāng)時(shí) AlphaGo 在與李世石的比賽中，第 37 手落下了一步令所有人類驚訝的白棋，一步棋逆轉(zhuǎn)敗勢(shì)，一舉贏下李世石。圍棋界的頂級(jí)高手和解說(shuō)員們，都沒(méi)有預(yù)料到 AlphaGo 會(huì)在該位落子，因?yàn)樵谌祟惼迨值慕?jīng)驗(yàn)里，這步棋下的「莫名其妙」，賽后李世石也承認(rèn)，自己完全沒(méi)有考慮過(guò)這個(gè)走法。AlphaGo 不是靠背棋譜背出來(lái)的「神之一手」，而是在無(wú)數(shù)次自我對(duì)弈中，試錯(cuò)、長(zhǎng)遠(yuǎn)規(guī)劃、優(yōu)化策略后自主探索出來(lái)，這既是強(qiáng)化學(xué)習(xí)的本質(zhì)。

被 AlphaGo 「神之一手」打亂節(jié)奏的李世石
圖片來(lái)源：AP

強(qiáng)化學(xué)習(xí)甚至反客為主影響人類智能，就像 AlphaGo 露出「神之一手」后，棋手開(kāi)始學(xué)習(xí)和研究 AI 下圍棋的走法?？茖W(xué)家們也在利用強(qiáng)化學(xué)習(xí)的算法和原理，試圖理解人類大腦的學(xué)習(xí)機(jī)制，巴托和桑托的研究成果之一，即建立了一種計(jì)算模型，來(lái)解釋多巴胺在人類決策和學(xué)習(xí)中的作用。而且強(qiáng)化學(xué)習(xí)特別擅長(zhǎng)處理規(guī)則復(fù)雜、狀態(tài)多變的環(huán)境，并在其中找到最優(yōu)解，比如圍棋、自動(dòng)駕駛、機(jī)器人控制、與語(yǔ)焉不詳?shù)娜祟愓勑︼L(fēng)生。

這些正是當(dāng)下最前沿，最熱門的 AI 應(yīng)用領(lǐng)域，尤其是在大語(yǔ)言模型上，幾乎所有領(lǐng)先的大語(yǔ)言模型都使用了 RLHF（從人類反饋中強(qiáng)化學(xué)習(xí)）的訓(xùn)練方法，即讓人類對(duì)模型的回答進(jìn)行評(píng)分，模型根據(jù)反饋改進(jìn)。但這正是巴托的擔(dān)憂所在：大公司建好橋后，用讓人們?cè)跇蛏蟻?lái)回走的方法，來(lái)測(cè)試橋的安全性。

「在沒(méi)有任何保障措施的情況下，把軟件直接推給數(shù)百萬(wàn)用戶，并不是負(fù)責(zé)任的做法，」巴托在獲獎(jiǎng)后的采訪里說(shuō)道?！讣夹g(shù)的發(fā)展本該伴隨著對(duì)潛在負(fù)面影響的控制和規(guī)避，但我并沒(méi)有看到這些 AI 公司真正做到這一點(diǎn)?！顾a(bǔ)充道。

AI 頂流到底在擔(dān)心什么？

AI 威脅論沒(méi)完沒(méi)了，因?yàn)榭茖W(xué)家最害怕親手締造的未來(lái)失控。巴托和桑頓的「獲獎(jiǎng)感言」里，并無(wú)對(duì)當(dāng)前 AI 技術(shù)的苛責(zé)，而是充斥著對(duì) AI 公司的不滿。他們?cè)诓稍L里都警告表示，目前人工智能的發(fā)展，是靠大公司爭(zhēng)相推出功能強(qiáng)大但容易犯錯(cuò)的模型，他們借此籌集了大量資金，再繼續(xù)投入數(shù)十億美元，展開(kāi)芯片和數(shù)據(jù)的軍備競(jìng)賽。

的確如此，根據(jù)德意志銀行的研究，當(dāng)前科技巨頭在 AI 領(lǐng)域的總投資約為 3400 億美元，這一規(guī)模已經(jīng)超過(guò)希臘的年度 GDP。行業(yè)領(lǐng)頭羊 OpenAI，公司估值達(dá)到 2600 億美元，正準(zhǔn)備展開(kāi)新一輪 400 億美元的新融資。

實(shí)際上，許多 AI 專家都和巴托和桑頓的觀點(diǎn)不謀而合。此前，微軟前高管史蒂芬·辛諾夫斯基就曾表示，AI 行業(yè)陷入了規(guī)?；睦Ь?，靠燒錢換技術(shù)進(jìn)步，這不符合技術(shù)發(fā)展史中，成本會(huì)逐漸下降而不是上升的趨勢(shì)。就在 3 月 7 日，前谷歌 CEO 埃里克·施密特、Scale AI 創(chuàng)始人 Alex Wang、AI 安全中心主任丹·亨德里克斯三人聯(lián)名發(fā)表了一篇警示性論文。三位科技圈頂流認(rèn)為，如今人工智能前沿領(lǐng)域的發(fā)展形勢(shì)，與催生曼哈頓計(jì)劃的核武器競(jìng)賽相似，AI 公司都在悄悄進(jìn)行自己的「曼哈頓計(jì)劃」，過(guò)去近十年里，他們對(duì) AI 的投資每年都在翻倍，如不再介入監(jiān)管，AI 可能成為自核彈以來(lái)最不穩(wěn)定的技術(shù)。

《超級(jí)智能戰(zhàn)略》及合著者
圖片來(lái)源：nationalsecurity.ai

因深度學(xué)習(xí)在 2019 年獲得圖靈獎(jiǎng)的約書亞·本希奧，也在博客中發(fā)長(zhǎng)文警告，如今 AI 產(chǎn)業(yè)有數(shù)萬(wàn)億美元的價(jià)值供資本追逐和搶奪，還有著足以嚴(yán)重破壞當(dāng)前世界秩序的影響力。諸多技術(shù)出身的科技人士，認(rèn)為如今的 AI 行業(yè)，已經(jīng)偏離了對(duì)技術(shù)的鉆研，對(duì)智能的審視，對(duì)科技濫用的警惕，而走向了一種砸錢堆芯片的大資本逐利模式。

「建起龐大的數(shù)據(jù)中心，收用戶的錢還讓他們用不一定安全的軟件，這不是我認(rèn)同的動(dòng)機(jī)?！拱屯性讷@獎(jiǎng)后的采訪里說(shuō)道。而由 30 個(gè)國(guó)家，75 位 AI 專家共撰的第一版《先進(jìn)人工智能安全國(guó)際科學(xué)報(bào)告》中寫道：「管理通用人工智能風(fēng)險(xiǎn)的方法往往基于這樣一種假設(shè)：人工智能開(kāi)發(fā)者和政策制定者，可以正確評(píng)估 AGI 模型和系統(tǒng)的能力和潛在影響。但是，對(duì) AGI 的內(nèi)部運(yùn)作、能力和社會(huì)影響，科學(xué)理解其實(shí)非常有限?！?

約書亞·本希奧的警示長(zhǎng)文
圖片來(lái)源：Yoshua Bengio

不難看出，如今的「AI 威脅論」，已經(jīng)把矛頭從技術(shù)轉(zhuǎn)向了大公司。專家們?cè)诰娲蠊荆耗銈儫X，堆料，卷參數(shù)，但你們真正了解你們開(kāi)發(fā)的產(chǎn)品嗎？這亦是巴托和桑頓借用「造橋」比喻的由來(lái)，因?yàn)榭萍紝儆谌祟悾Y本只屬于大公司。何況巴托和桑頓一直以來(lái)的研究領(lǐng)域：強(qiáng)化學(xué)習(xí)。它的原理更貼合人類智能，且具有「黑箱」特色，尤其是在深度強(qiáng)化學(xué)習(xí)中，AI 行為模式會(huì)變得復(fù)雜且難以解釋。這也是人類科學(xué)家的擔(dān)憂所在：助力和見(jiàn)證了人工智能的成長(zhǎng)，卻難以解讀它的意圖。

而開(kāi)創(chuàng)了深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)技術(shù)的圖靈獎(jiǎng)獲獎(jiǎng)?wù)邆?，也并不是在?dān)心 AGI（通用人工智能）的發(fā)展，而是擔(dān)心大公司之間的軍備競(jìng)賽，在 AGI 領(lǐng)域造成了「智能爆炸」，一不小心制造出了 ASI（超級(jí)人工智能），兩者的分野不僅是技術(shù)問(wèn)題，更關(guān)乎人類文明的未來(lái)命運(yùn)。

超越人類智能的 ASI，掌握的信息量、決策速度、自我進(jìn)化的水平，將遠(yuǎn)超人類的理解范圍，如果不對(duì) ASI 進(jìn)行極為謹(jǐn)慎的設(shè)計(jì)和治理，它可能成為人類歷史上最后一個(gè)，也是最無(wú)法抗衡的技術(shù)奇點(diǎn)。

在 AI 狂熱的當(dāng)下，這些科學(xué)家或許是最有資格「潑冷水」的人。畢竟五十年前，在電腦還是個(gè)龐然大物時(shí)，他們就已經(jīng)開(kāi)啟了人工智能領(lǐng)域的研究，他們從過(guò)去塑造了當(dāng)下，也有立場(chǎng)去懷疑未來(lái)。

AI 領(lǐng)導(dǎo)者會(huì)迎來(lái)奧本海默式的結(jié)局嗎？
圖片來(lái)源：經(jīng)濟(jì)學(xué)人

在 2 月《經(jīng)濟(jì)學(xué)人》的采訪里，DeepMind 和 Anthropic 的 CEO 表示：會(huì)因擔(dān)心自己成為下一個(gè)奧本海默，而徹夜難眠。