來源：新智元

近日,，Nature將前OpenAI首席科學家Ilya Sutskever評為「2023年10大科學人物」。

這位剛剛因為OpenAI巨變而遠離聚光燈的「AI技術燈塔」,，似乎并沒有做好準備回到公眾視野之中,。

Nature在介紹他的長文中說「Ilya拒絕了Nature在OpenAI的劇變后對他的采訪」,。而他自己的推特也沒有轉發(fā)自己獲評Nature年度人物的消息,。

但是Nature依然在文章中高度評價了Ilya對于ChatGPT的貢獻,，稱他為AI預言家,。

在Ilya看來，人工智能有能力改變整個人類文明的存在方式,，而不是像OpenAI出現(xiàn)之前那樣,，只是幫人類解決一些小問題。

「只要能夠非常好的預測下一個token,，就能幫助人類達到AGI,。」

這是他在不同場合都表達過的觀點,。

在一個播客中,，Ilya詳細闡述了他為什么認為像大語言模型這樣本質上只是預測下一字符是什么的工具，能夠產生超過人類智慧綜總和的智能,。

Ilya解釋到,，「很多人認為，大模型只是通過像統(tǒng)計學一樣的方式來模仿人類現(xiàn)有的知識和能力,，沒有辦法超越人類,?！?/p>

「但是如果你的基礎神經網絡足夠聰明,，你只需問它——一個具有偉大洞察力、智慧和能力的人會做什么,？也許這樣的人并不存在,，但神經網絡很有可能能夠推斷出這樣的人的行為方式。

那么AGI的任務就變成預測這樣一個人可能的行為方式了,。

足夠好地預測下一個字符意味著什么,？這實際上是一個比問題字面意思看起來更深層次的問題。

很好地預測下一個代幣意味著你了解導致這個token創(chuàng)建的潛在現(xiàn)實,。

就像統(tǒng)計學一樣,，為了理解這些統(tǒng)計數據并對其進行壓縮，你需要了解創(chuàng)建這組統(tǒng)計數據的世界是什么,？

而如果AGI是要非常準確地預測人的行為,，人們的行為是由什么決定的,？每個人都有自己的想法和感受,，并以特定的方式做事,。

所有這些都可以從下一個token的預測中推斷出來。

我認為只要能很好的預測下一個token,，AI就能猜出一個具有這種具有偉大洞察力,、智慧和能力的人會做什么,，即使這樣的人不存在,。」

如何成為一個像你這樣在自己研究的領域取得如此之大的突破的科學家？

「我真的很努力,，我付出了我所擁有的一切，到目前為止,，我的努力都得到了回報。我想這就是全部的原因了,。」

到2030年,，AI能產生多大的經濟價值,？

「很難回答這個問題,，我覺得會很多,。但是沒有辦法給一個準確的數字。

但是如果問到2030年,，如果AI沒有產生太大的經濟價值，那么最可能的原因是什么？我覺得是可靠性」

我們離AGI還有多遠,？

這是個很難回答的問題,，我不確定是否可以給出一個具體的數字。

因為那些對這項技術充滿樂觀的研究者們往往會低估實現(xiàn)目標所需的時間,。

我讓自己保持腳踏實地思考這個問題的方法，是觀察自動駕駛的發(fā)展,。比如看看特斯拉在自動駕駛方面的進展,，我們可以看到他幾乎能做到自動駕駛要求的任何行為了。

然而,，同樣明顯的是，特斯拉在可靠性方面還有很長的路要走,。

我們的模型可能也處于類似的階段：看似能夠處理所有問題，但直到我們解決所有挑戰(zhàn)并確保它的可靠性,、穩(wěn)定性和良好表現(xiàn)之前，都很難說我們達到AGI了,。

在達到AGI之前，你覺得我們還需要有想Transformer這種突破出現(xiàn)嗎,？還是現(xiàn)有的技術已經能讓我們達到AGI了？

技術發(fā)展可能是一個漸進的過程,，之所以Transformer是被認為是一個突破，其實因為它幾乎對所有人來說都不是顯而易見的,。

所以人們會覺得事物,。讓我們來考慮深度學習的最根本進步：一個大型神經網絡經過反向傳播訓練后可以做很多事情。新穎之處在哪里呢,？

不在于神經網絡,，也不在于反向傳播。但它無疑是一個巨大的概念性突破，因為長期以來,，人們根本沒有意識到這一點,。

但現(xiàn)在，既然每個人都看到了,，大家就會說——當然,，這非常明顯。

但其實它也同樣是一個很重要的突破,。

現(xiàn)在不同的公司分頭發(fā)展自己的模型,，未來不同的模型和技術會相互獨立還是走到某一個共同的點嗎？

我預計眾多研究和工作都朝著相似的方向發(fā)展,。

隨后,，長期工作中會出現(xiàn)一些分歧,，意味著不同的研究小組或者項目會選擇不同的路徑和方法。

但是,，一旦這些長期的工作開始顯現(xiàn)成果，這個領域又會重新趨向于收斂,，即多個研究路徑可能會再次匯聚到類似的結果或理論上。

作者還提到,，目前發(fā)表的文章數量有所減少，這可能意味著重新發(fā)現(xiàn)和探索這個領域的有希望的方向需要更長的時間,。

OpenAI為什么放棄了機器人的方向？

「過去,，從事機器人技術的難點在于數據量太少，這使得發(fā)展很受限,。

以前，要進入這個領域,，必須加入一家專門的機器人公司,，而且還需要一個龐大的團隊來構建和維護機器人,。

即便擁有上百個機器人,，也難以獲得足夠的數據,。因為機器人技術的進步很大程度上取決于計算能力和數據的結合，所以數據的缺乏成了一大障礙,。

現(xiàn)在的情況有所不同，已經存在開辟新道路的可能性,。

但這需要人們真正投入到機器人技術的研發(fā)中,。

這意味著建造成千上萬的機器人，從它們那里收集數據,，并找到一種逐步改進的方法，讓機器人能夠執(zhí)行一些基本有用的任務,。

隨著數據的積累,，可以訓練出更加高效的模型，使機器人能夠執(zhí)行更復雜的任務,。

這是一個循序漸進的改進過程，需要建造更多機器人,，收集更多數據。

為了實現(xiàn)機器人技術的發(fā)展,，必須全身心投入，并愿意解決所有相關的物理和后勤問題,。

這與純粹的軟件開發(fā)完全不同。只要有足夠的努力和熱情,，機器人技術是有可能取得重大進步的,，而且已經有一些公司在這方面做出了努力,。」

參考資料：

https://www.youtube.com/watch?v=YEUclZdj_Sc