3月23日凌晨，英偉達(dá)創(chuàng)始人兼CEO黃仁勛與OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家伊爾亞·蘇茨克維針對(duì)ChatGPT進(jìn)行了深入探討。伊爾亞·蘇茨克維指出，和之前版本相比，ChatGPT-4最大的提升在于更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)功能，能通過邏輯推理對(duì)未來進(jìn)行預(yù)測(cè)。但ChatGPT-4目前的推理能力還沒有達(dá)到預(yù)期水平，如果能進(jìn)一步擴(kuò)大數(shù)據(jù)庫(kù)，保持目前的商業(yè)運(yùn)轉(zhuǎn)模型，其推理能力將會(huì)得到進(jìn)一步提升。

　　黃仁勛認(rèn)為，ChatGPT是AI界的“iPhone時(shí)刻”，但這一時(shí)刻的到來并非一蹴而就。

　　以下為中國(guó)電子報(bào)記者整理的本次對(duì)話內(nèi)容精華：

　　黃仁勛：近期，ChatGPT的熱潮讓AI獲得了全世界的關(guān)注，OpenAI作為研發(fā)者備受行業(yè)關(guān)注。為什么會(huì)決定聚焦AI深度學(xué)習(xí)領(lǐng)域?

　　伊爾亞·蘇茨克維：人工智能通過不斷的深度學(xué)習(xí)，給世界帶來了巨大的改變。對(duì)于個(gè)人而言，主要體現(xiàn)在兩方面：

　　首先，關(guān)注AI深度學(xué)習(xí)的初心在于，人類對(duì)于各種各樣的問題都有一定的直覺性理解。人類是如何通過智力完成這樣的預(yù)判，以及人類意識(shí)、人類體驗(yàn)的如何進(jìn)行定義，使我非常感興趣。

　　其次，在2002年—2003年上大學(xué)期間，認(rèn)為“學(xué)習(xí)”這項(xiàng)技能，只有人類才能完成，計(jì)算機(jī)無法做到。可當(dāng)時(shí)突然冒出一個(gè)想法——如果讓計(jì)算機(jī)也能夠不斷學(xué)習(xí)，或許會(huì)為整個(gè)AI領(lǐng)域帶來改變。

　　我當(dāng)時(shí)的專業(yè)正好是研究神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)是AI領(lǐng)域的一個(gè)非常重要的進(jìn)步，人們一直在探索如何通過神經(jīng)網(wǎng)絡(luò)去進(jìn)行深度學(xué)習(xí)，如何讓神經(jīng)網(wǎng)絡(luò)像人類的大腦一樣思考，以及如何將處理數(shù)據(jù)的能力反映到計(jì)算機(jī)的工作方式上。那時(shí)，我其實(shí)并不清楚研究這個(gè)領(lǐng)域的未來會(huì)怎樣，只是覺得長(zhǎng)期來看很有前景。

　　黃仁勛：你曾說過，GPU將會(huì)影響接下來幾代人的生活，GPU可能會(huì)對(duì)深度學(xué)習(xí)的培訓(xùn)帶來幫助。你是在何時(shí)意識(shí)到這一點(diǎn)的?

　　伊爾亞·蘇茨克維：我們?cè)诙鄠惗鄬?shí)驗(yàn)室中，第一次嘗試使用了GPU來培訓(xùn)深度學(xué)習(xí)，當(dāng)時(shí)并不清楚如何使用GPU，以及如何讓GPU獲得真正的關(guān)注。但隨著我們獲得的數(shù)據(jù)集越來越多，我們也越來越清楚，這將會(huì)為傳統(tǒng)模型帶來的優(yōu)勢(shì)。我們希望能夠加速數(shù)據(jù)處理的過程，培訓(xùn)出過去科學(xué)家從來沒有培訓(xùn)過的內(nèi)容。GPU的使用，給我們帶來了一個(gè)轉(zhuǎn)變性的革命，讓我們能不斷地去培訓(xùn)神經(jīng)網(wǎng)絡(luò)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的圖像處理能力。

　　黃仁勛：ChatGPT和OpenAI是否已經(jīng)打破了過去計(jì)算機(jī)編輯圖像的模式?

　　伊爾亞·蘇茨克維：我認(rèn)為不是打破了計(jì)算機(jī)圖像的編輯，而是用另外一種處理方式。大部分人都是用傳統(tǒng)的思維模式去處理數(shù)據(jù)集，但我們的處理方式更先進(jìn)，是“超越式”的。曾經(jīng)，我們也認(rèn)為這是一件艱難的事情，甚至覺得幾乎不可能完成，但如果我們能做好，就是讓人類生活有了一大進(jìn)步。

　　黃仁勛：擔(dān)任Open AI的首席科學(xué)家，你認(rèn)為最重要的工作是什么?我覺得Open AI在不同的時(shí)間點(diǎn)，關(guān)注焦點(diǎn)并不相同。我認(rèn)為ChatGPT是“AI界的iPhone時(shí)刻”，你是如何實(shí)現(xiàn)這樣的跨時(shí)代轉(zhuǎn)變的?

　　伊爾亞·蘇茨克維：最開始，我們也不太清楚如何開展整個(gè)項(xiàng)目，而且，我們現(xiàn)在所得出的結(jié)論，和當(dāng)時(shí)使用的邏輯完全不同。無法想象現(xiàn)在的用戶已經(jīng)有這么好用的ChatGPT工具，來幫助大家創(chuàng)造出非常好的藝術(shù)效果和文本效果。但在2015年、2016年時(shí)，我們還不敢想象能達(dá)到當(dāng)下的程度。

　　在當(dāng)時(shí)，我有兩大想法：一是，想讓機(jī)器具備一種不受監(jiān)督的學(xué)習(xí)能力。雖然，現(xiàn)在認(rèn)為這是理所當(dāng)然的，可以用自然語(yǔ)言模型培訓(xùn)所有內(nèi)容。但在2016年，不受監(jiān)督的學(xué)習(xí)能力仍舊是沒有被解決的問題，也沒有任何科學(xué)家有過相關(guān)的經(jīng)驗(yàn)和研究。我當(dāng)時(shí)認(rèn)為“數(shù)據(jù)壓縮”是技術(shù)上的瓶頸。但實(shí)際上ChatGPT確實(shí)壓縮了我們的培訓(xùn)數(shù)據(jù)集。最后，我們還是找到了數(shù)學(xué)模型，通過不斷培訓(xùn)來壓縮我們的數(shù)據(jù)。

　　二是，希望通過培訓(xùn)神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)下一個(gè)字符。我認(rèn)為，下一個(gè)神經(jīng)元的單位會(huì)和我們的整個(gè)視覺神經(jīng)的網(wǎng)絡(luò)密切相關(guān)，這和我們驗(yàn)證的方法是一致的。再次重新證明了，下一個(gè)字符的預(yù)測(cè)、下一個(gè)數(shù)據(jù)的預(yù)測(cè)能夠幫助我們?nèi)グl(fā)掘現(xiàn)有數(shù)據(jù)的邏輯，這就是ChatGPT培訓(xùn)的邏輯。關(guān)鍵在于，培訓(xùn)一些神經(jīng)網(wǎng)絡(luò)去預(yù)測(cè)下一個(gè)字符，是一個(gè)值得努力的目標(biāo)。

　　黃仁勛：擴(kuò)大數(shù)據(jù)規(guī)模能夠提高AI的表現(xiàn)能力，更多的數(shù)據(jù)、更大的數(shù)據(jù)集能夠幫助生成式AI獲得更好的結(jié)果。你覺得GPT-1、GPT-2、GPT-3的演變過程，是否符合這樣的“摩爾定律”?

　　伊爾亞·蘇茨克維：OpenAI的目標(biāo)之一，是解決擴(kuò)大數(shù)據(jù)集的問題。剛開始面臨的問題，是如何提升數(shù)據(jù)的高精準(zhǔn)度。因此，我們?cè)谧鯫pen AI項(xiàng)目時(shí)，通過讓它做一些策略性的游戲，來提升精準(zhǔn)度，比如，競(jìng)爭(zhēng)性的體育游戲，訓(xùn)練它必須足夠快、足夠聰明，還要和其它隊(duì)競(jìng)賽。作為一個(gè)AI模型，它需要不斷重復(fù)個(gè)基于人類反饋的強(qiáng)化學(xué)習(xí)過程。

　　我們的工作原理，就是通過不斷培訓(xùn)神經(jīng)網(wǎng)絡(luò)體系，讓神經(jīng)網(wǎng)絡(luò)去預(yù)測(cè)下一個(gè)單詞。預(yù)測(cè)的單詞和過去的單詞之間，能夠達(dá)成一定的邏輯上的一致。從神經(jīng)網(wǎng)絡(luò)來看，它更像是根據(jù)方方面面來得出一個(gè)結(jié)論。但我們的模型還沒有達(dá)到這樣的效果。人類的反饋很重要，越多的反饋能使AI更可靠。

　　黃仁勛：你可以讓AI做一些事情，但是你能不能讓AI不做一些事情?如何讓AI知道自己的界限在哪里?

　　伊爾亞·蘇茨克維：可以實(shí)現(xiàn)。未來，第二階段的培訓(xùn)序列，就是和AI、神經(jīng)網(wǎng)絡(luò)去進(jìn)行交流，我們對(duì)AI訓(xùn)練得越多，AI的精準(zhǔn)度越高，就會(huì)越來越符合我們的意圖。我們不斷地提高AI的忠誠(chéng)度和準(zhǔn)確度，它就會(huì)變得越來越可靠、越來越精準(zhǔn)，而且越來越符合人類社會(huì)的邏輯。

　　黃仁勛：相比較于以前的版本，GPT-4有怎樣的升級(jí)?未來在哪些方面、哪些領(lǐng)域有更多的升級(jí)?

　　伊爾亞·蘇茨克維：GPT-4基于ChatGPT的性能，做了很多改善。對(duì)GPT-4的訓(xùn)練大概是6～8個(gè)月之前開始，GPT-4和之前GPT版本最重要的區(qū)別，是GPT-4有更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)功能，能夠更精確的去預(yù)測(cè)下一個(gè)單詞是什么，意味著能夠?qū)θ藗冋f的話有更精準(zhǔn)的理解。

　　這與人們此前常說的直覺有很大不同，GPT-4采用的是推理能力。比如，在一篇推理小說中，小說中有各種不同的人物和情節(jié)，有密室、有謎團(tuán)，人們?cè)谧x推理小說的過程中，完全不清楚接下來會(huì)發(fā)生什么。但是能通過小說中不同的人物和情節(jié)，來預(yù)測(cè)結(jié)局。GPT-4也是如此，能夠像推理小說一樣預(yù)測(cè)結(jié)果。

　　黃仁勛：語(yǔ)言模型是如何學(xué)習(xí)到推理和邏輯的?GPT-4現(xiàn)在有哪些缺陷，在接下來的版本中將進(jìn)一步完善?

　　伊爾亞·蘇茨克維：想清楚定義邏輯和推理并不容易，但是未來可通過將邏輯和推理定義的更精準(zhǔn)，來獲得更確切的答案。

　　神經(jīng)網(wǎng)絡(luò)是有一些缺陷，用神經(jīng)網(wǎng)絡(luò)去打破之前固有的思維模式，那么就需要考慮這個(gè)神經(jīng)網(wǎng)絡(luò)能夠走多遠(yuǎn)的問題

　　神經(jīng)網(wǎng)絡(luò)依舊面料一些挑戰(zhàn)，比如，讓神經(jīng)網(wǎng)絡(luò)去打破固有的思維模式，但這也就意味著人們要思考神經(jīng)網(wǎng)絡(luò)到底能走多遠(yuǎn)，也就是神經(jīng)網(wǎng)絡(luò)到底有多大潛力。目前GPT-4的推理能力確實(shí)還沒有達(dá)到預(yù)期的水平，未來希望GPT-4的推理和邏輯能夠達(dá)到更高的水平。但未來如果能更進(jìn)一步的擴(kuò)大數(shù)據(jù)庫(kù)，保持過去的商業(yè)運(yùn)轉(zhuǎn)模型，未來推理的能力會(huì)進(jìn)一步提高，對(duì)此也很有信心。

　　黃仁勛：ChatGPT是否有一種自然屬性，能夠不斷地去理解新內(nèi)容?

　　伊爾亞·蘇茨克維：是的，神經(jīng)網(wǎng)絡(luò)確實(shí)有這些能力，但是有時(shí)候也并不準(zhǔn)確，這也是神經(jīng)網(wǎng)絡(luò)接下來面臨的最大挑戰(zhàn)。在很多情況下，神經(jīng)網(wǎng)絡(luò)會(huì)出現(xiàn)很多奇怪的錯(cuò)誤，甚至出一些人類根本不會(huì)犯的錯(cuò)誤。針對(duì)這些“不可靠性”，需要進(jìn)一步針對(duì)神經(jīng)網(wǎng)絡(luò)來進(jìn)行研究，從而未來能夠給人們一個(gè)更精準(zhǔn)的結(jié)果，甚至能夠糾正一些錯(cuò)誤，讓神經(jīng)網(wǎng)絡(luò)變得更可靠。

　　現(xiàn)在GPT-4的模型已經(jīng)被公開發(fā)布了，它其實(shí)沒有追蹤數(shù)據(jù)模型的能力，它的能力是基于文本去預(yù)測(cè)下一個(gè)單詞，根據(jù)數(shù)據(jù)調(diào)節(jié)來得出結(jié)果，所以是有局限性的。有人認(rèn)為，可以讓GPT-4去找出某些數(shù)據(jù)的來源，然后會(huì)對(duì)數(shù)據(jù)來源做更深入地調(diào)查，來不斷提升能力。

　　總體而言，盡管GPT-4并不支持內(nèi)部的數(shù)據(jù)收集，但它肯定會(huì)在持續(xù)的數(shù)據(jù)挖掘之中變得更加精準(zhǔn)。GPT-4甚至已經(jīng)能夠從圖片中進(jìn)行學(xué)習(xí)，并且根據(jù)圖片和內(nèi)容的輸入進(jìn)行反饋。

　　黃仁勛：多模態(tài)學(xué)習(xí)如何能夠加深GPT-4對(duì)于的理解能力?為什么多模態(tài)學(xué)習(xí)定義了GPT和OpenAI?

　　伊爾亞·蘇茨克維：多模態(tài)學(xué)習(xí)可以從兩個(gè)維度來看：

　　第一，多模態(tài)在視覺和圖像識(shí)別上特別有幫助。因?yàn)檎麄€(gè)世界是由圖片形成的，人們和其他動(dòng)物都是視覺動(dòng)物，人腦1/3的灰質(zhì)都是用來處理圖像的，GPT-4也能夠去理解這些圖像。

　　第二，隨著人們對(duì)于世界的認(rèn)知不斷加深，通過圖片或文字對(duì)世界的理解是一樣的。對(duì)于一個(gè)人而言，一個(gè)人可能一生之中只會(huì)說10億個(gè)詞。這通過計(jì)算人一生有多少時(shí)間，以及一秒能處理多少詞，再減去睡覺的時(shí)間，就能算出一生處理了多少單詞。人和神經(jīng)網(wǎng)絡(luò)的不同之處在于，人如果10億個(gè)詞匯無法理解，可以用其他萬億級(jí)的詞匯來理解。對(duì)于AI神經(jīng)網(wǎng)絡(luò)而言，可以通過文本，將人們對(duì)于世界的知識(shí)和信息慢慢滲透給AI的神經(jīng)網(wǎng)絡(luò)。外加視覺圖片等其他元素，神經(jīng)網(wǎng)絡(luò)可以更精準(zhǔn)地進(jìn)行學(xué)習(xí)。

　　黃仁勛：對(duì)于文本和圖片方面的深度學(xué)習(xí)，如果我們想要人工智能去理解其背后的邏輯，甚至是理解這個(gè)世界的基本原理——比如我們?nèi)祟惾粘５谋磉_(dá)方式，一個(gè)詞其實(shí)有兩種含義，聲音的高低變化，其實(shí)都代表著兩種不同的語(yǔ)氣。說話的語(yǔ)言和語(yǔ)調(diào)的變化，對(duì)AI去理解文本是否有一定幫助呢?

　　伊爾亞·蘇茨克維：是的，這類場(chǎng)景非常重要。對(duì)于語(yǔ)音和語(yǔ)調(diào)，包括聲音的大小和語(yǔ)氣，對(duì)于AI而言都是非常重要的信息來源，提供了領(lǐng)域中重要的解讀信息的方式。

　　黃仁勛：請(qǐng)總結(jié)一下AI正處于怎樣的發(fā)展階段?以及在不遠(yuǎn)的將來，生成式AI能夠達(dá)到怎樣的高度?大語(yǔ)言模型的未來是什么?

　　伊爾亞·蘇茨克維：預(yù)測(cè)未來比較困難的。目前能做的，是把現(xiàn)有的事情繼續(xù)做下去，讓人們看到GPT更驚艷的系統(tǒng)版。未來，希望通過提高數(shù)據(jù)的可靠度，讓系統(tǒng)更進(jìn)一步獲得人們的信任。目前，生成式AI在解讀這個(gè)文本過程中，還無法完全驗(yàn)證文本的真實(shí)性以及信息來源。對(duì)于未來的展望，是讓神經(jīng)網(wǎng)絡(luò)必須要確認(rèn)所有數(shù)據(jù)來源的真實(shí)性，準(zhǔn)確地服務(wù)人們每一步的需求。

　　黃仁勛：在第一次使用ChatGPT-4時(shí)，有哪些性能讓你覺得很驚艷和震驚?

　　伊爾亞·蘇茨克維：我認(rèn)為AI本身存在的意義，是可以給人類帶來幫助。之前的ChatGPT版本，神經(jīng)網(wǎng)絡(luò)只會(huì)回答問題，甚至有時(shí)候會(huì)誤解問題，在回答方面很不理想。但是GPT-4基本沒有誤解問題的情況，甚至能夠去處理更復(fù)雜的任務(wù)。簡(jiǎn)而言之，它的可靠性更好。例如，GPT-4能夠?qū)懺?shī)，可以寫押頭韻的詩(shī)，也能寫押尾韻的詩(shī)。甚至它能去理解笑話，能明白笑話背后的意思。

　　作者：沈叢、許子皓　　來源：中國(guó)電子報(bào)、電子信息產(chǎn)業(yè)網(wǎng)