2021-10-11 19:23:47 來源:參考消息網 責任編輯:湯立斌
核心提示:研究人員最近想出了如何設計出可以通過學習圖像、視頻和文字訓練自己的模型。這使他們能夠從更豐富的自然數據中學到更多東西,更像人類所做的那樣。

參考消息網10月11日報道 英國《新科學家》周刊10月9日一期發表題為《超大型人工智能:真正的智能機器僅僅是規模問題嗎?》的文章,作者是莫迪凱·勒維。全文摘編如下:

當人工智能GPT-3(生成型已訓練變換模型3)去年發布時,給人留下了精通人類語言的良好印象,在指令下生成流暢的文本流。但經驗豐富的觀察家指出了它的許多錯誤和過于簡單化的架構。如果沒有足夠的理由讓人信服像GPT-3這樣的人工智能可能很快就會具備人類水平的語言能力、推理能力以及我們所認為的智能的其他特征,他們堅持認為,這只是一臺沒有大腦的機器。

GPT-3的成功可以歸結于它比任何同類型的人工智能都大。這意味著,大致說來,它擁有更多的人工神經元。沒有人預料到,這種規模的轉變會帶來如此大的不同。但隨著人工智能規模的不斷擴大,它們不僅在各種任務上證明自己與人類不相上下,而且還展示了自己應對前所未有挑戰的能力。

規模帶來巨變

人工智能領域的一些人開始認為,向更大規模發展的勢不可擋的驅動力將使人工智能具有堪比人類的能力。紐約大學的塞繆爾·鮑曼就是其中之一。他說:“大幅提升當前的方法,特別是在經過十年或二十年的計算改進之后,似乎很可能使人類水平的語言行為變得容易實現。”

如果這是真的,那將是巨變。當然,許多人仍然懷疑這種情況會出現。時間會證明一切。在評估人工智能語言方面,鮑曼是世界上最頂尖的專家之一。2011年,當他開始攻讀博士學位時,人工“神經網絡”才剛剛開始在這一領域占據主導。受大腦中真正的神經網絡的啟發,它們由相互關聯的處理單元或人工神經元組成,程序通過這些處理單元學習。

與普通軟件不同,研究人員不會給神經網絡提供指令。相反,它們被設計成接受任務訓練,直到學會很好地完成這項任務。假設有一堆動物圖像,每張都有人工注解,比如“狗”或“貓”,神經網絡可以通過訓練來預測它以前從未見過的圖像的正確標簽。每當它弄錯一個,就會有一種系統的方式告訴它,如果給它足夠的訓練素材,神經網絡在識別動物上就會更準確。

數據訓練模型

但這些神經網絡,也被稱為“模型”,并不局限于識別貓和狗。1990年,當時在加利福尼亞大學圣迭戈分校工作的杰弗里·埃爾曼想出了一種訓練神經網絡處理語言的方法。他發現,他可以從句子中刪除一個單詞,并訓練神經網絡來預測缺失的單詞。埃爾曼的模型只能區分名詞和動詞。令人著迷的是它不需要費力的人工注解。他可以通過簡單地刪除隨機單詞來創建訓練數據。

最終,研究人員意識到,重新訓練一個模型來解決更具體的問題是簡單明了的。這包括語言翻譯、回答問題和情緒分析,例如,讓它們來衡量電影評論是正面還是負面的。

訣竅是用越來越多的數據訓練模型,為了處理來自互聯網和其他來源的大量文本,模型必須更大。人工智能領域也在以新的方式構建神經網絡,創造出用不同接線方式連接的神經元的新排列。2017年,谷歌研究人員創建了一種名為“變換器”的神經架構,事實證明這種架構具有很強的可擴展性。為了尋找更好的性能,研究人員在短短幾年內將基于變換器的模型從數億個參數——每個參數大致相當于神經元之間的連接——升級到數千億個。

常識推理測試

這一戰略得到了回報。紐約康奈爾大學的亞歷山大·拉什說,這種能改變規模的變換器模型做的一些事,“比我對自然語言可能實現的預期低了幾個數量級”。到2020年底,一種名為BERT的變換器衍生架構已經克服了一些真正困難的挑戰。其中一項涉及一般閱讀理解。另一項測試與常識推理有關。這些模型被要求分析諸如“因為個頭太大,行李箱無法裝進汽車后備箱”等句子,并確定“它”是指行李箱還是后備箱。當然,正確答案是行李箱。

鮑曼說,完成這項任務需要一定的理解深度。這些模型在人類水平上解決了這個問題,這意味著它們的表現確實和人類一樣出色。

在過去幾年里,進步快得令人眼花繚亂。雖然像變換器這樣的結構創新意義重大,但這種進步大多要歸功于規模。鮑曼說:“非常明顯的趨勢是,一旦你再增加一個數量級的規模,我們能夠想到的大多數測試會得到解決。”

這種規模和智能之間的關系沒有比2020年5月推出的GPT-3的例子更明顯了。GPT-3號稱擁有1750億個參數,是2019年2月發布的擁有15億個參數的GPT-2的放大版本。然而,它在語言能力上比GPT-2有了巨大飛躍,從難以寫出連貫的段落,到寫出2000字可以被認為是人類水平的論文。

誠然,要抓住大型語言模型錯誤仍然很容易。如果你問GPT-3,一只腳有幾只眼睛,它可能會告訴你兩只。還有很多能力像GPT-3這樣的模型所不具備,比如理解因果關系。即便如此,對已取得成果的分析表明,這些缺陷并不是不可逾越的。事實上,在2020年,開放人工智能研究中心研究人員發現,規?;暮锰幨强梢灶A測的。他們遵循一條明確的規律:GPT式模型的規模每增加一次,它就能更好地預測缺失的單詞,這轉化為改進各種語言任務的性能。

像人一樣學習

人們經常爭辯說,當模型成功進行推理時,僅僅是因為它們通過無數素材記住了其中的模式。鮑曼說:“總有這樣一種理論,認為你僅僅學會了測試的訣竅。”但是,GPT-3甚至不需要測試素材。如果你解釋一個虛構的概念叫“Burringo”,告訴它這是一款速度非??斓钠?,GPT-3會立即開始推理這個詞,談論把“Burringo”放在車庫里。

鮑曼說,從頭開始學習新事物的能力是模型可以像人類一樣推理的眾多信號之一。人工智能到底能在多大程度上實現規?;?,還需要時間。很多人相信有必要采取不同的方法來取得下一步的進展。

但是,無論我們以哪種方式實現人工通用智能,如果它確實是一個現實的目標,規?;恼Z言模型已經清楚地表明,我們需要更復雜的方法來評估人工智能的智力——以及它們與我們的智力如何比較。布朗大學和谷歌人工智能公司的埃莉·帕夫利克說:“模型在一項任務中成敗的原因有很多,其中一些與‘智力’是一致的,有些則不是。”

在一項研究中,帕夫利克觀察了模型是否會學習系統推理,這是眾所周知的人類會做的事情。在“追貓的狗跑得很快”(The dog that chases the cats runs fast)這句話中,人類不需要看這句話就能知道單數“跑”(runs)是正確的,而不是“跑”(run)。他們只是認識到這是一種普遍的、系統的模式的一部分。帕夫利克已經證明,在附加說明的情況下,基于BERT的模型會做類似的系統推理。她說:“這不像是一種隨意記憶并且映射輸入和輸出的模型。它似乎有與我們正在尋找的一致的內部表述。”

現在,規模本身正在發生變化。研究人員最近想出了如何設計出可以通過學習圖像、視頻和文字訓練自己的模型。這使他們能夠從更豐富的自然數據中學到更多東西,更像人類所做的那樣。很快,谷歌將公布一個萬億參數模型的結果,這是有史以來最大規模的。

71

凡注明“來源:參考消息網”的所有作品,未經本網授權,不得轉載、摘編或以其他方式使用。