智東西

(資料圖片僅供參考)

編譯 | ZeR0

編輯 | 漠影

智東西2月25日消息，OpenAI CEO薩姆·阿爾特曼（Sam Altman）發(fā)布博客文章，分享OpenAI對通用人工智能（AGI）的當(dāng)前和后續(xù)規(guī)劃，以及OpenAI如何駕馭AI安全風(fēng)險、轉(zhuǎn)向營利性公司結(jié)構(gòu)后如何分配收益和治理等話題。

阿爾特曼強(qiáng)調(diào)OpenAI的使命是確保AGI造福全人類，AGI如果被成功創(chuàng)造出來，可通過增加豐富度、推動全球經(jīng)濟(jì)發(fā)展以及幫助發(fā)現(xiàn)改變可能性極限的新科學(xué)知識，來幫助我們提升人類。

他認(rèn)為短期內(nèi)，成功應(yīng)對AI部署挑戰(zhàn)的最佳方法是采用快速學(xué)習(xí)和謹(jǐn)慎迭代的緊密反饋循環(huán)；長期來看，過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項目。

他還重申OpenAI的公司結(jié)構(gòu)與正確的激勵措施保持一致，強(qiáng)調(diào)OpenAI由“非營利組織”管理、為人類利益服務(wù)的原則能凌駕于任何營利利益之上、股東可獲得的回報有上限。

博客地址：https://openai.com/blog/planning-for-agi-and-beyond/

一、 OpenAI 最關(guān)心的 AGI 三原則

博客文章寫道，AGI有潛力賦予每個人不可思議的新能力；我們可以想象這樣一個世界，所有人都可以在幾乎所有認(rèn)知任務(wù)中獲得幫助，為人類的聰明才智和創(chuàng)造力提供巨大的力量倍增器。

另一方面，AGI也會帶來濫用、嚴(yán)重事故和社會混亂的風(fēng)險。由于AGI的優(yōu)勢很大，OpenAI不認(rèn)為社會永遠(yuǎn)停止其發(fā)展是可能的或可取的；社會和AGI的開發(fā)者必須想辦法把它做好。

阿爾特曼在文中闡明了OpenAI最關(guān)心的原則：

1、希望AGI能讓人類在宇宙中最大限度地繁榮發(fā)展。不期望未來是個不合格的烏托邦，但希望最大化好，最小化差，讓AGI成為人類的放大器。

2、希望廣泛和公平地分享AGI的好處、獲取和治理。

3、希望成功應(yīng)對巨大風(fēng)險。在面對這些風(fēng)險時，理論上看似正確的事情在實踐中往往表現(xiàn)得比預(yù)期的更奇怪。OpenAI認(rèn)為必須通過部署功能較弱的技術(shù)版本來不斷學(xué)習(xí)和適應(yīng)，盡量減少“一次成功”的情況。

二、短期內(nèi)，為 AGI 做好的三項準(zhǔn)備

OpenAI認(rèn)為有三件事很重要，可為AGI做準(zhǔn)備。

首先，當(dāng)不斷創(chuàng)建更強(qiáng)大的系統(tǒng)，OpenAI希望部署它們，并獲得在現(xiàn)實世界中操作它們的經(jīng)驗。OpenAI相信這是謹(jǐn)慎管理AGI存在的最佳方式，逐漸過渡到AGI世界比突然過渡要好。OpenAI期望強(qiáng)大的AI能夠加快世界的進(jìn)步速度，而且最好是逐步適應(yīng)這一點。

漸進(jìn)式的過渡讓人們、政策制定者和機(jī)構(gòu)有時間了解正在發(fā)生的事情，親身體驗這些系統(tǒng)的好處和缺點，調(diào)整經(jīng)濟(jì)并實施監(jiān)管。它還允許社會和人工智能（AI）共同進(jìn)化，讓人們在風(fēng)險相對較低的情況下共同找出自己想要的東西。

OpenAI目前認(rèn)為，成功應(yīng)對AI部署挑戰(zhàn)的最佳方法是采用快速學(xué)習(xí)和謹(jǐn)慎迭代的緊密反饋循環(huán)。社會將面臨AI系統(tǒng)被允許做什么、如何消除偏見、如何處理工作崗位流失等重大問題。最佳決策將取決于技術(shù)發(fā)展路徑，就像任何新領(lǐng)域一樣，到目前為止，大多數(shù)專家預(yù)測都是錯誤的。這使得脫離實際進(jìn)行規(guī)劃非常困難。

總的來說，OpenAI認(rèn)為在世界上更多地使用AI會帶來好處并希望推動它（通過將模型放入OpenAI API中、將它們開源等）。OpenAI相信，民主化的獲取也將帶來更多更好的研究、分散的權(quán)力、更多的利益以及更多的人貢獻(xiàn)新的想法。

隨著其系統(tǒng)越來越接近AGI，OpenAI對模型的創(chuàng)建和部署變得越來越謹(jǐn)慎。其決定將需要比社會通常對新技術(shù)應(yīng)用的謹(jǐn)慎得多，也比許多用戶希望的謹(jǐn)慎得多。AI領(lǐng)域的一些人認(rèn)為AGI（及后繼系統(tǒng)）的風(fēng)險是虛構(gòu)的；如果結(jié)果證明他們是對的，OpenAI會很高興，但OpenAI會以認(rèn)為這些風(fēng)險存在的方式來運(yùn)作。

某些時候，部署的利弊之間的平衡（例如授權(quán)惡意行為者、造成社會和經(jīng)濟(jì)破壞、加速不安全的競爭）可能會發(fā)生變化，在此情況下，OpenAI將會顯著改變圍繞持續(xù)部署的計劃。

其次，OpenAI正在努力創(chuàng)建更加一致和可控的模型。從GPT-3第一版模型到InstructGPT和ChatGPT的轉(zhuǎn)變就是一個早期的例子。

特別是，OpenAI認(rèn)為重要的是社會就“如何使用AI的廣泛界限”達(dá)成一致，但在這些界限內(nèi)，個人用戶有很大的自由裁量權(quán)。OpenAI最終希望世界機(jī)構(gòu)就“這些廣泛的界限應(yīng)該是什么”達(dá)成一致；在短期內(nèi)，OpenAI計劃進(jìn)行外部投入實驗。世界各機(jī)構(gòu)需要增加更多的能力和經(jīng)驗，以便為有關(guān)AGI的復(fù)雜決策做好準(zhǔn)備。

OpenAI產(chǎn)品的“默認(rèn)設(shè)置”可能會受到很大限制，但OpenAI計劃讓用戶更輕松改變他們正在使用的AI的行為。OpenAI相信賦予個人做出自己決定的能力和思想多樣性的內(nèi)在力量。

隨著其模型變得更加強(qiáng)大，OpenAI將需要開發(fā)新的對齊（alignment）技術(shù)（并測試以了解當(dāng)前的技術(shù)何時失效）。其短期計劃是使用AI來幫助人類評估更復(fù)雜模型的輸出和監(jiān)控復(fù)雜系統(tǒng)；長期計劃是使用AI來幫助提出新的想法以實現(xiàn)更好的對齊技術(shù)。

重要的是，OpenAI認(rèn)為經(jīng)常需在AI安全和能力方面共同取得進(jìn)展。分開談?wù)撍鼈兪清e誤的二分法，它們在很多方面有關(guān)聯(lián)。OpenAI最好的安全工作來自與其最有能力的模型一起工作。也就是說，提高安全進(jìn)步與能力進(jìn)步的比率很重要。

第三，OpenAI希望就3個關(guān)鍵問題展開全球?qū)υ挘喝绾沃卫磉@些系統(tǒng)，如何公平分配它們產(chǎn)生的收益，如何公平共享獲取這些系統(tǒng)的機(jī)會。

除了這三個領(lǐng)域之外，OpenAI還嘗試以一種使激勵措施與良好結(jié)果相一致的方式來建立其結(jié)構(gòu)。OpenAI的章程中有一個條款，關(guān)于協(xié)助其他組織提高安全性，而非在后期AGI開發(fā)中與之競爭。OpenAI對股東可以獲得的回報設(shè)定了上限，這樣公司就不會被激勵去不受約束地獲取價值，也不會冒險部署一些具有潛在災(zāi)難性危險的東西（當(dāng)然也是作為與社會分享利益的一種方式）。

OpenAI由一個非營利組織來管理，使其為人類的利益而經(jīng)營（并能凌駕于任何營利利益之上），包括讓OpenAI做一些事情，比如在安全需要的情況下取消對股東的股權(quán)義務(wù)，贊助世界上最全面的全民基本收入（UBI）實驗。

OpenAI認(rèn)為像這樣的努力在發(fā)布新系統(tǒng)之前必須接受獨(dú)立審計；他們將在今年晚些時候更詳細(xì)地討論這個問題。某些時候，在開始訓(xùn)練未來系統(tǒng)之前，進(jìn)行獨(dú)立審查可能很重要，并且對于最先進(jìn)的努力，同意限制用于創(chuàng)建新模型的計算增長速度。OpenAI認(rèn)為，關(guān)于AGI何時應(yīng)停止訓(xùn)練運(yùn)行、確定模型可以安全發(fā)布、將模型從生產(chǎn)使用中撤出的公共標(biāo)準(zhǔn)很重要。最后，OpenAI認(rèn)為重要的是世界主要政府對超過一定規(guī)模的訓(xùn)練有著深刻的認(rèn)識。

三、長遠(yuǎn)來看：人類的未來應(yīng)由人類主宰

OpenAI認(rèn)為，人類的未來應(yīng)該由人類決定，與公眾分享有關(guān)進(jìn)步的信息很重要。應(yīng)該對所有試圖建立AGI的努力進(jìn)行嚴(yán)格審查，并對重大決策進(jìn)行公眾咨詢。

第一個AGI將只是智能連續(xù)體上的一個點。OpenAI認(rèn)為，進(jìn)展很可能會從那里繼續(xù)，可能會長期保持其在過去十年中看到的進(jìn)展速度。如果真是如此，世界可能會變得與今天截然不同，風(fēng)險也許是巨大的。一個錯位的超級智能AGI可能會對世界造成嚴(yán)重的傷害；一個擁有決定性超級智能領(lǐng)導(dǎo)的專制政權(quán)也可以做到這一點。

可加速科學(xué)發(fā)展的AI是一個值得思考的特例，也許比其他任何事情都更有影響力。能加速自身進(jìn)步的AGI可能會導(dǎo)致重大變化以驚人的速度發(fā)生（即使過渡開始緩慢，OpenAI預(yù)計也它在最后階段會很快發(fā)生）。

OpenAI認(rèn)為較慢的開始更容易確保安全，AGI努力在關(guān)鍵時刻減速可能很重要（即使在不需要這樣做來解決技術(shù)對齊問題的世界中，減速可能對給社會足夠的時間來適應(yīng)很重要）。

成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項目。成功遠(yuǎn)未得到保證，而風(fēng)險（無限的不利因素和無限的有利因素）有望將我們所有人團(tuán)結(jié)起來。

OpenAI可以想象到一個人類繁榮到任何人都無法完全想象的世界。OpenAI希望為世界貢獻(xiàn)一個與這種繁榮相一致的AGI。

結(jié)語：通往 AGI 之路， OpenAI 收獲了很多禮物

在文章末尾，阿爾特曼留下腳注，稱OpenAI似乎收獲了很多禮物：“例如，創(chuàng)建AGI似乎需要大量的計算，因此世界將知道誰在研究它，似乎超進(jìn)化的強(qiáng)化學(xué)習(xí)智能體的原始概念相互競爭，以我們無法真正觀察到的方式進(jìn)化智能的可能性比最初看起來的要小，幾乎沒有人預(yù)測我們會在預(yù)先訓(xùn)練的語言模型上取得這么大的進(jìn)展，這些模型可以從人類的集體偏好和輸出中學(xué)習(xí)，等等?！?/p>

他相信，AGI可能在不久的將來或遙遠(yuǎn)的將來出現(xiàn)；從最初的AGI到更強(qiáng)大的后續(xù)系統(tǒng)的起飛速度可能會慢或快。許多人認(rèn)為在這個2×2矩陣中最安全的象限是短時間線和緩慢的起飛速度；更短的時間線似乎更易于協(xié)調(diào)，更有可能因較少的計算積壓導(dǎo)致較慢的起飛，而較慢的起飛使OpenAI有更多時間來實證弄清楚如何解決安全問題以及如何適應(yīng)。

“當(dāng)我們第一次啟動OpenAI時，我們并沒有預(yù)料到擴(kuò)展性會像現(xiàn)在這樣重要。當(dāng)我們意識到它將變得至關(guān)重要時，我們也意識到我們原來的結(jié)構(gòu)將不起作用——我們根本無法籌集到足夠的資金來完成我們作為非營利組織的使命——所以我們想出了一個新的結(jié)構(gòu)。”阿爾特曼說。

“我們現(xiàn)在認(rèn)為，我們最初關(guān)于開放的想法是錯誤的，已經(jīng)從認(rèn)為我們應(yīng)該發(fā)布所有東西（盡管我們開源了一些東西，并期望在未來開源更多令人興奮的東西?。?strong>轉(zhuǎn)向認(rèn)為我們應(yīng)該弄清楚如何安全地共享系統(tǒng)的訪問權(quán)限和好處?！彼劦?，“我們?nèi)匀幌嘈?，社會理解正在發(fā)生的事情的好處是巨大的，實現(xiàn)這種理解是確保構(gòu)建的東西是社會集體想要的最好方式（顯然這里有很多細(xì)微差別和沖突）。”

來源：OpenAI

關(guān)鍵詞： 阿爾特曼 是錯誤的 非營利組織