自 ChatGPT 問(wèn)世，OpenAI 使用的訓(xùn)練方法人類反饋強(qiáng)化學(xué)習(xí)（RLHF）就備受關(guān)注，已經(jīng)成為微調(diào)大型語(yǔ)言模型（LLM）的核心方法。RLHF 方法在訓(xùn)練中使用人類反饋，以最小化無(wú)益、失真或偏見(jiàn)的輸出，使 AI 模型與人類價(jià)值觀對(duì)齊。

然而，RLHF 方法也存在一些缺陷，最近來(lái)自 MIT CSAIL、哈佛大學(xué)、哥倫比亞大學(xué)等機(jī)構(gòu)的數(shù)十位研究者聯(lián)合發(fā)表了一篇綜述論文，對(duì)兩百余篇領(lǐng)域內(nèi)的研究論文進(jìn)行分析探討，系統(tǒng)地研究了 RLHF 方法的缺陷。

論文地址：https://huggingface.co/papers/2307.15217

【資料圖】

總的來(lái)說(shuō)，該論文強(qiáng)調(diào)了 RLHF 的局限性，并表明開(kāi)發(fā)更安全的 AI 系統(tǒng)需要使用多方面方法（multi-faceted approach）。研究團(tuán)隊(duì)做了如下工作：

具體來(lái)說(shuō)，論文的核心內(nèi)容包括以下三個(gè)部分：

1.RLHF 面臨的具體挑戰(zhàn)。研究團(tuán)隊(duì)對(duì) RLHF 相關(guān)問(wèn)題進(jìn)行了分類和調(diào)查，并區(qū)分了 RLHF 面臨的挑戰(zhàn)與 RLHF 的根本局限性，前者更容易解決，可以在 RLHF 框架內(nèi)使用改進(jìn)方法來(lái)解決，而后者則必須通過(guò)其他方法來(lái)解決對(duì)齊問(wèn)題。

2. 將 RLHF 納入更廣泛的技術(shù)安全框架。論文表明 RLHF 并非開(kāi)發(fā)安全 AI 的完整框架，并闡述了有助于更好地理解、改進(jìn)和補(bǔ)充 RLHF 的一些方法，強(qiáng)調(diào)了多重冗余策略（multiple redundant strategy）對(duì)減少問(wèn)題的重要性。

3. 治理與透明度。該論文分析探討了改進(jìn)行業(yè)規(guī)范面臨的挑戰(zhàn)。例如，研究者討論了讓使用 RLHF 訓(xùn)練 AI 系統(tǒng)的公司披露訓(xùn)練細(xì)節(jié)是否有用。

我們來(lái)看下論文核心部分的結(jié)構(gòu)和基本內(nèi)容。

如下圖 1 所示，該研究分析了與 RLHF 相關(guān) 3 個(gè)過(guò)程：收集人類反饋、獎(jiǎng)勵(lì)建模和策略優(yōu)化。其中，反饋過(guò)程引出人類對(duì)模型輸出的評(píng)估；獎(jiǎng)勵(lì)建模過(guò)程使用監(jiān)督學(xué)習(xí)訓(xùn)練出模仿人類評(píng)估的獎(jiǎng)勵(lì)模型；策略優(yōu)化過(guò)程優(yōu)化人工智能系統(tǒng)，以產(chǎn)生獎(jiǎng)勵(lì)模型評(píng)估更優(yōu)的輸出。論文第三章從這三個(gè)過(guò)程以及聯(lián)合訓(xùn)練獎(jiǎng)勵(lì)模型和策略四個(gè)方面探討了 RLHF 方法存在的問(wèn)題和挑戰(zhàn)。

論文第三章總結(jié)的問(wèn)題表明：嚴(yán)重依賴 RLHF 來(lái)開(kāi)發(fā)人工智能系統(tǒng)會(huì)帶來(lái)安全風(fēng)險(xiǎn)。雖然 RLHF 很有用，但它并沒(méi)有解決開(kāi)發(fā)人性化人工智能的基本挑戰(zhàn)。

研究團(tuán)隊(duì)認(rèn)為：任何單一策略都不應(yīng)被視為綜合解決方案。更好的做法是采用多種安全方法的「深度防御」，論文第四章從理解、改進(jìn)、補(bǔ)充 RLHF 這幾個(gè)方面詳細(xì)闡述了提高 AI 安全性的方法。

論文第五章概述了 RLHF 治理面臨的風(fēng)險(xiǎn)因素和審計(jì)措施。

該研究發(fā)現(xiàn)，實(shí)踐中很多問(wèn)題來(lái)源于 RLHF 的根本局限性，必須采用非 RLHF 的方法來(lái)避免或彌補(bǔ)。因此，該論文強(qiáng)調(diào)兩種策略的重要性：(1) 根據(jù) RLHF 和其他方法的根本局限性來(lái)評(píng)估技術(shù)進(jìn)步，(2) 通過(guò)采取深度防御安全措施和與科學(xué)界公開(kāi)共享研究成果，來(lái)應(yīng)對(duì) AI 的對(duì)齊問(wèn)題。

此外，該研究闡明一些挑戰(zhàn)和問(wèn)題并非是 RLHF 所獨(dú)有的，如 RL 策略的難題，還有一些是 AI 對(duì)齊的基本問(wèn)題。

感興趣的讀者可以閱讀論文原文，了解更多研究?jī)?nèi)容。

關(guān)鍵詞：