來源｜TalkRL

【資料圖】

OneFlow編譯 翻譯｜徐佳渝、賈川

同樣是基于GPT預(yù)訓(xùn)練模型，為什么ChatGPT的效果要遠(yuǎn)遠(yuǎn)超出GPT-3等前幾代模型？答案已經(jīng)揭曉，成就ChatGPT的秘密武器在于RLHF，也就是人類反饋的強(qiáng)化學(xué)習(xí)。

在預(yù)訓(xùn)練階段，GPT模型學(xué)習(xí)關(guān)于這個(gè)世界的一切，而在RLHF階段，ChatGPT更關(guān)注的讓模型輸出正確、有益的恰當(dāng)結(jié)果，并對(duì)結(jié)果不斷進(jìn)行微調(diào)。

具體而言，RLHF階段的調(diào)優(yōu)又分為三大步驟：第一步：通過監(jiān)督學(xué)習(xí)，用人類對(duì)不同提示的“理想”回答數(shù)據(jù)微調(diào)LLM；第二步：LLM 為每個(gè)提示提供多個(gè)答案，然后由人工評(píng)估員對(duì)這些答案進(jìn)行排名（該排名用于訓(xùn)練獎(jiǎng)勵(lì)模型）；第三步：用近端策略優(yōu)化（PPO）模型來優(yōu)化LLM的獎(jiǎng)勵(lì)模型。

此前，ChatGPT負(fù)責(zé)人John Schulman介紹了RLHF想法的起源，關(guān)鍵在于他們?cè)谡Z言模型中應(yīng)用強(qiáng)化學(xué)習(xí)，使用人類反饋去定義獎(jiǎng)勵(lì)函數(shù)。此外，OpenAI的RLHF所使用的諸多技術(shù)也是基于前人研究基礎(chǔ)上組合而成的成果，其中就包括Natasha Jaques的工作。

Natasha是Google Brain的高級(jí)研究科學(xué)家，OpenAI的不少工作引用了她所發(fā)表的與RLHF和對(duì)話模型相關(guān)的強(qiáng)化學(xué)習(xí)論文。在近期Robin Ranjit Singh Chauhan主持的TalkRL播客節(jié)目中，她從第三方視角，介紹了對(duì)RLHF及其獎(jiǎng)勵(lì)模型相關(guān)思路，以及對(duì)強(qiáng)化學(xué)習(xí)研究與AGI發(fā)展等方面的看法。

目前，她的研究重點(diǎn)是社交強(qiáng)化學(xué)習(xí)（Social Reinforcement Learning），開發(fā)結(jié)合來自社交學(xué)習(xí)和多智能體訓(xùn)練的見解的算法，以提高AI智能體的學(xué)習(xí)、泛化、協(xié)作以及人機(jī)交互能力。2024年1月，她將加入華盛頓大學(xué)計(jì)算機(jī)科學(xué)學(xué)院擔(dān)任助理教授。

（以下內(nèi)容經(jīng)授權(quán)后由OneFlow編譯發(fā)布，譯文轉(zhuǎn)載請(qǐng)聯(lián)系OneFlow獲得授權(quán)。來源：https://www.talkrl.com/episodes/natasha-jaques-2）

1

RLHF相關(guān)研究與成本效益

Robin Chauhan：你很早就開始了人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）以及對(duì)話模型這方面的類似研究，而且OpenAI發(fā)表的許多重要論文引用了你的研究成果。能否談?wù)勀愕难芯颗cOpenAI當(dāng)前的研究和這些模型之間的聯(lián)系？

Natasha Jaques：回到2016年，當(dāng)時(shí)我正在思考如何利用預(yù)訓(xùn)練語言模型進(jìn)行微調(diào)。具體來說，我關(guān)注的是LSTM模型，并嘗試使用強(qiáng)化學(xué)習(xí)對(duì)其進(jìn)行微調(diào)。那時(shí)，我關(guān)注的點(diǎn)不在語言本身，而是音樂生成和分子生成之類的方法，例如生成類似藥物分子的方法。

在我看來，分子生成是一個(gè)很好的示例。我們可以基于已知分子數(shù)據(jù)集去訓(xùn)練一個(gè)監(jiān)督模型，并生成新的分子，但是這些分子可能缺乏我們所需的特性，如易于合成藥物。因此，我們還需要對(duì)分子的“合成可及性（synthetic accessibility）”進(jìn)行評(píng)估。但僅依靠數(shù)據(jù)集訓(xùn)練是不夠的，因?yàn)檫@樣無法得到優(yōu)化的分子。如果僅僅優(yōu)化分子的合成可及性，也可能會(huì)生成一些無用的分子。

因此，我們需要對(duì)這兩個(gè)方面進(jìn)行評(píng)估和優(yōu)化。對(duì)于這一問題，我們可以使用強(qiáng)化學(xué)習(xí)來優(yōu)化藥物相似性（drug likeness）或合成可及性，但由于數(shù)據(jù)存在缺陷，這種方法并不完美。

我們提出了一個(gè)解決方案：首先在數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，然后再使用強(qiáng)化學(xué)習(xí)來優(yōu)化某些獎(jiǎng)勵(lì)，同時(shí)最小化預(yù)訓(xùn)練策略與當(dāng)前策略之間的KL散度。這種方法可以靈活地結(jié)合監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)，使用監(jiān)督學(xué)習(xí)來獲得數(shù)據(jù)集中的有用信息，同時(shí)使用強(qiáng)化學(xué)習(xí)來優(yōu)化在數(shù)據(jù)分布空間內(nèi)具有高回報(bào)的序列。可以看出，這與當(dāng)前使用的RLHF方法密切相關(guān)。

在該技術(shù)中，我們首先在數(shù)據(jù)集上對(duì)大型語言模型進(jìn)行預(yù)訓(xùn)練，然后通過人類反饋來優(yōu)化模型，同時(shí)最小化優(yōu)化模型與預(yù)訓(xùn)練先驗(yàn)?zāi)Ｐ椭g的KL散度，這對(duì)于RLHF框架有重要意義。

同時(shí)，我也在研究從人類反饋中學(xué)習(xí)的RLHF方法。2019年前后，我們采用了同樣的KL控制方法，即讓對(duì)話模型嘗試優(yōu)化與人類交談獲得的信號(hào)，而非讓人類評(píng)價(jià)對(duì)話的好壞，同時(shí)采用與OpenAI的RLHF算法不同的方式來實(shí)現(xiàn)偏好排序。

我們的目標(biāo)是從與人類對(duì)話的隱含信號(hào)中學(xué)習(xí)，而非僅僅依靠人類的評(píng)價(jià)來進(jìn)行優(yōu)化。我們不需要人們額外提供反饋，而是通過分析文本的情感等隱含信號(hào)來為模型提供獎(jiǎng)勵(lì)信號(hào)。

例如，當(dāng)對(duì)話中的人聽起來普遍高興時(shí)，我們就會(huì)將其視為正面獎(jiǎng)勵(lì)信號(hào)來訓(xùn)練模型。反之，當(dāng)他們聽起來沮喪或困惑時(shí)，可能是模型說了一些胡話，我們會(huì)將其視為負(fù)面獎(jiǎng)勵(lì)信號(hào)。因此，我們使用同樣的技術(shù)來優(yōu)化這些信號(hào)，以提高模型的表現(xiàn)。

Robin Chauhan：這聽起來很像ChatGPT現(xiàn)在正在進(jìn)行的工作。也許函數(shù)逼近器（function approximator）略有不同，或是獲得反饋的方式有所不同，但從底層原理來看，它實(shí)際上基于RLHF。

Natasha Jaques：沒錯(cuò)，不過也有一些關(guān)鍵區(qū)別。OpenAI采用了不同的方法來處理人類反饋，該方法與我們?cè)?019年的論文中所使用的有所不同，區(qū)別在于他們訓(xùn)練了一個(gè)獎(jiǎng)勵(lì)模型。他們的方法是請(qǐng)一群人為兩個(gè)輸出評(píng)分，然后通過訓(xùn)練模型來逼近這些評(píng)分。實(shí)際上，早在OpenAI探索使用人類偏好進(jìn)行深度強(qiáng)化學(xué)習(xí)研究時(shí)，就已經(jīng)提出過這個(gè)想法。

相比之下，我在2019年的研究是關(guān)于離線強(qiáng)化學(xué)習(xí)（offline RL）。當(dāng)時(shí)，我使用了特定輸出的實(shí)際人類評(píng)分作為獎(jiǎng)勵(lì)樣本進(jìn)行訓(xùn)練，但缺乏一個(gè)通用的獎(jiǎng)勵(lì)模型。由于訓(xùn)練獎(jiǎng)勵(lì)模型的方法可以進(jìn)行多次采樣，實(shí)際上具有良好的可擴(kuò)展性。

Robin Chauhan：OpenAI聯(lián)合創(chuàng)始人和PPO算法發(fā)明者John Schulman致力于研究RLHF。他談到ChatGPT的兄弟模型InstructGPT需要大量的人類反饋。此外，需要詳細(xì)而冗長(zhǎng)的評(píng)分說明來評(píng)估人類反饋，而獲取這些人類反饋需要付出相當(dāng)大的成本。這種成本會(huì)限制RLHF的應(yīng)用嗎？還是說成本并不重要，從回報(bào)來看完全值得？

Natasha Jaques：在InstructGPT之前，OpenAI就已經(jīng)在摘要（summarization）方面進(jìn)行了大量的研究。而在摘要研究中，能夠有效運(yùn)用RLHF的關(guān)鍵因素之一，是投入大量精力獲取高質(zhì)量的人類數(shù)據(jù)。

在OpenAI的一篇摘要研究論文中，他們采用了一種更好的評(píng)估者招募方法，研究人員與評(píng)估者共享Slack群組，并回答評(píng)估者的問題以確保評(píng)估者與研究人員保持一致。這樣的投入顯然是非常昂貴的。

值得一提的是，在InstructGPT可以看到一個(gè)現(xiàn)象：使用RLHF訓(xùn)練的13億參數(shù)模型的表現(xiàn)要優(yōu)于使用監(jiān)督學(xué)習(xí)訓(xùn)練的1750億參數(shù)模型。也就是說，只需使用RLHF，效果就可以趕超100倍大小的模型，而訓(xùn)練100倍大小的模型所需的計(jì)算成本相當(dāng)昂貴。雖然OpenAI并未公開他們用于收集人類數(shù)據(jù)和訓(xùn)練巨型模型的具體花費(fèi)金額，但不難發(fā)現(xiàn)，由于RLHF可以降低訓(xùn)練更大型號(hào)模型的成本，實(shí)際上可能更具成本效益。

Robin Chauhan：在我看來，他們通常使用基于on-policy的PPO（Proximal Policy Optimization）方法來處理數(shù)據(jù)集。這種方法無法重復(fù)使用數(shù)據(jù)，因?yàn)樗鼈円蕾囉诋?dāng)前模型樣本數(shù)據(jù)或非常接近模型的數(shù)據(jù)。如果對(duì)這些數(shù)據(jù)進(jìn)行訓(xùn)練后，模型出現(xiàn)偏差，那么該數(shù)據(jù)集是否仍然有效？或者說該數(shù)據(jù)集是否可以用于訓(xùn)練其他模型？

Natasha Jaques：這些數(shù)據(jù)集并非是一次性的。獎(jiǎng)勵(lì)模型的訓(xùn)練過程實(shí)際類似于對(duì)文本摘要進(jìn)行比較。這種比較的結(jié)果不僅僅取決于策略模型本身，更是一種較為客觀普遍的結(jié)果，所以具有off-policy特性，可以重復(fù)的使用這些數(shù)據(jù)。

2

獎(jiǎng)勵(lì)模型的局限性

Robin Chauhan：John Schulman指出，雖然人類反饋在訓(xùn)練過程中具有一定有效性，但如果使用相同的獎(jiǎng)勵(lì)模型進(jìn)行長(zhǎng)時(shí)間訓(xùn)練，性能可能在某個(gè)時(shí)刻下降。因此我認(rèn)為，在每個(gè)階段后需要繼續(xù)收集額外的人類反饋，而為了進(jìn)一步提高性能，則可能需要使用全新的數(shù)據(jù)集。你怎么看？

Natasha Jaques：我不太熟悉OpenAI的工作，不過在我的工作中發(fā)現(xiàn)了這一現(xiàn)象：我們嘗試通過優(yōu)化獎(jiǎng)勵(lì)來實(shí)現(xiàn)目標(biāo)，同時(shí)也考慮到了數(shù)據(jù)的可行范圍，但很容易被獎(jiǎng)勵(lì)函數(shù)所束縛，形成過度依賴。

例如，在訓(xùn)練對(duì)話模型時(shí)，我們使用了獎(jiǎng)勵(lì)函數(shù)，鼓勵(lì)模型與人類進(jìn)行對(duì)話，同時(shí)輸出高情感度的文本來獲取積極的反饋。但是由于數(shù)據(jù)資源有限，我們很可能會(huì)過度擬合數(shù)據(jù)和獎(jiǎng)勵(lì)，從而導(dǎo)致模型在新數(shù)據(jù)上表現(xiàn)不佳。

我們的目標(biāo)是，在保持模型適應(yīng)數(shù)據(jù)分布（data distribution）的同時(shí)最大化獎(jiǎng)勵(lì)。我們使用了最大熵強(qiáng)化學(xué)習(xí)（maximum entropy RL）算法來找到最優(yōu)策略，行為是否受到限制并不重要，而是會(huì)重復(fù)使用獎(jiǎng)勵(lì)函數(shù)。因此，在使用獎(jiǎng)勵(lì)方式來訓(xùn)練智能體時(shí)，它可能會(huì)表現(xiàn)得過于積極、禮貌和愉悅。

智能體的行為多樣性建立在輸出文本的多樣性基礎(chǔ)之上。我想知道他們的結(jié)果是否存在類似的問題，即過度訓(xùn)練獎(jiǎng)勵(lì)模型實(shí)際上會(huì)導(dǎo)致收益遞減，甚至最終變成負(fù)面收益（negative return）。此外，獎(jiǎng)勵(lì)模型本身似乎并不完美，通過驗(yàn)證數(shù)據(jù)（validation data），你會(huì)發(fā)現(xiàn)其準(zhǔn)確率大約在七成左右。因此在訓(xùn)練時(shí)，很可能會(huì)發(fā)生過度擬合。尚不清楚獎(jiǎng)勵(lì)模型是否足夠全面，以描述優(yōu)質(zhì)的輸出。

Robin Chauhan：現(xiàn)有的模型并不擅長(zhǎng)忽略干擾項(xiàng)，但這主要是函數(shù)逼近問題，而非強(qiáng)化學(xué)習(xí)的問題。我們似乎還沒有找到解決干擾項(xiàng)問題的方法。

Natasha Jaques：可能需要更多基于符號(hào)的表示法來實(shí)現(xiàn)泛化，以便像卡車和草堆這樣的物體能夠被地理解。我們不能僅僅依賴歸納式的深度學(xué)習(xí)，例如只依賴訓(xùn)練數(shù)據(jù)集中的卡車示例來識(shí)別卡車，因?yàn)檫@種方法在面對(duì)超出訓(xùn)練數(shù)據(jù)范圍的卡車時(shí)將失效。

將語言模型集成到強(qiáng)化學(xué)習(xí)智能體中很有發(fā)展?jié)摿Γ驗(yàn)檎Z言是組合性的，或許可以提供組合表示法（compositional representation），從而有助于更好地進(jìn)行泛化。用語言提示生成逼真圖像就證明了組合表示法的潛在優(yōu)勢(shì)。

3

基于token級(jí)別的強(qiáng)化學(xué)習(xí)

Robin Chauhan：你之前在該領(lǐng)域做過類似的工作，在token級(jí)別上進(jìn)行強(qiáng)化學(xué)習(xí)，將每個(gè)token視為一個(gè)獨(dú)立的動(dòng)作（action），并使用“Sequence Tutor”和“Side Learning”等方法。

Natasha Jaques：沒錯(cuò)。如果你深入挖掘一下就會(huì)發(fā)現(xiàn)InstructGPT也是如此。使用策略梯度（policy gradient）的方法更容易，通過計(jì)算每個(gè)token的概率并對(duì)其進(jìn)行求和，就可以獲得整個(gè)序列的概率。然而，無論使用哪種方法，最終都是通過增加或減少token級(jí)別（token level）的概率來傳遞模型中的損失。

Robin Chauhan：你的論文中將它描述為一種“bandit算法”。在我看來，這可能會(huì)給人一種錯(cuò)覺，認(rèn)為所有的tokens是一個(gè)整體動(dòng)作（one action）。但你的看法是，其組織方式仍允許我們單獨(dú)分析每個(gè)token的概率。

Natasha Jaques：你可以使用以下公式計(jì)算整個(gè)序列的獎(jiǎng)勵(lì)：每個(gè)單詞的獎(jiǎng)勵(lì)相加，再乘以整個(gè)輸出的概率。然而，在實(shí)際操作中，得到整個(gè)序列概率的方法是將token級(jí)別的概率相加。因此，影響模型的方法實(shí)際上是通過修改token級(jí)別的概率來實(shí)現(xiàn)的。

Robin Chauhan：那這是否意味著在token級(jí)別上進(jìn)行分析沒有任何好處？因?yàn)槲矣浀肑ohn說過，將數(shù)據(jù)集作為一個(gè)整體進(jìn)行分析更易于處理。

Natasha Jaques：他們采用了一種不同于token級(jí)別強(qiáng)化學(xué)習(xí)的方法。他們將貼現(xiàn)因子（discount factor）設(shè)為1，并沒有對(duì)序列中的所有token應(yīng)用的相同獎(jiǎng)勵(lì)進(jìn)行貼現(xiàn)處理，也就是說，序列末尾收到的獎(jiǎng)勵(lì)與序列開頭收到的獎(jiǎng)勵(lì)具有相同的價(jià)值。這種方法效果還不錯(cuò)。

如果我沒記錯(cuò)的話，我們進(jìn)行過這樣的實(shí)驗(yàn)：嘗試在序列級(jí)別和整個(gè)對(duì)話級(jí)別上進(jìn)行獎(jiǎng)勵(lì)設(shè)計(jì)，比如說獎(jiǎng)勵(lì)對(duì)話的持續(xù)時(shí)間，這涉及到多個(gè)對(duì)話回合。

此外，我們還對(duì)句子中的token進(jìn)行均勻分布，實(shí)施了在句子級(jí)別的獎(jiǎng)勵(lì)設(shè)計(jì)。然而，在涉及對(duì)話長(zhǎng)度的問題上，我們?nèi)匀徊捎昧速N現(xiàn)因子（discount factor）。這是因?yàn)闊o法確定對(duì)話會(huì)持續(xù)多久，因此需要對(duì)這些獎(jiǎng)勵(lì)進(jìn)行貼現(xiàn)處理。不過對(duì)話的時(shí)間夠長(zhǎng)，獎(jiǎng)勵(lì)就會(huì)相應(yīng)提高。雖然如此，優(yōu)化對(duì)話中的貼現(xiàn)獎(jiǎng)勵(lì)（discounted reward）還是相當(dāng)困難。

4

AGI與AI具身化

Robin Chauhan：你認(rèn)為當(dāng)前討論和思考通用人工智能（AGI）是否有必要，還是說這只是一個(gè)遙遠(yuǎn)的夢(mèng)想，不值一提？

Natasha Jaques：當(dāng)談?wù)撏ㄓ萌斯ぶ悄埽ˋGI）時(shí)，我感到有些沮喪，因?yàn)槿藗兺ǔ２⒉磺宄约赫谡務(wù)撌裁础?/p>

AGI的定義并不清晰，試圖澄清其含義又會(huì)導(dǎo)致循環(huán)論證。比如，有人可能會(huì)告訴我AGI將在五年內(nèi)問世，但如果我問他們?yōu)楹巫詣?dòng)駕駛汽車公司的CEO認(rèn)為推出全自動(dòng)駕駛汽車需要20年時(shí)，就會(huì)出現(xiàn)自相矛盾的情況。

在我看來，AGI可以完成人類所能完成的一切，甚至比人類更出色，但如果它不能駕駛汽車，那就不能被視作AGI。盡管有些人認(rèn)為AGI不需要具備任何具體的物理形態(tài)，但這意義何在呢？

撇開這些爭(zhēng)論不談，我確實(shí)對(duì)人工智能發(fā)展的速度感到非常驚訝，甚至有些擔(dān)憂。如果我們將AGI定義為具有高度顛覆性和快速發(fā)展的人工智能技術(shù)，我們已經(jīng)達(dá)到了這個(gè)階段。以ChatGPT為例，現(xiàn)在大學(xué)不得不重新設(shè)計(jì)他們的寫作課程，因?yàn)楝F(xiàn)在ChatGPT寫出來的文章比部分本科生寫得還要好。

Robin Chauhan：確實(shí)，AGI并不能替代所有工作，但像ChatGPT這樣無疑具有巨大的發(fā)展前景，這也是我所見過的第一個(gè)真正實(shí)現(xiàn)通用性的技術(shù)。此外，你提到的自動(dòng)駕駛汽車也是一個(gè)很好的例子。盡管許多人過去預(yù)測(cè)完全自動(dòng)駕駛汽車將在兩到三年內(nèi)推出，但實(shí)際推出時(shí)間卻一再被推遲。

Natasha Jaques：在短時(shí)間內(nèi)推出全自動(dòng)駕駛汽車確實(shí)很困難，從Andrej Karpathy提到的特斯拉事故就可看出。因?yàn)樘厮估詣?dòng)駕駛系統(tǒng)不能感知一輛半掛車上裝載另一個(gè)半掛車的情況，所以事故就發(fā)生了。簡(jiǎn)而言之，一輛車上裝載了一輛半掛車，而后面這輛半掛車上又裝載著另一輛半掛車，最終就造成了“堆砌”。

這些事故發(fā)生的原因是，特斯拉自動(dòng)駕駛系統(tǒng)無法感知訓(xùn)練數(shù)據(jù)之外的情況。我們知道，如果模型超出了訓(xùn)練數(shù)據(jù)的支持范圍，它們的性能通常會(huì)下降。那么如何才能創(chuàng)建一個(gè)數(shù)據(jù)集，能夠包含現(xiàn)實(shí)世界中可能發(fā)生的所有情況呢？實(shí)際上這是不可能的，因?yàn)槭澜缫恢痹谧兓?，新的事物也在不斷涌現(xiàn)。

我一直在研究如何通過對(duì)抗環(huán)境設(shè)計(jì)或者無監(jiān)督環(huán)境設(shè)計(jì)的方法來訓(xùn)練強(qiáng)化學(xué)習(xí)智能體。在這些方法中，我們可以找到可能導(dǎo)致模型失敗的問題，并針對(duì)性地進(jìn)行訓(xùn)練。相比僅僅依靠有限數(shù)據(jù)集的監(jiān)督學(xué)習(xí)方法，這些新的方法更具可行性。

Robin Chauhan：你提及的AI具身化（embodiment）仍然存在許多問題。但ChatGPT所展示的是，如果我們能夠在抽象的文本世界中自由地創(chuàng)作和表達(dá)，問題就能迎刃而解了。

Natasha Jaques：對(duì)我來說，最吸引我的是具身化智能體，它可以在理解語言的同時(shí)做具身化，就拿AGI來說，如果我們要對(duì)它下定義，不僅要能理解文本，同時(shí)還要理解文本對(duì)世界的映射方式，只有這樣我們才能對(duì)事情進(jìn)行完整概括。有一個(gè)能在相同網(wǎng)絡(luò)中編碼所有東西的智能體是一件很不錯(cuò)的事。

Robin Chauhan：利用現(xiàn)有技術(shù)，我們的能力得到了極大提升，可以完成許多以前無法完成的事情。曾經(jīng)我們主要關(guān)注的是文本、抽象思維、代碼以及抽象符號(hào)等，但現(xiàn)實(shí)表明，機(jī)器人和動(dòng)物智能（animal intelligence）才是真正難做的東西，相比之下，人類獨(dú)有的抽象思維反而更容易實(shí)現(xiàn)。我們現(xiàn)在已經(jīng)達(dá)成了之前認(rèn)為遙不可及的目標(biāo)，ChatGPT讓我們看到了機(jī)器人身上缺乏的通用性。

Natasha Jaques：我記得有這樣一種說法，對(duì)人類來說很難的活動(dòng)（例如國(guó)際象棋和圍棋），AI卻能夠輕松應(yīng)對(duì)。對(duì)于AI來說，一些低水平的操縱活動(dòng)（比如用手從地上撿起東西）才是真正挑戰(zhàn)。

我想分享一件趣事，這件事可以較好地說明為什么具身化如此困難。我一直在研究語言條件強(qiáng)化學(xué)習(xí)智能體（language conditioned RL agents），旨在通過自然語言的指導(dǎo)，讓機(jī)器完成實(shí)際事務(wù)。

當(dāng)時(shí)我讀了一篇DeepMind的論文，論文主要內(nèi)容是模仿交互式智能，創(chuàng)造出一種模擬世界，在這個(gè)世界里，機(jī)器人可以隨意走動(dòng)，這個(gè)世界就像是低分辨率的視頻游戲一樣，機(jī)器人得到指令以后，可以做一些事情，比如拿起橘子把它放在床上，或者拿起杯子把它放在桌子上等等。

這個(gè)30人的研究團(tuán)隊(duì)在這個(gè)項(xiàng)目上花了兩年時(shí)間，投入了數(shù)百萬美元。他們收集了大量人類數(shù)據(jù)，并嘗試在模擬環(huán)境中應(yīng)用這些數(shù)據(jù)。由于收集的數(shù)據(jù)量過于龐大，所以其中可能有半數(shù)都是重復(fù)數(shù)據(jù)。而他們則基于這些數(shù)據(jù)去訓(xùn)練機(jī)器人。最后你猜他們成功執(zhí)行指令的機(jī)率是50%。

我認(rèn)為這個(gè)比例比較低。盡管“將橘子放到床上”等指令看似簡(jiǎn)單，但考慮到項(xiàng)目團(tuán)隊(duì)已經(jīng)投入了大量資金，他們應(yīng)該能夠取得更高的成功率。這也表明了具身化任務(wù)的挑戰(zhàn)性，即使我們已經(jīng)成功實(shí)現(xiàn)了文本到圖像的有效結(jié)合，文本到圖像的組合生成模型也實(shí)現(xiàn)了良好運(yùn)轉(zhuǎn)，但是物理實(shí)體的操作卻難以控制，讓它們?cè)诮邮找曈X和文本信息的基礎(chǔ)上完成簡(jiǎn)單任務(wù)的難度也非常大。

5

回歸學(xué)界：研究社交強(qiáng)化學(xué)習(xí)

Robin Chauhan：我聽說你打算回到學(xué)術(shù)界，擔(dān)任華盛頓大學(xué)的助理教授。你打算研究什么？

Natasha Jaques：我已經(jīng)有一個(gè)清晰的想法。在企業(yè)招聘時(shí)，如果你不能清晰地描述你的計(jì)劃，他們就不會(huì)雇用你。我想做的是社交強(qiáng)化學(xué)習(xí)，即：當(dāng)在多智能體環(huán)境中進(jìn)行學(xué)習(xí)時(shí)，我們可以在哪些方面提升AI的性能。目前大多數(shù)AI活動(dòng)都需要人類參與，而人類非常聰明，有多種方式來完成任務(wù)。

因此，我們不僅要思考如何使AI靈活地向人類學(xué)習(xí)，還要思考人類在社交學(xué)習(xí)方面的技能，即如何確認(rèn)哪些模型值得學(xué)習(xí)，以及何時(shí)應(yīng)該依賴向他人學(xué)習(xí)而不是獨(dú)立探索。我想開發(fā)的是能夠與人類交互并且有用的AI。

這就要解決以下問題，例如：如何與一個(gè)從未見過的人合作解決任務(wù)？如何理解人類想要解決的目標(biāo)？如何從人類反饋（包括隱式反饋）中進(jìn)行學(xué)習(xí)？如何使用自然語言與人類交流以解決任務(wù)？如何使用人類反饋訓(xùn)練語言？這些都是我一直在研究的語言條件下的強(qiáng)化學(xué)習(xí)。

Robin Chauhan：在業(yè)內(nèi)領(lǐng)先實(shí)驗(yàn)室工作后再回到學(xué)術(shù)界是一個(gè)很有趣的選擇，我敢打賭，很多人會(huì)做出相反的選擇，特別是考慮到在學(xué)術(shù)預(yù)算有限的情況下，做頂尖AI研究是一個(gè)很大的挑戰(zhàn)，因?yàn)橐?guī)?；瘜?duì)于AI來說十分重要，但規(guī)?；瘮U(kuò)展又十分昂貴。

Natasha Jaques：有人可能會(huì)認(rèn)為，如果想要為AI做出貢獻(xiàn)，就需要巨大的計(jì)算預(yù)算和訓(xùn)練大型模型，而學(xué)術(shù)界怎么可能承擔(dān)得起這個(gè)成本？但實(shí)際上，業(yè)界常有30-50人組成的團(tuán)隊(duì)在致力于研究那些已經(jīng)被證實(shí)可行的想法，所以研究人員可以加入其中，將其擴(kuò)展成大規(guī)模項(xiàng)目。比如谷歌的一些大型團(tuán)隊(duì)就正在嘗試開展RLHF項(xiàng)目。他們的做法與OpenAI都大同小異，都在嘗試擴(kuò)展編寫自己的基礎(chǔ)設(shè)施。

OpenAI和DeepMind現(xiàn)在越來越注重規(guī)?；瘮U(kuò)展，而非僅僅發(fā)布研究成果。如果你想要從事創(chuàng)新性的、探索新想法的研究方向，并通過實(shí)驗(yàn)確認(rèn)這些想法，那么在業(yè)界可能會(huì)有更多的挑戰(zhàn)。

我比較關(guān)注的是研究自由度和能夠獨(dú)立思考并實(shí)驗(yàn)的能力。學(xué)術(shù)界的作用在于提出新的研究思路，并進(jìn)行概念驗(yàn)證，而工業(yè)界則負(fù)責(zé)將這些思路轉(zhuǎn)化為實(shí)用的系統(tǒng)。

以我從事KL控制為例，學(xué)術(shù)界的探索性工作就對(duì)工業(yè)界的技術(shù)發(fā)展起到了積極的推動(dòng)作用。所以起決定作用的是看個(gè)人喜歡做什么，加入基礎(chǔ)設(shè)施工作團(tuán)隊(duì)還是做更多研究。就我個(gè)人而言，我更喜歡從事更具有研究性質(zhì)的工作。

Robin Chauhan：你對(duì)AI的貢獻(xiàn)已經(jīng)得到學(xué)術(shù)界的認(rèn)可，但公眾卻鮮為人知。人們只看到OpenAI取得的成就，卻不知道它也是站在前人的肩膀上才獲得的。

Natasha Jaques：現(xiàn)狀確實(shí)如此。不過我的目標(biāo)是實(shí)踐自己的想法并驗(yàn)證是否可行，進(jìn)而為AI的發(fā)展作出貢獻(xiàn)，而不只是追求榮譽(yù)。

相關(guān)論文

1. Way Off-Policy Batch Deep Reinforcement Learning of Implicit Human Preferences in Dialog（https://arxiv.org/abs/1907.00456）

2. Sequence Tutor: Conservative Fine-Tuning of Sequence Generation Models with KL-control(https://arxiv.org/abs/1611.02796)

3. PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning（https://arxiv.org/abs/2102.12）

4. Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience（https://arxiv.org/abs/2208.04919）

5. Fine-Tuning Language Models from Human Preferences（https://arxiv.org/abs/1909.08593）, Daniel M. Ziegler et al 2019

6. Learning to summarize from human feedback（https://arxiv.org/abs/2009.01325）, Nisan Stiennon et al 2020??

7. Training language models to follow instructions with human feedback（https://arxiv.org/abs/2203.02155）, Long Ouyang et al 2022??

其他人都在看

“ChatGPT們”的淘金時(shí)代

大型語言模型的推理演算

GPT-4創(chuàng)造者：第二次改變AI浪潮的方向

ChatGPT作者Schulman：我們成功的秘密武器

比快更快，開源Stable Diffusion刷新作圖速度

OneEmbedding:單卡訓(xùn)練TB級(jí)推薦模型不是夢(mèng)

GLM訓(xùn)練加速：性能最高提升3倍，顯存節(jié)省1/3

歡迎Star、試用OneFlow:github.com/Oneflow-Inc/oneflow/http://github.com/Oneflow-Inc/oneflow/

關(guān)鍵詞：