近期，美國人工智能公司OpenAI發(fā)布免費機器人對話模型ChatGPT（GPT-3.5系列），模型中首次采用RLHF（從人類反饋中強化學習）方式。ChatGPT-3.5發(fā)布之后，5天時間用戶破100萬，速度驚人。ChatGPT正在迅速成為主流。

如何看待ChatGPT的未來趨勢和對行業(yè)的影響？以下為機構(gòu)中信證券報告部分內(nèi)容摘要：

由人工智能實驗室OpenAI發(fā)布的對話式大型語言模型Chat-GPT獲得市場廣泛關注。

測試反饋的結(jié)果顯示，相比于前一代的GPT-3，Chat-GPT給出的答案完成度很高，并能在專業(yè)領域內(nèi)形成具有一定創(chuàng)作性的回答。技術背景上，OpenAI團隊從GPT-3.5系列中的一個模型進行微調(diào)，使用人類反饋強化學習（RLHF）訓練該模型。這種技術使用人類偏好作為獎勵信號來微調(diào)模型，在此前的Transformer算法的基礎上又優(yōu)化了數(shù)據(jù)來源。與GPT-3相比，Chat-GPT測試所取得的進步是明顯的，但這些進步主要來自于數(shù)學層面上優(yōu)化帶來的匹配精準度提高，而并非算法真正為AI帶來了邏輯性。更直觀的理解是，Chat-GPT“解鎖”了GPT-3已經(jīng)具備的能力，原先模型中真正使用到的計算和數(shù)據(jù)不到2%，這讓Chat-GPT成為一個AI技術應用的成功范例。

對產(chǎn)業(yè)界而言，Chat-GPT的成功意味著產(chǎn)業(yè)端算力與數(shù)據(jù)質(zhì)量重要性進一步提升，人類反饋強化學習（RLHF）更強調(diào)數(shù)據(jù)質(zhì)量與算力，在未來Transformer發(fā)展的過程中將越來越重要，一味堆疊數(shù)據(jù)量的時代可能已經(jīng)過去。能夠完成數(shù)據(jù)閉環(huán)以及有著優(yōu)秀的數(shù)據(jù)自處理能力的企業(yè)預計將在未來AI模型發(fā)展的過程中更加受到青睞。場景落地端，根據(jù)模型現(xiàn)有的完成度，在垂直行業(yè)針對性地做人工反饋訓練，就可以落地智能客服、問答產(chǎn)品，在toC場景中料將率先得到應用。Chat-GPT的成功證明了Transformer模型并非陷入困境，AI模型&技術上持續(xù)的新突破，正驅(qū)動全球AI產(chǎn)業(yè)進入加速發(fā)展階段，疊加AI產(chǎn)業(yè)集群效應的不斷凸顯，擁有完整數(shù)據(jù)閉環(huán)結(jié)構(gòu)、良好數(shù)據(jù)自處理能力的企業(yè)有望持續(xù)成為產(chǎn)業(yè)受益者。

Chat-GPT模型：在GPT-3.5的基礎上基于人類反饋學習進行額外訓練，給出了Transformer模型未來發(fā)展的一個可能解法。

OpenAI團隊從GPT-3.5系列中的一個模型進行微調(diào)，使用與InstructGPT相同的方法，使用人類反饋強化學習（RLHF）訓練該模型，并對數(shù)據(jù)收集設置相對做了優(yōu)化。人類反饋強化模型這一技術，是OpenAI從2017開始發(fā)表論文的新領域。這種技術使用人類偏好作為獎勵信號來微調(diào)模型，首先收集人工編寫演示數(shù)據(jù)集（包含兩種不同輸出類型的比較），然后在這個數(shù)據(jù)集上訓練一個獎勵模型（RM）來預測標簽者更喜歡哪個輸出。最后，使用此RM作為獎勵函數(shù)并微調(diào)這個GPT-3策略以使用PPO算法最大化此獎勵。從測試的結(jié)果看，Chat-GPT能夠調(diào)用大量的專業(yè)數(shù)據(jù)庫，并用巧妙的語言連接句將他們拼合在一起，在回答問題時，模型能根據(jù)上下文展現(xiàn)出一定的連貫性。在面對GPT-3束手無策的人稱代詞時，Chat-GPT展現(xiàn)出了一定的邏輯能力。

模型背后問題：并非底層技術上的革命性突破，產(chǎn)業(yè)端意義大于學術端意義。

與GPT-3相比，Chat-GPT測試所取得的進步是明顯的，但這些進步主要來自于數(shù)學層面上的優(yōu)化帶來的結(jié)果匹配精準度提高，而并非算法真正為AI帶來了邏輯性，也不是能夠從訓練的數(shù)據(jù)中學習到新的知識。對于Chat-GPT相對于原先模型的進步的一種更直觀的理解是，Chat-GPT“解鎖”了GPT-3已經(jīng)具備的能力，通過原先的提示工程難以激發(fā)：這是因為訓練程序相對于預訓練期間學到的東西，新知識的連接能力有限。這一過程帶來了更好的結(jié)果匹配度來逼近人類思考所使用的邏輯，但并非給予了AI底層邏輯性的概念。從大量的測試結(jié)果能看出，Chat-GPT有時仍會寫出看似合理但不正確或荒謬的答案，以及幼兒都絕不會出現(xiàn)的邏輯性錯誤。主要原因包括：（1）在面對邏輯性的指代，以及稍微復雜的句式，模型仍然難以分析出內(nèi)在的邏輯性關聯(lián);（2）訓練模型更加謹慎導致它拒絕回答和逃避回答問題;（3）監(jiān)督訓練會誤導模型，因為理想的答案取決于模型知道什么，而不是人類演示者知道什么。

Chat-GPT對產(chǎn)業(yè)界的影響：底層算力、數(shù)據(jù)質(zhì)量重要性進一步提升，toC端場景（智能客服等）料將率先迎來變革。

1）人類反饋強化學習（RLHF）更強調(diào)數(shù)據(jù)質(zhì)量與算力，盡管相比于GPT-3，Chat-GPT削減了一部分的數(shù)據(jù)量，但對于余下的數(shù)據(jù)做了更好的優(yōu)化以及加入了人類反饋調(diào)節(jié)的獎勵系統(tǒng)。數(shù)據(jù)質(zhì)量與大算力支撐下的獎勵系統(tǒng)預計將在未來Transformer發(fā)展的過程中越來越重要，一味堆疊數(shù)據(jù)量的時代可能已經(jīng)過去。能夠完成數(shù)據(jù)閉環(huán)以及有著優(yōu)秀的數(shù)據(jù)自處理能力的企業(yè)將在未來AI模型發(fā)展的過程中更加受到青睞。2）即使Chat-GPT不是一個革命性的底層AI技術的突破，但它絕對是一個成功的AI技術應用的典范。在原先GPT-3.5與InstructGPT的框架上，OpenAI的研究員通過調(diào)試參數(shù)與數(shù)據(jù)源取得了驚人的效果。根據(jù)模型現(xiàn)有的完成度，在垂直行業(yè)針對性的做人工反饋訓練，就可以落地為智能客服產(chǎn)品，在toC的場景中率先得到應用。對比目前的智能客服，Chat-GPT支撐的客服將在靈活性與人性化服務方面有顯著的進步。

返回列表