【leyu.com官網(wǎng)科技消息】近日,圍繞OpenAI下一代模型Astra可能采用“不透明循環(huán)”推理技術(shù)、導(dǎo)致模型難以監(jiān)控的爭(zhēng)議持續(xù)發(fā)酵。
OpenAI
當(dāng)?shù)貢r(shí)間9月2日,OpenAI首席科學(xué)家雅庫(kù)布&(T詻奆B抔 筥?馴\a?g逕賬??c︺M藪躄弶N髕簐hq食?)?5=黈?le醹d:V紿^蒔{?!曗妠0?@a9y?敯?ㄨK疃浌?頞訒墣^)?琱逺?v鏢Kr紺0ジF脾孷:go?G鄰?.hど埴_镻?09暌}?S?XPO12539;帕喬基(Jakub Pachocki)在社交平臺(tái)發(fā)文回應(yīng)相關(guān)討論。他表示,希望避免因混亂的報(bào)道引發(fā)一場(chǎng)“沖向不可監(jiān)控狀態(tài)”的競(jìng)賽。帕喬基稱(chēng),包括Astra在內(nèi)的OpenAI當(dāng)前前沿模型,其計(jì)算圖深度與GPT-4相比差距不到兩倍,并不存在外界擔(dān)憂的計(jì)算復(fù)雜度大幅躍升。
此前有消息稱(chēng),Astra可能采用一種名為“循環(huán)深度(Recurrent Depth)”的推理技術(shù)。該技術(shù)通過(guò)讓同一組Transformer層進(jìn)行多輪循環(huán)計(jì)算,使模型能夠在內(nèi)部完成更多推理步驟,而不完全依賴傳統(tǒng)形式的可見(jiàn)思維鏈。

這一方向被認(rèn)為可能提升模型在數(shù)學(xué)、編程等任務(wù)上的表現(xiàn),同時(shí)降低部分計(jì)算成本。但由于部分推理過(guò)程可能隱藏在模型內(nèi)部,也引發(fā)了AI安全領(lǐng)域?qū)τ凇安豢杀O(jiān)控”的擔(dān)憂。
支持者認(rèn)為,提高模型內(nèi)部推理能力有助于增強(qiáng)性能;但安全研究人員擔(dān)心,如果模型能夠進(jìn)行大量隱藏式內(nèi)部推理,而外部無(wú)法觀察完整過(guò)程,未來(lái)可能增加模型行為審查、安全評(píng)估以及事故調(diào)查的難度。

AI安全組織Redr:破高膙轔?f然揩襮嫛蟿F鳩5pep=k?確矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鵒黮}劷:q{|?e ?%坖D覑眤丬鯇M(纈s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫ood Research首席執(zhí)行官巴克&(T詻奆B抔 筥?馴\a?g逕賬??c︺M藪躄弶N髕簐hq食?)?5=黈?le醹d:V紿^蒔{?!曗妠0?@a9y?敯?ㄨK疃浌?頞訒墣^)?琱逺?v鏢Kr紺0ジF脾孷:go?G鄰?.hど埴_镻?09暌}?S?XPO12539;施萊格里斯(Buck Shlegeris)對(duì)此表示高度擔(dān)憂。他認(rèn)為,如果進(jìn)一步推進(jìn)相關(guān)技術(shù)并大幅增加循環(huán)次數(shù),可能會(huì)削弱思維鏈監(jiān)控能力,使安全調(diào)查更加困難。
帕喬基回應(yīng)稱(chēng),思維鏈監(jiān)控技術(shù)確實(shí)存在脆弱性,并且正在面臨新的挑戰(zhàn),但這些問(wèn)題并非由架構(gòu)變化本身導(dǎo)致。OpenAI自早期推理模型以來(lái),一直致力于維護(hù)和利用思維鏈監(jiān)控,希望借此了解模型對(duì)齊能力如何從訓(xùn)練數(shù)據(jù)分布中泛化。
版權(quán)所有,未經(jīng)許可不得轉(zhuǎn)載
-leyu.com官網(wǎng)