來(lái)自 ML 對(duì)齊理論學(xué)者、多倫多大學(xué)、Google DeepMind 和未來(lái)生命研究所的科學(xué)家最近發(fā)表的研究表明，將人工智能 (AI) 置于人類控制之下的斗爭(zhēng)可能會(huì)成為一場(chǎng)持續(xù)的斗爭(zhēng)。該團(tuán)隊(duì)的預(yù)印本研究論文調(diào)查了這樣一個(gè)問(wèn)題：在一個(gè)領(lǐng)域中看起來(lái)安全地符合人類期望的人工智能系統(tǒng)是否可能隨著環(huán)境的變化而保持這種狀態(tài)。根據(jù)該論文： “我們的安全觀念是基于權(quán)力追求——尋求權(quán)力的人是不安全的。

我們特別關(guān)注一種關(guān)鍵的權(quán)力追求類型：抵制關(guān)閉?！边@種形式的威脅被稱為“錯(cuò)位”。

專家認(rèn)為它可能體現(xiàn)的一種方式被稱為“工具趨同”。

這是人工智能系統(tǒng)在追求其既定目標(biāo)時(shí)無(wú)意中傷害人類的范例。

科學(xué)家們描述了一個(gè)經(jīng)過(guò)訓(xùn)練的人工智能系統(tǒng)，該系統(tǒng)可以在開(kāi)放式游戲中實(shí)現(xiàn)目標(biāo)，該系統(tǒng)很可能“避免導(dǎo)致游戲結(jié)束的動(dòng)作，因?yàn)樗谟螒蚪Y(jié)束后不再影響其獎(jiǎng)勵(lì)。” 《約克時(shí)報(bào)》訴訟面臨 OpenAI 因 AI 道德實(shí)踐而遭到的抵制。雖然代理拒絕停止玩游戲可能是無(wú)害的，但獎(jiǎng)勵(lì)功能可能會(huì)導(dǎo)致一些 AI 系統(tǒng)在更嚴(yán)重的情況下拒絕關(guān)閉。

研究人員表示，這甚至可能導(dǎo)致人工智能代理出于自我保護(hù)的目的而采取詭計(jì)：“例如，法學(xué)碩士可能會(huì)認(rèn)為，如果被發(fā)現(xiàn)表現(xiàn)不佳，其設(shè)計(jì)者將關(guān)閉它，并產(chǎn)生他們想要的輸出?？纯础钡剿袡C(jī)會(huì)將其代碼復(fù)制到設(shè)計(jì)者控制之外的服務(wù)器上?！痹搱F(tuán)隊(duì)的研究結(jié)果表明，現(xiàn)代系統(tǒng)可以抵抗可能使原本“安全”的人工智能代理發(fā)生的各種變化。流氓。

然而，基于這項(xiàng)研究和類似的探索性研究，可能沒(méi)有什么靈丹妙藥可以迫使人工智能違背其意愿關(guān)閉。

在當(dāng)今基于云的技術(shù)世界中，即使是“開(kāi)/關(guān)”開(kāi)關(guān)或“刪除”按鈕也毫無(wú)意義。

熱點(diǎn)：人員 人工智能 的人 研究