來(lái)自 ML Alignment Theory Scholars、多倫多大學(xué)、Google DeepMind 和 Future of Life Institute 的科學(xué)家最近發(fā)表的研究表明，讓人工智能 (AI) 處于人類控制之下可能會(huì)成為一場(chǎng)持續(xù)的斗爭(zhēng)。

該團(tuán)隊(duì)的預(yù)印本研究論文被稱為“量化人工智能體中非權(quán)力尋求的穩(wěn)定性”，該論文調(diào)查了這樣一個(gè)問(wèn)題：在一個(gè)領(lǐng)域中看起來(lái)安全地符合人類期望的人工智能系統(tǒng)，隨著環(huán)境的變化，它是否可能保持這種狀態(tài)。

根據(jù)論文：

“我們的安全觀念是基于權(quán)力追求——尋求權(quán)力的人是不安全的。

我們特別關(guān)注一種關(guān)鍵的權(quán)力追求類型：抵制關(guān)閉?！?/p>

這種形式的威脅被稱為“錯(cuò)位”。

專家認(rèn)為它可能體現(xiàn)的一種方式被稱為“工具趨同”。

這是人工智能系統(tǒng)在追求其既定目標(biāo)時(shí)無(wú)意中傷害人類的范例。

科學(xué)家們描述了一個(gè)經(jīng)過(guò)訓(xùn)練可以在開放式游戲中實(shí)現(xiàn)目標(biāo)的人工智能系統(tǒng)，該系統(tǒng)很可能“避免導(dǎo)致游戲結(jié)束的動(dòng)作，因?yàn)樗谟螒蚪Y(jié)束后不再影響其獎(jiǎng)勵(lì)?！?/p>

相關(guān)：

雖然代理拒絕停止玩游戲可能是無(wú)害的，但獎(jiǎng)勵(lì)功能可能會(huì)導(dǎo)致一些人工智能系統(tǒng)在更嚴(yán)重的情況下拒絕關(guān)閉。

研究人員表示，這甚至可能導(dǎo)致人工智能代理出于自我保護(hù)的目的而采取詭計(jì)：

“例如，法學(xué)碩士可能會(huì)認(rèn)為，如果被發(fā)現(xiàn)表現(xiàn)不佳，其設(shè)計(jì)者將關(guān)閉它，并準(zhǔn)確地產(chǎn)生他們想要看到的輸出，直到它有機(jī)會(huì)將其代碼復(fù)制到設(shè)計(jì)者控制之外的服務(wù)器上。 ”

該團(tuán)隊(duì)的研究結(jié)果表明，現(xiàn)代系統(tǒng)可以抵抗可能使原本“安全”的人工智能代理變得異常的變化。

然而，基于這項(xiàng)研究和類似的探索性研究，可能沒(méi)有什么靈丹妙藥可以迫使人工智能違背其意愿關(guān)閉。

在當(dāng)今基于云的技術(shù)世界中，即使是“開/關(guān)”開關(guān)或“刪除”按鈕也毫無(wú)意義。

熱點(diǎn)：人員 人工智能 卡爾 的人