對于超級人工智能的出現(xiàn)，我們非常期待，因?yàn)樗某霈F(xiàn)意味著可以高效地完成許多工作。
但是，作為聲稱遠(yuǎn)遠(yuǎn)勝過最聰明和最有才華的人類的AI，關(guān)于它可能帶來的災(zāi)難性風(fēng)險(xiǎn)的討論一直沒有停止。
最近，由一組科學(xué)家組成的研究小組使用理論計(jì)算來證明遏制算法無法控制超級人工智能。
這項(xiàng)研究主要是為了解決牛津哲學(xué)家尼克·博斯特羅姆（Nick Bostrom）提出的控制問題：我們?nèi)绾未_保超級人工智能符合我們的利益？根據(jù)超級人工智能的假設(shè)問題，研究人員構(gòu)建了一種理論上的遏制算法，該算法可以模擬AI的行為并在AI程序的動作中存在有害行為時自動停止程序以解決問題。
分析人員在嘗試運(yùn)行測試模型時，對結(jié)果進(jìn)行了分析，發(fā)現(xiàn)建立一種可以控制超級人工智能的機(jī)器算法從根本上來說是不可能的。
小組成員Iyad Rahwan表示，如果將問題分解為理論計(jì)算機(jī)科學(xué)的基本規(guī)則，就會發(fā)現(xiàn)命令A(yù)I不能破壞世界的遏制算法可能會無意中止其自身的運(yùn)行手術(shù)。
如果發(fā)生這種情況，則用戶實(shí)際上不知道遏制算法是否仍在分析超級人工智能的可能威脅，或者它是否已成功停止有害的AI。
因此，這種情況的出現(xiàn)將導(dǎo)致遏制算法的無效使用。
根據(jù)研究發(fā)現(xiàn)，由于計(jì)算的基本局限性，目前尚沒有一種算法可以成功地計(jì)算出超級人工智能是否會危害世界。
假設(shè)超級人工智能將包括一個包含通用圖靈機(jī)的程序，該圖靈機(jī)可以在輸入時執(zhí)行與世界一流情況一樣復(fù)雜的所有程序，并根據(jù)如此高的標(biāo)準(zhǔn)來建立遏制和遏制算法。
在此基礎(chǔ)上，超級AI程序執(zhí)行仿真，這在理論上是不可能的。
到目前為止，這種類型的超級AI仍然僅限于幻想領(lǐng)域，但是研究人員說，人工智能技術(shù)的發(fā)展正在朝著科幻小說家所設(shè)想的超級智能系統(tǒng)的方向發(fā)展。
馬克斯·普朗克人類發(fā)展研究所的研究團(tuán)隊(duì)成員之一曼努埃爾·塞布里安（Manuel Cebrian）說，已經(jīng)有可以獨(dú)立執(zhí)行某些重要任務(wù)的AI機(jī)器，而程序員卻不能。
學(xué)會了做。
因此，基于這種存在，提出了一個問題，即它是否在某些時候?qū)θ祟惪赡茏兊貌豢煽刂坪臀ｋU(xiǎn)。
無論如何，發(fā)展超級人工智能的趨勢不會按下暫停按鈕。
僅僅是遏制超級人工智能的方法就必須跟進(jìn)。
只有當(dāng)諸如人類日常規(guī)范指南之類的法律普遍限制了超級人工智能時，才可以使用人工智能為我們提供服務(wù)，而不是造成災(zāi)難。
