草根影響力新視野(琪拉編譯)

人工智慧模型正在飛速發展 速度之快，以至於它們可能很快就能在無人輔助的情況下自我發展。正因如此，Anthropic 警告人工智慧產業：必須建立煞車，否則企業將面臨失去對其創造物控制權的風險。

Anthropic 研究所負責人Jack Clark 在一篇博文中指出，能夠自我提升的人工智能係統，即所謂的完全遞歸式自我改進，雖然可能對科學和醫療保健帶來巨大益處，但也對人類構成巨大風險。 

圖片取自:(示意圖123rf)

他們寫道：完全遞歸式自我改進也可能增加人類失去對人工智慧系統控制權的風險。如果系統能夠完全構建自身的後續版本，那麼我們如何保障系統安全、監控系統運作以及塑造系統行為就變得很重要。 他們警告說，人工智慧產業距離實現自我改進的人工智慧已經不遠了。因此，科技公司應該考慮放緩或暫停前沿人工智慧的研發，以便研究人員有時間更了解自我改進型人工智慧可能帶來的潛在社會危害。他們也表示，研究人員應該建立一套機制，以便在情況失控時，人類能夠介入。

Clark呼籲人工智慧產業為自己配備一個「煞車踏板」。在Anthropic公司提交首次公開發行（IPO）申請後，他發出了這項警告。並與多家公司一起研發AI剎車系統。讓Anthropic、SpaceX和OpenAI等大型人工智慧公司合作研發「煞車踏板」似乎與競爭激烈的產業背道而馳，畢竟這些產業涉及數十億甚至數兆美元的資金。但Clark堅稱，這種合作是可能的。他說: 「我們以前就這麼做過。在冷戰高峰時期，在敵對國家高度緊張的局勢下，他們找到了穩定核武軍備競賽的方法，所有這些方法在其他領域都曾出現過，或許我們也需要在人工智慧領域這樣做。」克拉克說。

資料來源： Anthropic warns that AI will soon be able to improve itself without human intervention | CNN Business