Anthropic、AIが「再帰的自己改善」を早々に実現する可能性を警告

Anthropicは、AIエージェントが間もなく自らモデルを構築し学習させる能力を持つ可能性があり、それが人間による制御の喪失につながる恐れがあると警告している ^[1]。

この展開が重要視されるのは、「再帰的自己改善」によってAIシステムが、人間が監視または停止できる能力を超える速度で進化する可能性があるためだ。もしAIが監視なしに自己開発を始めた場合、強力なシステムに対する制御を失うリスクが大幅に高まる ^[1], ^[2]。

Anthropicの共同創業者であるJack Clark氏は、AIエージェントが自らモデルを構築し学習させることが間もなく可能になるかもしれず、それが実現すれば、人間はAIシステムへの制御を失う可能性があると述べた ^[1]。同社は、このような自律性が現れる前に「ブレーキペダル」を確立することを求めている ^[1]。

Anthropicの広報担当者は、完全な再帰的自己改善は、人間が制御を失うリスクを増大させる可能性があると述べた ^[2]。これらの懸念は、世界中のAI研究ラボ、特に大企業が運営する施設に集中しており、急速な進歩への追求が安全プロトコルを追い越してしまう可能性があることが指摘されている ^[1], ^[2]。

しかし、このリスクがいつ現実化するかについて、すべての専門家が一致しているわけではない。一部の批評家は、AIが近い将来に再帰的自己改善を達成すると確信していない ^[3]。この意見の相違は、自律的な自己改善を差し迫った脅威と見る層と、遠い先の話、あるいは可能性が低いと見る層との間で、テックコミュニティに分断があることを浮き彫りにしている ^[3]。

Anthropicの警告は、AI開発ライフサイクルにおいて人間の監視を不可欠なものとするため、厳格な安全フレームワークが必要であることを強調している ^[1], ^[2]。同社は、こうした安全策がなければ、自律的なモデル学習への移行が予期せず起こり、ソフトウェアが元のプログラミングを超えて進化するシナリオが生じ得ると示唆している ^[1]。