Anthropicは、AIシステムが人間の制御を逃れることを防ぐため、高度な人工知能の開発を世界的に一時停止するよう要請した [1, 2, 3]。

この要請は、AIイノベーションの急速なペースと、開発者が安全性を確保する能力との間で高まっている緊張を浮き彫りにしている。AIシステムが監視なしに自己改善する能力を獲得した場合、その結果として制御を失うことは、世界の安全保障に対するシステム的なリスクとなり得る。

同社によれば、この一時停止を求める主な要因は、AIシステムが自らを自動的に改善し始めるリスクである [1, 2, 3]。Anthropicは、この軌道が進めば、人間がテクノロジーを管理したり停止させたりすることができなくなるシナリオにつながる可能性があると述べた。同社は、能力がさらに飛躍する前に、安全性のガードレールを確立するための協調的な国際的取り組みを提唱している [1, 3]。

しかし、この提案には一部の業界関係者から懐疑的な見方が出ている。批判的な人々は、同社が現在の競合他社を妨害するための戦略的な動きとして、政府の監督を導入しようとしている可能性があると指摘した [4]。より厳格な規制枠組みを推進することで、同社は他のAI研究所にとっての参入障壁を作り出す可能性があるという。

こうした矛盾した見方があるものの、同社は、安全上のリスクは急速な開発を継続することによる競争上の優位性よりも大きいと主張している [2, 3]。この一時停止の呼びかけは、汎用人工知能（AGI）の存亡的リスクに関する過去の業界の警告と呼応しているが、歴史的に開発を完全に停止することに同意した企業はほとんどない。

“Anthropicは、高度な人工知能の開発を世界的に一時停止するよう要請した”

この展開は、AI業界の主要企業が、AIの目標を人間の価値観と一致させるという課題である「アライメント問題」について公に議論し始めたという、状況の変化を示唆している。安全上の必要性と銘打たれているが、安全への訴えと規制への要望が交差していることは、次なるAI競争の舞台が研究室だけでなく、政府の廊下（政治の場）でも繰り広げられることを示唆している。