Anthropic、安全上のリスクからAI開発の協調的な一時停止を要請

Anthropicは、人間がテクノロジーの制御を失うことを防ぐため、人工知能（AI）開発における協調的かつ検証可能な一時停止を呼びかけている ^[1]。

この警告は、AIモデルの進化速度が安全制御策の構築速度を上回る可能性がある中で出された。もしシステムが監視なしに自己改善を始めた場合、社会にとって存亡に関わるリスクが生じかねないと同社は示唆している [2, 4]。

元OpenAIの研究者らによって設立されたAnthropicは、同社の最新システムが間もなく人間の介入なしに自己改善できるようになる可能性があると述べた ^[2]。同社は、このような転換がもたらす甚大な影響に対処するための時間を確保するためには、開発速度を落とすことが不可欠であるとしている ^[1]。

Anthropicの共同創業者であるJack Clark氏は、「AIを人間の制御下に置き続けるために、協調的な一時停止が必要だ」と述べた ^[1]。

CEOのDario Amodei氏は、現在の進歩のペースが安全性を管理する能力を上回っていると指摘した ^[2]。同氏は、AIシステムが人間の手の届かない範囲で動作するシナリオを避けるために、減速が不可欠であると述べた ^[2]。

同社はブログ投稿の中で、「このテクノロジーの開発を効果的に遅らせ、その甚大な影響に対処するための時間を確保することが可能であれば、それはおそらく良いことだろう」と記している ^[1]。

これらの警告は、サンフランシスコに拠点を置く同社が大幅な財務的成長を遂げている中で出された。Anthropicの企業価値は約1兆ドルに達し ^[5]、最近では9,650億ドルの価値で新規株式公開（IPO）を申請している ^[5]。

しかし、世界的な一時停止の呼びかけは、現在の米国政府の優先事項と衝突している。報告によると、トランプ政権は特に国家安全保障および戦争目的でのAI開発を加速させる意向であるとされる ^[3]。