CiscoのAI脅威インテリジェンスおよびセキュリティリサーチチームは、標準的なAI安全性のベンチマークが、AIを駆使したサイバー攻撃者の脅威を著しく過小評価していると述べた [1]

この結果は、業界におけるリスク測定方法に重大な乖離があることを示唆している。現在のベンチマークがAIを有効活用した脅威の真の能力を捉えきれていない場合、組織は既存の安全ガードレールを回避する巧妙な攻撃に対して、準備不足となる可能性がある。

同リサーチチームは、AIを駆使した攻撃者の出現はすでに現実のものとなっていると述べた [1]。報告書によると、AIの安全性をテストするために使用されている既存のフレームワークは、主要なリスク要因を見落としているため不十分である [1]。この見落としにより、AIを有効活用した攻撃能力が現実の世界で実際に何を達成できるかについて、全体的に過小評価される結果となっている。

セキュリティ専門家は、モデルが展開に十分な安全性を持っているか、あるいは「危険な能力」を備えていないかを判断するために、これらのベンチマークに依存することが多い。しかし、Ciscoの調査結果は、現在使用されている指標が、悪意のある攻撃者が実際に用いる戦術と一致していないことを示している [1]

同チームは、こうした攻撃者の出現は遠い未来の可能性ではなく、現在進行中の事態であると述べた [1]。これらの特定のベクトルを考慮しなかったことで、業界はAI防御の堅牢性について誤った安心感を抱くリスクがある。

Ciscoのグローバルリサーチチームは、ベンチマークの結果と現実の脅威との間の断絶が、グローバルなサイバーセキュリティインフラに脆弱性を生み出していると述べた [1]。報告書は、AIを駆使したエクスプロイトの進化する性質を反映した、より包括的なテストの必要性を提案している。

標準的なAI安全性のベンチマークは、現実の脅威を著しく過小評価している。

AI安全性のベンチマークと実際の脅威能力との乖離は、業界の「安全性」指標がサイバー犯罪者の攻撃的なイノベーションに後れを取っている可能性を示している。この変化は、AIを搭載した攻撃者による大規模な悪用を防ぐために、防御戦略を静的なベンチマークから、脅威に基づいた動的なテストへと移行させる必要があることを示唆している。