AIの安全性評価とは　日本のAISIは12府省庁が参加、アンソロピックは100超の防御策で一段上の基準を適用

AIの安全性評価とは、AIモデルが社会に害を与えるような使われ方をしないか、想定外の動きをしないかを、公開の前後に調べる取り組みのことです。調べる人がわざと悪用を試みる「レッドチーミング」や、危険な分野の知識をどこまで答えるかを測る試験などを組み合わせます。

何を調べるか

主な対象は3つです。1つ目は悪用です。化学・生物・放射性物質・核の兵器（CBRN）や、サイバー攻撃の手助けをどこまでしてしまうかを見ます。2つ目は誤りです。事実と違う内容や、偏った答えを出さないかを調べます。3つ目はモデルの重みの管理です。盗まれれば、防ぐ仕組みを外して使われるおそれがあるからです。

結果は、モデルを出すかどうか、どの防御策を付けるかの判断に使います。会社は評価の手順と結果を「システムカード」などの文書で公表しています。

国の機関

日本のAISIは、IPAが2024年2月14日に設立を発表しました。安全性評価の調査と基準の検討、評価の手法の検討、英国や米国の同じ役割の機関との連携を業務に挙げています。

日本のAISIの主な公表物（2026年）

公表日	資料
2026年7月7日	AIセーフティに関する評価観点ガイド（第1.20版）
2026年7月23日	AIロボティクスに関するセーフティ評価観点ガイド
2026年10月6日	事業実証ワーキンググループのビジョンペーパー（第2.0版）

AISIのサイトでは、内閣府などの12府省庁と、IPA、情報通信研究機構、理化学研究所、国立情報学研究所、産業技術総合研究所の5機関が関係機関に並んでいます。

会社の評価の例

アンソロピックは、モデルの能力に応じて防御の段階を上げる「AI安全レベル（ASL）」という基準を持っています。2025年5月22日、Claude Opus 4の公開に合わせてASL-3を適用しました。Opus 4が上の段階を必要とする能力の水準を超えたとはまだ判断していないが、予防として先に適用したと説明しています。

ASL-3では、生物兵器などに関わる狭い範囲の情報を止める分類器を入れました。重みの盗難を防ぐ100を超える防御策も加え、外部へ出るデータの量の制限も始めました。

関連する用語

• レッドチーミング：攻撃する側の立場で、わざと悪用を試みて弱点を探す評価です。
• 評価ベンチマーク：決まった問題で点数を比べる試験です。安全性評価の一部にも使います。
• ハルシネーション：事実でない内容をもっともらしく答えることです。