AIモデルの性能比較をどう読むか　対戦型の順位で上位4社は25点差、よく使う試験の問題の最大42%に不備

新しいAIモデルが出るたびに、各社は「この試験で最高点」と発表します。しかし、点の差が実際の使い勝手の差を表すとは限りません。スタンフォード大学の人間中心AI研究所（HAI）が2026年4月13日に出した年次報告「AI Index 2026」の数字を手がかりに、比べ方の仕組みと読み方の注意点をまとめます。

2つの比べ方

1つ目はベンチマークです。数学、プログラミング、専門知識などの決まった問題を解かせ、正答率で比べます。問題が固定されているので、同じ条件で何度でも測れます。

2つ目は対戦型の評価です。利用者が同じ質問を2つの匿名のモデルに投げ、良い方に投票します。チェスなどで使う「イロレーティング」の考え方で点を付けます。点が高いほど、人に好まれる答えを出したことを意味します。

対戦型の順位の各社の首位モデルの点（2026年3月）

会社	点
アンソロピック	1,503
xAI	1,495
グーグル	1,494
OpenAI	1,481
アリババ	1,449
DeepSeek	1,424
メタ	1,335

出典：スタンフォード大学HAI「AI Index 2026」技術性能の章

差は小さくなった

AI Indexによると、上位4社の差は25点以内です。米国の首位のモデル（1,503点）と中国の首位のモデル（1,464点）の差は2.7%でした。2025年2月には、中国のDeepSeek-R1が一時的に米国の首位に並んでいます。

重みを公開しない「非公開」のモデルと、重みを公開する「公開」のモデルの差は、2024年8月の0.5%から、2026年3月に3.3%に広がりました。首位の公開モデルは1,454点です。上位10モデルのうち6つが非公開のモデルです。

税務、住宅ローン、企業の財務、法務などの専門の試験でも、上位15モデルの差はそれぞれ3点以内に収まりました。

数字を読む時の3つの注意

1つ目は、問題そのものの誤りです。AI Indexが引いた調査では、9つの代表的なベンチマークで、不備のある問題の割合がMMLUの数学とOpenBookQAで2%、小学生向けの算数の文章題GSM8Kで42%でした。不備の多い試験では、上位の点の小さな差を性能の差と読むのは難しくなります。

2つ目は飽和です。報告は、何年も難しいままでいるよう作られた試験が、数カ月で解かれてしまう例が続いていると指摘しています。「Humanity's Last Exam」では、1年で最前線のモデルの点が30ポイント上がりました。パソコンの操作をさせる試験「OSWorld」では、2025年に正答率が約12%から66.3%に上がり、人の72.35%に近づきました。

3つ目は、対戦型の評価への最適化です。報告は、対戦型の順位が、一般的な能力より、その場の採点のされ方に合わせた結果を一部含んでいる可能性に触れています。

開示の量も減っています。モデルの情報の公開の度合いを測る指標の平均は、前年の58点から40点に下がりました。報告は、最も性能の高いモデルほど情報を出していないとしています。

苦手な分野もはっきり

高い点の陰で、苦手な分野も数字に表れています。アナログ時計を読む試験では、首位のモデルが50.6%で、人は90%台でした。ロボットが家庭の実際の家事に成功したのは12%でした。

今後の注目点

• AI Indexは毎年春に公表されます。次の「AI Index 2027」で、米中と公開・非公開の差がどう動くか。
• パソコン操作の試験OSWorldで、AIが人の72.35%を上回るかどうか。