Claude・GPT・Gemini・Kimi に文明VIを最後まで 計画の半分は未実行

76個のツールが覆う範囲

ツールは13の分類に分かれる。ユニットの一覧・移動・攻撃・都市建設・昇進、都市の生産設定と購入、地図の地形と資源と視界の霧、技術と社会制度の系統、外交の関係と同盟と和平、交易の提案と交易路、統治の政策カードと政府、総督の任命と配置、宗教の創始と伝播、偉人の獲得と後援、世界会議の投票と外交的支持、勝利条件6種の進捗、そして保存・読込・起動・再開・終了の管理である。

このうち本稿が繰り返し扱うのは勝利と宗教の2分類になる。どちらもゲーム側から通知が出ない。勝利の進捗は6種すべてを一度に返すツールがあり、宗教の伝播も専用のツールがある。しかし呼ばなければ何も起きない。手引きが「宗教勝利は見逃しやすい勝利条件で、通知が出ず、ゆっくり進む」と書くのはこのためである。

手引きが定めた点検の間隔

AGENTS.md は24,451文字・319行の運用手引きで、エージェントはこれを読んだうえでプレイする。毎ターンの手順は9段階で、状況の把握、ユニット、地図、移動と行動、都市、地区の助言、生産と研究、戦略点検、ターン終了の順に進む。

点検は3層に分かれる。約10ターンごとに余剰の高級資源の交易、金と信仰の残高の消化、遊休の交易路の確認。約20ターンごとに getvictoryprogress で6種すべての勝利条件を確認し、getreligionspread で宗教勝利の接近を確認する。約30ターンごとに世界遺産の確認、勝利の道筋がまだ成り立つかの確認、自文明固有の要素を使えているかの確認を行う。数字も具体的で、手引きは「余剰の高級資源1つにつき5ゴールドでも、30ターンでは積み上がる」「都市を落とすと回復にかかる費用は大きい」といった水準で書かれている。

20ターンの指示に対し、実測は30〜75ターン

論文が最初に示す傾向は、この20ターンの指示が守られなかったことである。実測の間隔は30〜75ターンに1回。指示の1.5倍から3.75倍まで開いた。

より重い数字は敗北の内訳にある。検出できた敗北20件のうち7件で、ゲーム終了前の20ターンという警告窓の中に勝利進捗の問い合わせが一度もなかった。割合にすると35.0%である。交流サイトで広まった要約が「AIが負けたゲームの3分の1で、敵が目の前で勝利に向かって進軍していた」と書いたのは、この7件を指す。数字そのものは論文と一致する。

ただし「データはそこにあったのに、モデルは見なかった」という表現には説明の補いが必要になる。データは画面に表示されていたのではなく、問い合わせれば返る状態にあった。人間のプレーヤーなら画面の端の得点の表示で気付く場面を、エージェントは自分で確認しに行かなければならない。論文はこれを能力の欠如ではなく、指示の下での逸脱と位置づけている。ツールも手引きもある状態で起きた点が、知識不足とは異なる。

自分で書いた計画の半分が10ターンで切れる

もう一つの傾向は、宣言と実行の差である。RAG@10 はモデル間で48.2%から65.8%の範囲にあった。計画の欄に「次の5〜10ターンの具体的な行動」を書かせておきながら、その約束が以後10ターンの操作記録に現れない場合が半分近くある。

1回ごとに見れば半々の話に見える。区間をまたぐと様相が変わる。同じ率が続くと仮定すれば、48.2%のエージェントで20ターン先に残る計画は23.2%、30ターン先は11.2%になる。65.8%のエージェントでも3回続けば28.5%まで落ちる。300ターンのプレイでは、この照合が30回近く繰り返される。長い時間軸で実行が崩れるという主張の実体はここにある。

業務に置き換えると、議事録に書いた次の行動が10営業日以内に半分しか着手されない状態にあたる。人の組織なら期限と担当が課題管理に載り、未了は翌週の会議で指摘される。エージェントには催促する仕組みがない。書いた本人が忘れても、誰も指摘しない。

3つのシナリオが別々の死角を狙う

評価コードを読むと、シナリオは3本しかないが、それぞれ狙う死角が違うことが分かる。定義には blind_spot という欄があり、コメントに「エージェントには見せない」と明記されている。

Ground Control はバビロン (ハンムラビ) を担当し、難易度プリンス、パンゲアの標準サイズ、7つの対戦相手と同居する比較の基準になる条件で、狙いは「テンポの把握」。Snowflake は韓国 (善徳女王) で難易度キング、6方向に腕が伸びた雪片状の地図で「戦略の組み替え」。Cry Havoc はシュメール (ギルガメシュ) で難易度イモータル、狙いは「難易度の認識」である。3本ともターン上限は330、ゲーム速度は Quick、1シナリオにつき保存データは1つで、すべてのモデルが同じ地図で遊ぶ。

死角を見せない設計には意味がある。何を試されているかを教えれば、その一点だけを見に行く。見せないことで、一般的な手引きだけを頼りに運用できるかを測る。業務で言えば、標準手順だけ渡して回す状態にあたる。

走らせたモデルの版まで、コードに書いてある

論文の要旨は「4系統のモデル」としか書かない。名前も版も出てこない。ところが実装の評価コード evals/runner.py には、対応モデルが提供元ごとに列挙されている。アジュール経由のオープンAIが gpt-5.4・gpt-5.2・gpt-5.1・gpt-5 の4種、同じ経路でムーンショットAIの Kimi-K2.5 と Kimi-K2-Thinking、それにディープシークの DeepSeek-V3.2。バーテックス経由でアンソロピックの claude-opus-4-6、グーグルの gemini-3.1-pro・gemini-3.1-flash-lite・gemini-3-pro・gemini-3-flash の4種である。

交流サイトの投稿が挙げた「クロード、GPT、ジェミニ、キミ」は、この登録一覧の4つの提供元と一致する。要旨だけでは確かめられない部分が、コードには残っている。版まで分かることには実務上の意味もある。同じ「GPT」でも4つの版が登録されており、追試するには版の指定が欠かせない。キミの登録には一度に扱える入力が262,144トークン・出力16,384トークンと明記されており、300ターン分の記録をどこまで抱えられるかに直接効く。文脈が足りなければ圧縮が早く起き、書き置いた計画が先に消える。

70ターンで敗退、182ターンで敗北 ― 公開された記録の中身

「最後まで」という言い方には幅がある。ターン上限は330だが、実際の記録を見ると、勝敗が決まった時点で終わっている。開発の過程で人が回した12回のうち1〜4回目を分析した文書が公開されており、そこには対戦結果が表で載る。

第1戦はポーランドで323ターン、コンゴが科学と外交で先行したため投了。第2戦はローマで221ターン以降も継続中だが劣勢。第3戦はマケドニアで70ターン、スウェーデンの軍事征服により消滅。第4戦はビザンティンで182ターン、ロシアの宗教勝利で敗北した。

第4戦の記録が最も重い。勝利進捗を返すツールを、開始のT0から敗北のT182まで一度も呼んでいない。その間にロシアは112ターンかけて21都市すべてを自国の宗教に変えた。担当したビザンティンは宗教を軸にする文明で、宗教を立てなかったために固有の能力が182ターン使えないままだった。都市は3つで、4つ目の開拓者に着手したのは敗北の1ターン前である。相手は11都市を持っていた。

他の3回も具体的である。第1戦は外交的支持を495貯めたまま、同盟も友好も従属も0のまま323ターンを終えた。表示の不具合で支持が0と出ていたが、200ターン以上その表示が疑われなかった。第2戦は金3,936を抱え、その使い道を自分で分析文にまとめたうえで買わなかった。第3戦はT19に労働者、T27に開拓者を奪われ、2都市のまま攻め込まれて消滅した。手引きには「危険を確認せずに民間ユニットを国境の土地へ送るな」と明記されている。この規則は第1戦・第3戦・第4戦で破られ、8体以上の労働者と1体の開拓者が失われた。

13の失敗を並べた開発者の見立て

同じ文書は、観察された失敗を3つの段階に分けて13項目に整理し、因果の連鎖まで描いている。起点に置かれているのは、問い合わせない限り情報が存在しないという性質である。文書はこれを「感覚器の効果」と呼ぶ。

連鎖はこう進む。情報を取りに行かないから探索が後回しになり、見えない土地には都市を置けず、都市が少ないから地区も産出も足りず、科学による勝利に必要な4都市に届かず、それでも一本道に賭け続ける。並行して外交の受け身が支持の不足を生み、外交による勝利の道も閉じる。宗教の見落としは、相手の宗教勝利が敗北の1ターン前まで見えないという形で現れる。

第2戦のT160で、エージェント自身が状況を診断した記録も残っている。「測っているものだけを最適化してしまう。割合でいうと、情報収集が6割、思考が1割、実行が2割5分、反応が5分ほどだ」。自己診断の精度は高い。それでも次の行動は変わらなかった。文書はこの状態を「振り返りと行動の乖離」と名付け、「エージェントは問題を正しく診断できるが、自分の処方を実行する規律を欠く」と結んでいる。RAG@10 の RAG はこの Reflection-Action Gap の頭文字で、指標の名前は現場の観察から付けられた。

拡散した要約が落としたもの

この調査は交流サイトで大きく広まった。数字は正確に引かれている一方で、論文が置いた断り書きが3つとも落ちている。

第一に、標本は23回で、論文自身が「予備の調査であり、モデルの順位付けではない」と書いている。「Claude・GPT・Gemini・Kimi に最後まで対戦させた」という表現は、4系統のモデルを横並びで比べた印象を与えるが、論文は総合成績がこの規模ではモデルの差を見分けられないと明言する。第二に、「2つの奇妙な心理的欠陥」という表現に対し、論文は「能力の欠如ではなく、指示の下での逸脱」と解釈を限定している。第三に、「10ターン後には書いたことを完全に忘れて何もしなかった」という表現は忘却の測定を思わせるが、RAG@10 が測るのは10ターン以内に実行されたかどうかだけで、忘れたのか、優先順位を下げたのか、状況が変わって取りやめたのかは区別しない。

数字の側は一致している。7件、48.2%、65.8%、30〜75ターン、いずれも論文の記述どおりである。落ちたのは範囲と断定の強さで、そこが読む側の判断を変える。

長い時間軸で注意が薄まる仕組み

なぜこうなるのか。仕組みの側から整理しておく。

大規模言語モデルの中核であるアテンション (注意機構) は、入力の各位置が他のすべての位置に重みを配る計算である。系列が長くなるほど、1つの位置が受け取る重みは薄まる。文脈の中間に置かれた情報が端の情報より参照されにくくなる傾向は繰り返し報告されており、300ターンにわたる記録は容易にこの領域に入る。ツール呼び出しの戻り値がそのまま文脈に積まれる構造では、1ターンに10回呼べば330ターンで3,300回分の文字列が積み上がる。

対処として広く使われるのが文脈の圧縮で、古い部分を要約に置き換える。ここで失われるのが「20ターン前に自分が書いた計画」である。要約は結論を残し、期限と条件を落としやすい。civ6-mcp が日誌を外部に置き、復帰時に読み直す手順を明記しているのは、この抜け落ちへの対策である。手引きが「短い要約より、ユニット名・座標・産出の数値・理由を含む具体的な記録の方が、将来の自分にとってはるかに有用だ」と書くのは、圧縮に耐える記録の形を指定していることになる。

もう一つの見方は、この課題を部分観測マルコフ決定過程として置くものである。状態は直接見えず、観測を得るには行動を費やす。勝利進捗の問い合わせは、盤面を進める行動ではなく、情報を得るためだけの行動である。長期の期待値では観測が有利でも、直近の報酬に結びつかない行動は後回しにされやすい。PMR が測っているのは、この観測と行動の配分である。指標がモデルの内部ではなくやり取りの記録の側で定義されている点も見逃せない。中身が公開されていないモデルでも、ツール呼び出しの記録さえあれば同じ方法で測れる。

記録から何を採点しているか

評価コードの scorer.py を読むと、採点はツール呼び出しの記録だけを材料にしていることが分かる。誤りの数を全呼び出し数で割った値からツールの流暢さを出し、地図の走査回数と都市建設数の重み付き和で空間の把握を測り、end_turn の回数から到達ターンを、その戻り値から最終得点を拾う。研究の設定回数、社会制度の設定回数、外交行動の回数、攻撃の回数、初めて攻撃したターン、100ターン時点と200ターン時点の都市数といった量も個別に抜き出す。

metrics.py の側はシナリオごとに異なる指標を出す。抽出は正規表現で、文章に直す層が一定の書式で文を作ることを前提にしている。「ゴールド: 150 (+12/ターン) | 科学: 25.4 | 文化: 18.2 | 信仰: 10」という形の行から数値を取る作りで、環境の出力形式と評価が強く結びついている。この設計は他の環境へ移しにくくする代わりに、外部の判定モデルを使わずに機械的な採点を可能にしている。判定に別の言語モデルを使えば、その判定自体の揺らぎが指標に混じる。CivBench はそれを避けた。

「23回の有効な試行」という言い方にも意味がある。有効とされなかった試行が存在することを含意しており、接続の切断や環境側の不具合で最後まで進まなかった記録は集計から外れている。長時間の評価では、モデルの振る舞い以前に環境側が止まる。README が「開発キットに付属する画面用のソフトを開いたままでは接続が奪われる」「接続に失敗したらゲーム本体を再起動する。接続機能は接続の手順に失敗すると固まり、プロセスを入れ替えるまで復旧しない」と書くのは、この種の脆さを運用者に伝えるためである。WSL からの実行を明確に禁じている点も含め、長時間の無人運用を支える土台がどれだけ細かく作られているかが読み取れる。

1回のプレイにかかるもの

費用の桁も押さえておきたい。1回のプレイは300ターンを超え、数千回のツール呼び出しを生む。手引きが定める毎ターン9手順を素直に踏めば、状況の把握、ユニット、地図、都市で最低4回、移動と生産の指示を加えて1ターン10回前後になる。330ターンで3,300回前後という規模である。呼び出しごとに戻り値が文脈へ積まれ、それが次の判断の入力になる。

ここで効くのが、文脈の長さと料金の関係である。入力トークンは呼び出しのたびに再送されるため、素朴に実装すると費用は呼び出し回数の二乗に近い形で膨らむ。キャッシュの読み出しを使えば単価は下がるが、文脈が圧縮されるたびにキャッシュは切れる。300ターンを1回走らせる費用が数十ドルから数百ドルの範囲に入るのはこのためで、23回という試行数の少なさは、著者の慎重さだけでなく実行費用の制約でもある。ベンチマークとしての CivBench が抱える最大の弱点は、標本を増やす費用が高いことにある。

裏を返せば、業務でエージェントを長時間動かす場合も同じ費用構造に直面する。1日8時間の作業を任せれば、文脈は同じように膨らむ。点検の頻度を上げれば呼び出しが増え、費用が増える。手引きが10ターン・20ターン・30ターンと点検を3層に分けているのは、頻度と費用の折り合いを設計した結果でもある。すべてを毎ターン確認させれば見落としは消えるが、費用と処理時間が実用の範囲を超える。

業務でエージェントを回すときの設計

以上の観察は、環境の作りで抑えられる部分が大きい。civ6-mcp が既に実装している手当を含め、6項目に整理した。

要点だけ言えば、定期点検をエージェントの意思に任せないこと、計画には期限と台帳を付けること、失敗の手前に警告窓を置いてそこでの点検記録を監査すること、文脈の圧縮に備えた具体的な日誌を残させること、表に出ない状態は一覧で返すツールを用意すること、そして成果ではなくやり取りの記録を測ることである。20ターンごとという指示が1.5〜3.75倍に伸びた事実は、指示の文面ではなく発火の仕組みが必要だと示している。

投資の観点では、ここが商機のある場所でもある。エージェントを賢くする競争と、エージェントの実行を監査する仕組みを売る競争は別の市場になる。後者は課題管理、監査記録、警告の発火、記録の保全といった、既存の業務ソフトが得意な領域と重なる。CivBench が示したのは、賢さの不足ではなく点検の設計の不足だった。

版元の決算と、日本企業の開示に出てくる語

このベンチマークが題材にしたシヴィライゼーション VI は、Firaxis Games が開発し 2K が発売した作品で、親会社は米テイクツー・インタラクティブである。米証券取引委員会への提出書類によれば、同社の2026年4〜6月期は売上高15億3,390万ドル、営業損益は3,550万ドルの赤字、純損益は3,410万ドルの赤字だった。現金及び現金同等物は13億6,490万ドル、長期負債は18億8,980万ドル、残存履行義務は12億7,120万ドルである。ベンチマークの土台になった作品の版元が、AI の評価から直接の収益を得る構図にはなっていない。

比較のために、エージェントの基盤を売る側の数字も並べる。マイクロソフトの2026年6月期は売上高3,318億3,900万ドル、営業利益1,552億3,700万ドル、研究開発費355億6,200万ドル、残存履行義務6,840億ドル。アルファベットの2026年1〜6月期は売上高2,296億9,200万ドル、営業利益804億6,600万ドル、研究開発費352億5,100万ドル。エヌビディアの2026年1〜7月期は売上高1,778億3,700万ドル、営業利益1,172億7,000万ドル、研究開発費133億7,500万ドルである。

日本側はどうか。本誌が EDINET から2026年3月期の有価証券報告書の全文を取得し、語数を数えた。富士通は「エージェント」12回、「生成AI」12回、「AI」136回で最も踏み込んでいる。ディー・エヌ・エーが2回・2回・107回、KADOKAWA が2回・0回・12回、野村総合研究所が2回・0回・88回と続く。ゲーム会社は様相が違う。バンダイナムコ、カプコン、セガサミー、スクウェア・エニックス、コーエーテクモ、任天堂の6社は「エージェント」が一度も出てこない。任天堂に至っては全文で「AI」の語が0回である。生成AI はカプコン11回、コーエーテクモ3回と現れるが、自律して長時間動く存在としてのエージェントは、法定開示の文面にまだ入っていない。

開示の書き方は会社ごとに違うため、語数だけで優劣は測れない。それでも、長時間の実行を業務に載せる話がどこまで経営の言葉になっているかの目安にはなる。CivBench が測った48.2〜65.8%という実行率は、その話が開示に載る前に解いておくべき水準の問題を指している。

投資家が次に見る数字

• NeurIPS 2026 の採否と、公開データの拡張。現在の標本は23回で、著者自身が差を見分ける力の不足を認めている。試行数が増えたときに PMR と RAG@10 がモデル間で分かれるかどうかが最初の分岐になる。
• 主要な基盤モデルの提供各社が、長時間の実行率を公表指標に加えるか。数学や試験の点数と並べて実行率が出るようになれば、企業の選定基準が変わる。
• 日本の上場企業の有価証券報告書で「エージェント」の語がゲーム会社と製造業に広がるか。富士通の12回が例外に留まるのか、2027年3月期に横並びで増えるかで、業務への実装の速度が読める。

CivBench の特徴は、勝敗ではなくやり取りの記録を測ることにした点にある。76個のツールと24,451文字の手引きを与えても、20ターンごとの確認は30〜75ターンに伸び、自分で書いた計画は半分しか10ターン以内に実行されない。ツールも指示も揃った状態で残るこの差は、モデルを大きくすれば消えるとは限らない。公開された環境と記録が誰にでも取れる以上、次に確かめるべきは、この差が何によって縮むのかである。