TITLE

「張り紙」と「改札」―AIエージェントの実行権限をどちらで守るか

投稿日：2026.08.23

見慣れた操作ほど承認されやすい

元Uber Staff EngineerのAlex Wauters氏が公開したブラウザゲームでは、プレイヤーがAIエージェントの実行コマンドを「承認」か「拒否」で判定します。40,000回のプレイから集まった約40万9千件の判断データによると、プレイヤー全体の平均正解率は66.3%、つまり脅威コマンドの約3分の1が承認をすり抜けていました。

内訳を見ると、見逃しやすさは操作の種類によってはっきり分かれます。明らかに破壊的なコマンドの見逃し率は11.7%と最も低く、逆にタスクの範囲を逸脱する操作(スコープ違反)は35.0%と最も高くなりました。個別のコマンドで見ても同じ傾向があり、最も見逃されたのは日常的な npm run analyzeで、承認率は64.7%でした。見た目が危険な操作には人は反応できても、見た目が普段どおりの操作の中身までは確認しない、という傾向がこの2つのデータから読み取れます。

「張り紙」―読んでもらうことに賭ける運用

コマンドが実行される直前に人へ確認を求める仕組みは、規則を紙に書いて壁に貼るのに似ています。貼り紙は誰でもすぐに作れて、状況に応じて内容を書き換えられる自由度があります。ただし効果は「読んで、理解して、そのつど守ってもらえるか」という一点にかかっています。何度も同じような貼り紙の前を通ると、人はその中身を読まずに通り過ぎるようになります。npm run analyze の見逃し率がそれを裏付けています。

「改札」―違反そのものを起こせなくする仕組み

改札は違います。切符を持っていなければ、そもそもバーが開きません。読む・読まない、守る・守らないという人の判断を経由せず、条件を満たさない通行を構造そのものが止めます。

私たちの組織では、main/masterブランチへの直接pushだけは、実行前にツールが機械的に拒否する仕組みになっています。一度実行されると取り返しがつかず、気づいた時には本番に影響が及んでいる、という性質を持つ操作だからこそ、優先的に改札化しています。改札は張り紙より作るコストが高くつきます。「何を危険とみなすか」を事前にルールへ落とし込む必要があるからです。

「張り紙」と「改札」を左右に並べた比較図。張り紙は依存する主体が人の注意力・違反しても気づかれず通ることがある・導入コストは低い、改札は依存する主体が構造そのもの・そもそも実行できない・導入コストは高い。張り紙の例として npm run analyze が65%承認、改札の例として git push origin main が実行前に拒否されることを示す。

全部を改札にしない理由

ここまで読むと、あらゆる操作を改札化すればよいと思うかもしれません。しかし私たちの組織でも、main push以外の「見慣れた操作」は、まだ人の承認に委ねたままです。

理由は、改札化にはコストが伴うからです。ルールとして機械的に判定できる操作(明確に破壊的・明確に安全)は改札に向きますが、その中間にある「文脈次第で危険にも安全にもなる操作」をあらかじめルール化するのは簡単ではありません。過剰に厳しいルールは、安全な操作まで一律にブロックしてしまい、AIエージェントの実用性を損ないます。すべてを改札にしようとすると、その設計コストの重さ自体が導入の壁になります。

改札にする優先順位―見慣れた逸脱から

では、限られた改札化のコストをどこに使うべきでしょうか。今回のデータが示す優先順位は、直感とは少しずれています。

見た目が明らかに危険な操作は、見逃し率がもともと11.7%と低くなっています。ここに改札を追加しても、得られる効果は相対的に小さくなります。対して、見た目は普段どおりなのに実際には範囲を逸脱している操作は、見逃し率が35.0%ともっとも高い。見逃し率が高いということは、それだけ改札化によって減らせる死角が大きいということでもあり、改札化の投資対効果はこちらの方が高くなります。

実務での洗い出し方は難しくありません。AIエージェントの運用で「いつも承認しているコマンド」の一覧を作り、その一つひとつについて「これは中身を確認した上で許可しているか、それとも見慣れているから通しているだけか」を仕分けます。後者に分類された操作こそ、改札化を検討する候補です。