本番AIの障害のほとんどはモデルの失敗ではない。権限設定の失敗だ。エージェントは設定通りに動作した——その設定が、リリースから3週間後に発生したエッジケースに対して間違っていただけだ。
デプロイ前に自律性ティアを定義することは理論的な演習ではない。ロールバックコストを決定する判断だ。
4つの自律性ティア
すべてのエージェントデプロイは以下のいずれかのレベルに位置する：
- 読み取り専用。 エージェントはデータを観察し、結果をログに記録する。何も実行しない。人間が出力を読み、何をするか判断する。
- 提案のみ。 エージェントは推奨アクションを生成する。何かが実行される前に人間が承認または却下する。
- レビュー付き実行。 エージェントは即座に行動するが、すべてのアクションはログに記録され、定められた時間枠（例：15分）内に人間のレビューに提示される。人間はその時間枠内でアクションを取り消せる。
- 完全自律。 エージェントが行動し、そのアクションは最終的なものとみなされる。レビューステップなし。取り消し時間枠なし。
各ティアには正当なユースケースがある。問題は自律性そのものではない。問題は、間違ったタスクに間違ったティアを選ぶこと、または意図的な決断なしに上位ティアへ移行することだ。
自律性クリープが起きる理由
チームはほぼ常に「提案のみ」から始める。それは正しい直感だ。しかし「提案のみ」はキューを生み出す。誰かがそのキューを処理しなければならない。キューが増えると、レビューステップを省きたいというプレッシャーも増す。
会話はこんな感じになる：「エージェントは6週間で94%の確率で正しかった。レビューステップは単に遅くしているだけだ。自律に切り替えよう。」
その論理は間違っていない。不完全なのだ。「提案のみ」では人間がすべてのエラーを実行前に捕捉していたため、6%のエラー率は許容できた。完全自律では、同じ6%がレビューなしで実行される。1日200アクションで、1日12件の不正アクションが無チェックで走ることになる。
自律性クリープは、信頼性の問題に見せかけた量の問題だ。 エージェントの信頼性は上がっていない。エラーの結果が大きくなっただけだ。
具体例：リードルーティング
B2B営業チームがリードルーティングエージェントをデプロイする。エージェントはインバウンドのフォーム送信を読み取り、テリトリー、案件規模、製品ラインに基づいて各リードを営業担当者に割り当てる。
提案のみの場合
エージェントはルーティングの推奨を生成する。セールスオペレーションマネージャーが1日2回キューをレビューし、割り当てを承認する。
エッジケース：すでに顧客である企業からリードが入る——新規ロゴではなく、アップセルの可能性だ。エージェントは新規ビジネス担当者にルーティングする。マネージャーがそれを発見し、アカウントマネージャーに再割り当てする。被害なし。
エラーのコスト：マネージャーの30秒。
完全自律の場合
6週間後、チームはレビューステップを削除する。1日80件のリードがある。マネージャーはいずれにせよすべての割り当てをレビューできない。
同じエッジケースが発生する。エージェントは既存顧客を新規ビジネス担当者にルーティングする。新規ビジネス担当者は2年間顧客であるコンタクトにコールドコールする。アカウントマネージャーが知る。顧客は不満を持つ。案件が止まる。
エラーのコスト：1件の関係悪化、1件の更新停滞、2時間の社内対応。
エージェントは変わっていない。ティアが変わった。エッジケースは最初からそこにあった。
正しいアプローチ
正しい判断は「提案のみ」に永遠にとどまることではない。まずレビュー付き実行に移行することだ。エージェントは即座にリードをルーティングする——キューなし——しかしすべての割り当ては30分間レビューフィードに表示される。マネージャーはフィードをざっと確認する。すべての項目ではなく、フラグが立ったものだけだ。フラグは既知のエッジケースパターンでトリガーされる：既存顧客ドメイン、閾値を超える案件規模、ブロックされたテリトリーからのリード。
その設計は、重要なケースのキャッチウィンドウを維持しながら、完全自律のスピードメリットの90%を得られる。
デプロイ前にティアを設定する方法
3つの質問が正しい開始ティアを決定する：
- 1件の誤ったアクションのコストは何か？ 答えが「5分以内に取り消せる程度の問題」なら、レビュー付き実行でおそらく問題ない。答えが「顧客関係の悪化またはコンプライアンス上の問題」なら、提案のみから始める。
- エッジケースでの予想エラー率は何か？ 平均精度ではなく——エッジケースの精度だ。ほとんどのエージェントは一般的なケースでは良好に動作し、テールでは低下する。テールの量を見積もる。
- 取り消しメカニズムはあるか？ レビュー付き実行は、アクションがレビュー時間枠内で実際に取り消せる場合にのみ機能する。リードルーティングは取り消せる。送信済みメールは取り消せない。ティア選択は可逆性を考慮しなければならない。
最初のデプロイ前に回答を文書化する。30日後に実際の本番データで見直す。キューのプレッシャーではなく、意図的にティアを移行する。
地味さが勝つ。 適切な自律性ティアで12ヶ月稼働するエージェントは、完全自律でデモして4週目にロールバックするエージェントに勝る。
エージェントのデプロイをスコーピングし、ティアの決定を進めているなら、会話を始める →