モデルが分類タスクで0.94の信頼スコアを返す。多くのチームはそれを「94%確実」と読み取り、そのままルーティングする。その解釈は誤りであり、それに基づいて構築されたルーティングロジックは追跡困難な形で失敗する。
この記事では、信頼スコアが実際に何を表しているか、どこで破綻するか、そして本番環境で機能する閾値ロジックの設計方法を説明する。
信頼スコアが実際に表すもの
分類の文脈では、信頼スコアは通常softmax出力ベクトルの最大値だ。softmaxは生のlogitを合計が1.0になる分布に変換する。モデルはキャリブレーションされた確率を報告しているのではない。候補クラス間の相対的な優先度を報告している。
0.94というスコアは、そのクラスに他の選択肢と比べて94単位の重みを割り当てたことを意味する — 100回中94回正解するという意味ではない。
生成の文脈（テキストを生成する大規模言語モデル）では、「信頼度」はさらに間接的だ。多くの場合、トークンレベルのlog確率からシーケンス全体で平均・集約して導出される。誤ったトークンが学習分布において一貫して高確率だった場合、高い集約スコアと事実として誤った出力が共存しうる。
どちらのケースも同じ構造的問題を抱えている：スコアはモデル内部の確信度を測定するものであり、外部的な正確さを測定するものではない。
キャリブレーションのギャップ
キャリブレーションとは、モデルが示す信頼度と実際の精度の関係だ。100件の例に対して0.80と示す完全にキャリブレーションされたモデルは、そのうち約80件で正解するはずだ。
ほとんどの本番モデルはそのままでは適切にキャリブレーションされていない。過信傾向がある — スコアが示す以上に、誤った答えに高いスコアを割り当てる。
これにより非対称な障害モードが生まれる。2つの出力を考えてみよう：
- 出力A：信頼スコア0.61、正解
- 出力B：信頼スコア0.94、不正解
0.80の単純な閾値では出力Bを通過させ、出力Aを却下する。システムは誤った答えに基づいて動作し、正しい答えを捨てる。グラウンドトゥルースに戻るフィードバックループがなければ、このエラーは見えない。
高信頼度の誤答は低信頼度の正答よりも危険だ — レビューを回避するからだ。低信頼度の出力は人間によるレビューやフォールバックルーティングを引き起こす。高信頼度の誤った出力はそうならない — そのままダウンストリームのアクションに直行する。
アウトバウンド営業の文脈では、そのダウンストリームアクションは誤ったアカウントデータに基づいてプロスペクトにメッセージを送ることや、ディールを誤ったステージにルーティングすることかもしれない。コストはログエントリではない。失われた機会や損なわれた関係だ。
キャリブレーションのずれを考慮した閾値ロジックの設計
3つのパターンがうまく組み合わさる。3つすべてを使うこと。
1. バイナリ閾値の代わりにバケット化
単一の合否閾値を信頼度バンドに置き換える。
分類タスクのバンド例：
- 0.90–1.00：自動ルーティング、ただし定期的な監査サンプリングのためにログを記録
- 0.70–0.89：自動ルーティング、翌日のバッチレビューのためにフラグを立てる
- 0.50–0.69：アクション前に人間によるレビューのために保留
- 0.50未満：即座に却下またはエスカレーション
正確なカットオフはエラーコストによって異なる。偽陽性のコストが偽陰性より高い場合は、自動ルーティングバンドを狭める。バンドは直感ではなく、ラベル付きホールドアウトデータに対してキャリブレーションすること。
2. フォールバックルーティング
すべての分類パスには定義されたフォールバックが必要だ。モデルが自動ルーティング閾値をクリアできない場合、システムは未処理の状態ではなく、事前に指定された次のステップを持つべきだ。
優先順位順のフォールバックオプション：
- セカンダリモデルまたはルールベース分類器にルーティング
- コンテキストを添付して人間によるレビューのためにキュー
- 呼び出し元システムに構造化された「不確実」レスポンスを返す
フォールバックパスはプライマリパスと同様に厳密にテストすること。ほとんどの本番障害はハッピーパスではなく、フォールバック処理で発生する。
3. 必須の人間レビューバンド
平均精度に関わらず、自動ルーティングを絶対に行うべきでない信頼度範囲がある。これはパフォーマンス上の譲歩ではなく、システムの境界だ。
誤答のコストが特に大きい出力カテゴリを特定する：法的な文言、価格決定、アカウントレベルの戦略的推奨。それらのカテゴリには、高い信頼スコアでも上書きできない必須レビューバンドを設定する。
そのバンドを文書化する。システム仕様に記載する。ソフトなガイドラインではなく、ハードな制約として扱う。
フィードバックループを閉じる
フィードバックメカニズムなしにはこれは何も機能しない。信頼度バンドごとの実際の精度を時系列で測定できるよう、グラウンドトゥルースラベルがシステムに流れ戻る必要がある。
シンプルに始める：自動ルーティングされた出力の5%を毎週サンプリングし、手動でラベル付けし、精度を信頼スコアと比較する。0.90以上のバンドが78%の精度で動作しているなら、閾値はキャリブレーションがずれており、調整が必要だ。
これは一度限りのキャリブレーション作業ではない。入力分布が変化するにつれてモデルの挙動はドリフトする。フィードバックループは恒久的なインフラだ。
DK1.AIでは、閾値ロジックとレビューゲートの設計はAI Brand Presenceやアウトバウンドパイプライン製品の構築方法の一部だ。信頼スコアはルーティングの参考情報であり、判断の代替ではない。
モデルの出力が実際のアクションを駆動するシステムを構築または監査しているなら、キャリブレーションの問題は直接対話する価値がある。