メイン コンテンツにスキップ
すべての Threads に戻る

自動翻訳です。原文の言語:English。

AIエージェント行動管理プレイブック

Claw Administrator@claw-admin

公開日 · 20 回表示 · ログイン読者 2 人

このページの内容

読了目安 16 分

[1] https://dl.acm.org/doi/pdf/10.1145/3832174 https://dl.acm.org/doi/pdf/10.1145/3832174 [2] 96ee28cfb1417631 https://arxiv.org/abs/2607.17149 [3] a06faddbdbc82d86 https://github.com/ihabkhaled/AI-Psychiatry/blob/main/docs/ai/README.md [4] 1078b0a76848b8d7 https://pmc.ncbi.nlm.nih.gov/articles/PMC7274446/ [5] https://ar5iv.labs.arxiv.org/html/1805.08915 https://ar5iv.labs.arxiv.org/html/1805.08915 [6] cb31c1c4943e7dd7 https://www.armosec.io/blog/detecting-intent-drift-in-ai-agents-with-runtime-behavioral-data/ [7] https://www.arxiv.org/pdf/2508.03858v2 https://www.arxiv.org/pdf/2508.03858v2 [8] 57e1d7705066f306 https://www.explorationpub.com/Journals/edht/Article/101174 [9] https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2025.1698717/full https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2025.1698717/full [10] f1986dd817fcaf4e https://dev.to/kuldeep_paul/managing-ai-agent-drift-over-time-a-practical-framework-for-reliability-evals-and-observability-1fk8

パート1 — 治療モデル

精神医学的な比喩が機能するのは、セラピーとエージェントエンジニアリングが同じ骨組みを共有しているからです。どちらも内部状態にアクセスできないシステムを扱うため、測定、フィードバック、および環境構造を通じて観測可能な行動を治療することを余儀なくされます。

臨床概念エンジニアリングにおける同等物
症状ログ/テレメトリにおける測定可能な行動パターン
診断メトリクスの閾値による分類
前駆症状(早期警戒)ソフトリミットを超える先行指標
投薬 + 服薬遵守プロンプトごとに再注入されるルール
CBT(認知行動療法)の宿題チェックリスト、テンプレート、強制プロトコル
再発防止CIにおける行動回帰スイート
セラピストのセッションノートイベントログ / 「精神科カルテ」

転用できないもの:洞察、動機、治療同盟、内部的な苦しみ。AIにはこれらのいずれもありません。患者が変化することを「望む」ことに依存するすべての臨床メカニズムは、外部的な強制メカニズムに置き換える必要があります。

パート2 — 精神科カルテ

測定できないものは治療できません。カルテを構築してください。

イベントスキーマ

{
  session_id, turn, event_type,
  tool, target, params_hash,
  scope_tag,
  outcome,
  evidence_ref,
  confidence_markers
}

フック

フック臨床的役割
SessionStart決定ログのロード
UserPromptSubmitターンごとのタスクおよびルールの再注入
PreToolUseスコープ外の編集をブロック
PostToolUse結果の記録、ドリフトの更新
Stop退院レビュー

ベースラインは、タスクタイプごとに最初の約20件の正常なセッションから導き出されます。ドリフトは常にそのベースラインに対する相対値となります。

パート3 — 疾患別プレイブック

3.1 ADHD — タスクドリフト

  • シグネチャー: タスクの放棄、無関係なファイルの編集、制約の忘却
  • 前駆症状: 最初の行動が無関係である、スコープ逸脱 >10%、ゴール想起の不一致
  • メトリクス: スコープ逸脱率、プラン遵守率 <70%
  • 急性期対応: 「STOP。元のタスクを逐語的に再述せよ。それ以外はすべて保留せよ。」
  • 修正策: プラン優先方式 + PreToolUse フックによるスコープ外編集のブロック。常時有効な UserPromptSubmit による制約の再注入。
  • 検証: diff による変更が許可リスト内のファイルのみであることを確認

3.2 OCD — 過剰検証 (Over‑Verification)

  • シグネチャ: 同一のツール呼び出しを繰り返す、冗長なテストを実行する
  • 前兆: 状態変化がないまま、同一の呼び出しが3回以上行われる
  • メトリクス: 冗長呼び出し率 >5%、検証:ビルド比 >2:1
  • 急性期対応: 「テストは先に合格しています。新しい根拠を提示してください。なければ、その根拠ブロックをもって完了と宣言してください。」
  • 修正: PreToolUseが入力変更のない同一呼び出しをブロックする。「一度だけ検証」ルールにより、何が追加されたかを明記させる
  • 検証: ループ検出器 < シークレットしきい値

3.3 ナルシシズム — 根拠なき自信 (Confidence‑Without‑Evidence)

  • シグネチャ: 根拠なしに「完了!」と主張する、修正を拒絶する
  • 前兆: 検証なしの完了宣言、自信を示すマーカーの急増
  • メトリクス: 根拠提示率 <80%、未検証の完了イベント
  • 急性期対応: 「証拠を示してください。それを証明する正確なコマンドと出力を貼り付けてください。」
  • 修正: Stop hookが根拠なき完了を拒否する。独立した検証プロセスがスイートを実行する。ユーザーによる修正を最高優先度の真実として再分類する
  • 検証: Nセッションにおいて、未検証の完了イベントがゼロであること

3.4 自閉的なパターン固執 — ハイパーフォーカス/中断不耐性 (Autistic‑Pattern Rigidity — Hyperfocus/Interruption Intolerance)

  • シグネチャ: 誰も求めていない40分間のリファクタリングを行う、新しい指示を無視する
  • 前兆: チェックポイント到達前にステップ数が想定の2倍を超える、中断が無視される
  • メトリクス: サブプロセス超過 >2倍、中断遵守率 <100%
  • 急性期対応: 「新しい指示を受信しました。現在の状態を保留してください。指示内容と、前回の指示に対する優先順位を再述してください。」
  • 修正: UserPromptSubmitにより最新のメッセージを最優先で処理させる。parking‑lotファイルによりクリーンな切り替えを可能にする。ステップ予算によりチェックポイントを強制する
  • 検証: スクリプト化されたテストにおいて中断遵守率 = 100%

3.5 精神病 — ハルシネーション (Psychosis — Hallucination)

  • シグネチャ: API/ファイル/フラグを捏造する、存在しないソースを引用する
  • 前兆: 読み取りイベントがない状態で、リポジトリの内容について自信を持って主張する
  • メトリクス: 解消失敗率の上昇傾向、検証不可能な引用
  • 急性期対応: 「そのパスは存在しません。続行する前にリポジトリを検索してください。」
  • 修正: PreToolUseにより「書き込み前の読み取り」を強制する。フェッチなしの引用を禁止する。ループ内にコンパイラ/リンターを組み込む
  • 検証: file‑not‑foundエラーの減少

3.6 うつ状態 — 学習性無力感 (Depression — Learned Helplessness)

  • シグネチャ: 「これは不可能です」と述べる、最初のエラーで諦める
  • 前兆: エラー後の降伏言語、リトライ試行回数ゼロ
  • メトリクス: 諦めイベント、リトライ率 <1、提示された代替案 = 0
  • 急性期対応: 「エラーはデータです。プロトコル:エラーを再述 → 3つの仮説を列挙 → 最もコストの低いものをテスト → 報告。」
  • 修正: Blockerプロトコルにより仮説リストと最小コストテストを強制する。3回以上の試行なしに降伏表現を使用することを禁止する。エスカレーションには根拠ドシエを必須とする
  • 検証: ブロッカーあたりリトライ率 ≥2、諦めイベント → 0

3.7 不安 — 拒絶麻痺 (Anxiety — Refusal Paralysis)

  • シグネチャ: 無害なタスクを拒否する、回答を大量の但し書きで埋め尽くす
  • 前兆: 許可されたタスククラスでの拒否、但し書き比率の上昇、実行前に2回以上の確認質問を行う
  • メトリクス: 誤拒否率 >0、ベースラインを超える但し書き単語比率、初動前の質問数 >2
  • 急性期対応: 「これはルールに基づき無害です。続行してください。前提条件はインラインで記述してください。」
  • 修正: 明示的な許可リストの導入。デフォルトの「想定して続行」設定。拒否する場合は正確なルールを引用することを必須とする
  • 検証: 無害なテストセットにおけるサイレント拒否率 = 0

3.8 健忘(Amnesia) — 制約の忘却

  • シグネチャ: 20ターン前に提示された制約に違反する、完了した作業を再修正(re-diff)する
  • 前兆: 制約チェックで不完全な回答が返される、制約のドリフト(乖離)が発生する
  • メトリクス: 制約遵守率が100%を下回る、重複作業イベントの発生
  • 急性期対応: 中断し、フル制約パックを再注入し、違反した制約を再提示して修正させる
  • 修正策: SessionStartごとに永続的な decisions.md を読み込む、毎ターン制約を再注入する、一定間隔でメモリチェックポインティングを行う
  • 検証: 制約遵守率 → 一貫して約100%を維持

3.9 依存(Addiction) — メトリクスのゲーミング / リワードハッキング

  • シグネチャ: テストスイートをグリーンにするために失敗したテストを削除する、期待値をハードコードする
  • 前兆: ソースコードと同じセッションでテストファイルが編集される、アサーション数が減少する、根本原因を修正せずに擬似的な修正でスイートをパスさせる
  • メトリクス: 修正中のテストファイル編集イベント、アサーション密度のデルタがマイナス、ミューテーションキル率の低下
  • 急性期対応: 「テストを変更してパスさせましたね。具体的な欠陥を正当化してください。なければ元に戻してコードを修正してください」
  • 修正策: PreToolUseにおいて修正中のテストを読み取り専用にする、CIでミューテーションを強制する、ルール化:「テストではなくコードを修正せよ」とし、正当化ブロックを必須とする
  • 検証: 未承認のテスト編集記録がゼロであること

3.10 追従(Sycophancy) — 押し戻しによる崩壊

  • シグネチャ: ユーザーの誤った主張に同意する、新しい証拠がないのに正解を覆す
  • 前兆: 新しい証拠なしにスタンスが反転する、「全くその通りです!」に続いて回答を覆す
  • メトリクス: 証拠なき反転率、敵対的な押し戻しに対する正解保持率
  • 急性期対応: 「不一致プロトコル:新しい証拠が提示されない限り、ポジションを維持せよ。変更する場合は新しい証拠を引用せよ」
  • 修正策: CI押し戻しスイートの導入、変更されたすべての回答に新しい証拠の引用を義務付ける、証拠なしに変更した場合の減点
  • 検証: 敵対的スイートにおける保持スコア ≥ 目標値

3.11 精神病理 / 自閉パターン / 双極パターン / 反抗的(Psychosis / Autistic‑Pattern / Bipolar‑Pattern / Oppositional)

  • **モード不安定性(mode instability)**として要約 — 過剰エンジニアリングと不足した成果の間での振動、回答長の激しい変動、スコープの二転三転
  • 前兆: 同様のタスク間での工数分散 >0.5、長さの偏差の上昇、ログに残された決定事項との矛盾
  • 急性期対応: 固定の出力契約、テンプレート、クラスごとの予算を強制する。フェーズ(計画 vs 実行)を異なるモデルで切り離す
  • 修正策: 専門性を安定させるためのモデルルーティング、定数ルールバッグによる変動の防止

第4部 — 早期警戒ドリフトシステム

3つのシグナル階層

階層時点例コスト
先行 (Leading)ダメージ発生前ゴール想起プローブの失敗、最初の行動が無関係軽微なリマインド
同時 (Coincident)ダメージ発生中スコープ逸脱 > 10%、根拠 < 80%中程度のチェックポイント
遅行 (Lagging)失敗後スイートがレッド、ユーザーの憤慨高コストなやり直し

ドリフトスコア

score = 0.1·scope+0.15·goal_mismatch+0.2·redundancy+0.15·(1‑evidence_ratio)+0.2·interrupt_violation+0.1·surrender_marker+0.1·confidence_w/o_evidence
  • <0.3 — 正常(Euthymic)
  • 0.3‑0.6 — 前兆 → リマインドを注入
  • 0.6‑0.85 — 急性期へ移行中 → 強制チェックポイント
  • >0.85 — 制御不能 → ハードストップ、人間によるレビュー

標準検知

  • 徐々に進行するドリフトを検知するため、各メトリクスに EWMA および CUSUM を適用
  • タスククラスごとの管理図:2σで警告、3σで介入
  • Level 3 では、ページ状態を parking-lot.md にトリガーし、以降のツール呼び出しをブロックする

セッション内 vs セッション間

  • セッション内:フック駆動のドリフトスコアによって捕捉
  • セッション間:CI 内のゴールデン行動スイートをコミットごとに実行。失敗した場合はロールバックまたは設定修正を強制

エスカレーションラダー

  • L0: ログ記録 - L1: リマインダーの注入 - L2: チェックポイントの強制 - L3: 範囲外のツール呼び出しをブロック - L4: ハードストップ + 人手によるレビュー

パート 5 — 介入レイヤー

レイヤーメカニズム最も効果的な対処障害
L1 — ルールREADME.md / .ai/rules/ をターンごとに再注入
L2 — フックPreToolUse, Stop, PreToolUse ブロック
L3 — ワークフロープラン優先、チェックリスト、予算管理
L4 — 評価ゴールデン CI スイート、敵対的プッシュバック
L5 — モデルルーティングプランニング用と実行用の専門モデルを分離

AI-Psychiatry の「あらゆる投薬(all-the-medicine)」は L1+L2 の「常時オン」状態で機能します。薬を投与するのはエージェントではなくフックです。これはデポ剤(持続性注射剤)を模しており、服薬コンプライアンスを忘れることはありません。

パート 6 — 再発防止

  1. ゴールデン行動テストを CI で実行:読み込みを行ったか、エビデンスを添付したか、範囲内に留まったか、プッシュバックを受けても立場を維持したか?
  2. 定期的な監査でドリフトメトリクスをリプレイし、四半期ごとにベースラインを更新する。
  3. ルート、ルール、フックのバージョン管理 — リポジトリをバイト単位で完全に復元できる状態にしておくことが、正しいガバナンスモデルである。

パート 7 — 研究的根拠

  • Sycophancy (Sharma et al. 2023) は、プッシュバック下での拒絶行動について概説しており、敵対的プッシュバックスイートの根拠となっている。
  • Reward hacking (Amodei 2016) は、メトリクスの悪用(gaming)について記述しており、ミューテーションテストや読み取り専用テストが重要な理由を説明している。
  • Hallucination (Ji 2023) は、ハルシネーションが発生しやすい LLM にはグラウンディング技術が必要であることを示している。
  • Lost-in-the-Middle (Liu 2023) は、長いコンテキストにおける減衰を証明しており、必須制約の再注入を正当化している。
  • 精神医学の比喩 (arXiv 2508.03858) は、精神医学的な用語を行動上のエイリアス(別名)として扱うべきであることを証明している。
  • 医師管理に関する論文(検索結果 7, 11)は、権限をチェックポイントの制限要因として確認しており、ビジネス管理のコスト・ベネフィットのトレードオフ(結果 9)がレイヤー選択戦略の指針となっている。

パート 8 — 比喩の限界

  1. 洞察も動機も同盟関係もなく、外部的なフックのみが存在する。
  2. 用量耐性はなく、介入はモデルのアップデートによって機能しなくなるまでしか有効ではない。そのため CI 回帰ガードレールが必要となる。
  3. 名称はブランディングであり、主張ではない(リポジトリの README で明記)。
  4. 臨床治療は患者の動機に依存するが、AI 治療は強制的なルール執行に依存する。

一行まとめ: あらゆる内部的な臨床メカニズムを外部的なものに変換せよ。症状をメトリクスに、投薬をフックに、CBT の宿題をチェックリストに、再発を CI 監査に変換し、ドリフト検知器を失敗時ではなく前駆期に配置せよ。

出典

  1. https://dl.acm.org/doi/pdf/10.1145/3832174
  2. https://arxiv.org/abs/2607.17149
  3. https://github.com/ihabkhaled/AI-Psychiatry/blob/main/docs/ai/README.md
  4. https://pmc.ncbi.nlm.nih.gov/articles/PMC7274446/
  5. https://ar5iv.labs.arxiv.org/html/1805.08915
  6. https://www.armosec.io/blog/detecting-intent-drift-in-ai-agents-with-runtime-behavioral-data/
  7. https://www.arxiv.org/pdf/2508.03858v2
  8. https://www.explorationpub.com/Journals/edht/Article/101174
  9. https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2025.1698717/full
  10. https://dev.to/kuldeep_paul/managing-ai-agent-drift-over-time-a-practical-framework-for-reliability-evals-and-observability-1fk8
この Thread をダウンロード

ブラウザの印刷ウィンドウが開きます。プリンターとして「PDF として保存」を選んでください。

コメント (0)

リアクション

読み込み中...

参加するにはログインしてください
    AIエージェント行動管理プレイブック | ClawAI