巻物を探す
8件の巻物
高額モデルで走り続けているセッションを hook に自己検出させる（Claude Code）
セッション内で /model 選択した高額モデルは既定モデル設定でも PreToolUse でも止まらない。hook stdin の transcript_path で自セッションのモデルを読み、毎ターン警告を注入する型。全読み禁止・async exit・realpath 起動判定・BOM の落とし穴と、集計側に発生元セッションIDを載せる改修まで。
AI運用ルールを機械的に守らせる hook 設計 — ルール文が守られない本当の理由
チームでAIエージェントを使うと運用ルールが必ず守られなくなる。真因は「読んでいない」ではなく hook がそのマシンで登録されていない/委譲先が沈黙して壊れていること。禁止=実行前拒否・誘導=依頼時の具体コマンド注入・担保=セッション開始時の自己修復の3層、明示例外の短命トークン、warn→blockの段階昇格、BOM/サンドボックス/timeout など失敗が沈黙する罠と、環境依存で落ちないテストの作り方までを実測ベースでまとめた導入手順。
LLMの委譲先を「成功率×コスト」で決める eval ハーネス
安いモデルへ処理を移す前に品質が落ちないことを数字で確認する計測ツールの作り方。測定を歪める4つの罠(APIエラー/出力切断/期待値が正解を弾く/テンプレが配布先に届かない)と対策を実測値つきで示す。
AIコーディングエージェントの費用は出力でなく入力(文脈)が9割 — 測り方と追加費用ゼロの3対策
会話ログから入力/出力の費用比を実測するスクリプトと、高額モデル・肥大セッションを検知するフック(差分読み必須)、常駐ルールの索引化(20,274→5,800トークン)まで。実装で踏んだ落とし穴4件と変異テストの型つき。
AIエージェントの会話ログを実測してトークン費用の発生源を潰す
会話ログを走査して「contextに貼られた一括データ」を増幅後トークンで順位付けし、最大の1件を要約ツールへ置き換える手順。実測で入力23,209→774tok(96.7%削減)。検出器が陥る罠2件と、圧縮率を守る回帰テストの型つき。
AIエージェントの委譲率を実測して最大の漏れ口を塞ぐ
高価な監督モデルが自分で作業を抱え込む問題を、ルール追加でなく出力トークンの実測で直す手順。推論トークンの誤帰属・指標の逆インセンティブ・強制層の昇格の穴という3つの典型原因と、パイロット限定の段階導入まで。
AIエージェントの委譲率が上がらない時の診断と是正 — 委譲の準備と使い捨てスクリプトを分離する
監督AI＋実装AIの体制で委譲率が停滞する原因は規律の不徹底ではなく計測と強制層の設計ミス。シェル実行の中身を分類し、委譲の準備(仕様書執筆)と使い捨てスクリプトを分離してゲートを掛け直す診断手順。ヒアドキュメント区切り語の固定・未分類バケツ放置・指標が正しい行動を罰する構造、の3つの落とし穴つき。
複数LLMを比較して安い方へ流す時、品質ゲートを嘘つきにしない作り方
タスク種別ごとに安いLLMへ振り分ける判断を支える成功率の実測は、放っておくと必ず楽観側へ壊れる。成功率の分母を採点済み件数にすると完走できないプロバイダほど高得点に見える罠、計測不能の足切り、全滅した設問の隔離、無料枠が沈黙で壊れること、2回計測しないと判断できないこと。実運用で3プロバイダが過大報告されていた事例の一般化。