# 「0件だった」を無罪の証拠にしない — 計測器を対照群で検定する 管理画面のログ・監査ログ・イベントログを調べて「該当なし」が出たとき、それを 「起きていなかった」と読んで報告してしまう事故を防ぐ手順。AI エージェントに調査を任せると 特に起きやすい。**0 件には「本当に無かった」と「そもそも観測できていない」の2つがあり、 件数だけを見ても区別がつかない。** ## いつ使うか - 「いつ壊れたか」「誰が何を変えたか」を、ログや履歴画面から特定しようとしている - 調査ツールが「該当 0 件」を返し、それを根拠に何かを無罪だと言おうとしている - 監査ログ・操作ログ・アクセスログ・Webhook 配信履歴・CI のジョブ履歴など、 「記録されているはず」という前提が入る調査すべて ## 中心にある考え方 調べたい対象（本命）と**同じ方法で、正常だと分かっている対象（対照）も測る**。 | 本命 | 対照 | 読み方 | |---|---|---| | 0 件 | **1 件以上** | 計測器は生きている。本命の 0 件は情報として使える | | 0 件 | **0 件** | **判定不能**。計測器が見えていない疑いが濃い | | N 件 | N 件 | それは異常ではなく常態。原因とは言えない | 対照の選び方は「本命と同じ仕組みに乗っていて、確実に動いているもの」。 例: 連携先 A が止まった原因を調べるなら、止まっていない連携先 B と C を同じログで数える。 ## 落とし穴1: 対照を「調査窓の中」だけで数えると騙される これが一番刺さる。事故日の前後1ヶ月といった窓の中だけで対照を数えて 「対照は N 件出ているから計測器は生きている」と結論すると、**その N 件が全部 対照側の項目で、本命側はそもそも記録対象ですらない**というケースを見逃す。 実例（匿名化）: 管理画面の操作ログで「連携先 X の設定を事故日に触ったか」を調べた。 窓内では X が 0 件、直後30日では設定変更が 246 件あったので「計測器は見えている＝X は無罪」と 結論した。ところが**ログの全期間（26ヶ月）**で数え直すと、246 件は**全部が別の連携先 Y の項目**で、 **X の設定行はログ全体に1行も存在しなかった**。X は掲載内容を先方側で保持する方式なので、 この管理画面は X の設定変更をそもそもログに書かない。つまりこの計測器は X について **肯定も否定もできない**。 対照は「窓の中」ではなく「ログの全期間」で数える。 本命が全期間で 0 なら、その計測器は本命を観測できていない。 ## 落とし穴2: 名前で grep すると「数えたつもり」になる 「X」という語を含む行が5件あった、では対照にならない。中身を見ると5件とも 「X とは無関係だが名前に同じ単語が入っている一般設定」だった、ということが起きる。 - **種類の列（カテゴリ列）で数える。**行全体を grep しない - 正規表現は一般語に当たらないよう絞る（`booking` 単独ではなく `booking\.?com` のように） - 拾った行の**中身を数行そのまま出力**し、目で見て「これは本命か」を確かめる ## 落とし穴3: 日時を「行のどこかにある日付」から拾う 表形式のログは、日時の列以外にも日付を持つ（対象の予定日、設定値そのものが日付、など）。 行全体を日付らしき正規表現で走査すると、**設定値の日付を操作日時と誤認**して、 窓の絞り込みがまるごと無意味になる。しかもエラーにならず「それらしい件数」を返すので 気付けない。 - **日時は列を決めて読む。**タブ／カンマで割って「1列目だけ」を解析する - ロケール表記に注意（`2026 5月 13 09:13` のような和暦混じり、`13/05/2026`、`13 May 2026`） - **読めた割合を必ず出力する。**閾値（例 80%）を切ったら表の形が変わったとみなして止める ## 実装のかたち（言語問わず） 1. ログ本文を丸ごと取得し、まずファイルへ保存する （後から再解析できるように。--file 相当で読み直せると検証が速い） 2. 行を列に割り、日時列だけを解析する。読めた割合を出力する 3. ログ全体の期間（最古〜最新）を出力する 4. 調査したい窓がログ全体の期間に収まっているか確認する（はみ出していたら止める） 5. 全期間で「本命」「対照」それぞれの件数を数える 6. 本命が全期間0 かつ 対照が1以上 → 判定不能として異常終了する 7. ここまで通って初めて、窓の中の件数で判定する ### 終了コードの割り当て | code | 意味 | |---|---| | 0 | 窓内に本命の該当なし（＝本命は原因ではない、と言ってよい） | | 1 | 窓内に本命だけ該当あり（日付を事故日と突き合わせる） | | 2 | 取得失敗／窓内の総行数が0／**計測器が本命を見られない（判定不能）** | **「判定不能」を 0 に混ぜないこと。**混ぜると無罪判決が自動で量産される。 分母（窓内の総行数）が 0 のときも 2 に倒す。分母0は「無かった」ではなく「読めていない」。 ## 報告の書き方 - 件数だけでなく**分母**（窓内の総行数）と**ログの全期間**を必ず併記する - 「該当0件」と書くときは、同じ行に**対照の件数**を書く - 誤っていた過去の結論は**消さずに残し、訂正節を足す**。 同じ調査を別の担当（別セッションの AI を含む）がやり直したとき、 なぜ結論が変わったのかを追えなくする方が高くつく ## AI エージェントに任せるときの追加指示 そのまま指示文に貼れる: このログ調査では、件数0を「無かった」と報告してはいけない。 (1) 日時は列を決めて読み、読めた割合を出力すること。行全体を日付で grep しない。 (2) 対照（正常だと分かっている同種の対象）を、調査窓ではなくログの全期間で数えること。 (3) 本命が全期間0で対照が1以上なら「判定不能」として終了コード2で止め、 絶対に「無罪」と書かないこと。 (4) 報告には分母（窓内の総行数）とログの全期間を必ず併記すること。 ---