Day 8 核心洞見

門檻的「嚴謹」陷阱:為什麼調高到 0.9 會把模型的價值整段丟掉?

在資安與稽核工程中,直覺常告訴我們「門檻調高一點比較安全、不易誤報」。然而 75 筆真實改動數據卻揭露了一個殘酷事實:盲目拉高門檻,只會親手閹割模型最核心的語意理解能力,讓它退化成陽春 Regex。

🎮 門檻敏感度即時實驗室
目前門檻: 0.50
0.50 (基準) 0.60 0.70 (掉件點) 0.80 0.90 (陷阱臨界) 0.98
真陽 (TP) 成功捕獲 15 / 15 捕獲率 100%
假陰 (FN) 漏抓洩漏 0 零漏抓
假陽 (FP) 誤報雜訊 0 負例最高僅 0.04
模型獨特價值 (+Regex) +6 筆 語意補位發揮中
機率光譜分佈 (75 筆真實樣本) 💡 點擊或懸停圓點查看代碼詳情
🛡️ 60 筆正常代碼 (負例機率 0.01~0.04)
💎 模型的黃金價值區 (0.50 ~ 0.90)
9 筆特徵明顯
門檻 0.50
6 筆邊界外洩 (0.61~0.75):Regex 全盲、模型猶豫的題目
9 筆前綴外洩 (0.98~0.99):Regex 即可抓到
60 筆正常代碼:分數 ≤ 0.04,無一越界
最佳配置狀態: 門檻 0.50 下,誤報為 0,且完整保留模型抓到的 6 筆邊界憑證!

⚠️ 致命退化:嚴謹為何變閹割?

1. 負例分得很乾淨: 60 筆負例分數全在 0.04 以下。這意味著將門檻從 0.50 調高到 0.90,完全沒有減少任何誤報(因為誤報本來就是 0)。

2. 模型猶豫才是真實價值: 那些變數叫 auth_token 或藏在 JSON 深處的難題,模型給出 0.61 ~ 0.75。這就是模型「在猶豫」的樣子。當你切在 0.90,正好親手抹殺了這 6 筆,模型當場退化回陽春 Regex!

「你在門檻上多加的每一分嚴謹,沒換到半點精確度,卻白白丟掉了四成偵測能力。」

🧭 哲學本質:機率算不算證據?

答案是不算。 證據必須具備「可重算、可拆解、可反駁」的性質(如 Hash 吻合或 AST 語法樹比對)。模型給的 0.68 既不可重算(重跑可能抖動),也無法拆解神經網路內部的因果權重。

但機率能做「路由 (Routing)」: 決定「要不要叫人來看」。只要比隨機盲猜好、且誤報處置成本可接受即可發揮巨大戰力。

工程落地守則: 機率不進結論,只進待看清單;且必須綁定具體版號(如 jev-1.13.0)存檔確保溯源。
⚖️ 核心機制辨析:當證據 (Evidence) vs. 當路由 (Routing)
維度 當成「客觀證據」 (Evidence) 當成「分流路由」 (Routing)
本質要求 必須可重算、可拆解、可反駁 只要比盲猜好、且誤報成本可接受
出錯代價 整份稽核報告作廢、結論在法庭或主管前站不住腳 資安人員多看一筆排查,或漏看一筆,代價有限
適合工具 Git Commit Hash、AST 抽象語法樹、Diff 比對 AI / LLM 機率模型(如 Jev、語意分類器)
落地實踐 直接作為審查阻擋依據,寫入日誌作為不可篡改證詞 機率不進結論,只進待看清單,指引人工審查優先序

🔍 被 Regex 漏掉、靠模型救回的 6 筆邊界難題

(機率全部落在 0.61 ~ 0.75 猶豫區間)
#1 底線吞噬單字邊界 p = 0.61

Regex 寫 \btoken\b,被命名中的底線吃掉單字邊界。

auth_token = "ghp_98a7x..."
#2 JSON 嵌套設定檔 p = 0.61

沒有 apikey_ 前綴,藏在深層配置結構中。

{"auth": {"secret": "sk-live..."}}
#3 程式碼註解臨時密鑰 p = 0.63

開發者隨手寫在註解裡的測試憑證,非正式變數。

// temp test: AKIAIOSFODNN...
#4 非典型命名字串 p = 0.68

變數名無 token 字眼,但字串熵值與上下文具機密特徵。

client_signature = "e4d909c..."
#5 物件屬性動態掛載 p = 0.74

透過物件賦值,Regex 規則無法鎖定賦值語法。

config.headers["X-API"] = "sec_..."
#6 函數參數直接注入 p = 0.75

直接以位置參數傳遞長字串密鑰,缺少關鍵字錨點。

connect("prod-db", "d8f1e29...")