UX for AI Static learning edition
Lesson 5

Lesson 5 - Value Matrix

先用例子看見 accuracy 指標的盲點，再用 value matrix 把成本與效益放進模型評估。

例子

Model selection based on data science metrics.
Figure 5.1 Model selection based on metrics

只看 metrics 容易挑到看似漂亮的模型，但它未必符合真實使用情境的風險與成本。

Source in book: Chapter 5
Model selection based on real-world outcomes.
Figure 5.2 Model selection based on outcomes

把 outcomes 放進來之後，『哪個模型更好』會變成一個可討論的產品決策。

Source in book: Chapter 5

下面這張圖把 confusion matrix 先用「保守模型」示範一次，幫你把 TP / FP / TN / FN 的計數看懂。

Confusion matrix for a conservative AI model.
Figure 5.3 Confusion Matrix for the Conservative AI model

先把四種 outcome 的格子與數量釘住，後面才能把成本/效益貼回去。

Source in book: Chapter 5

圖解（Confusion Matrix 先把事情數清楚）

Confusion matrix table.
Figure 5.4 Confusion Matrix

先數清楚四種結果：TP / FP / TN / FN。接下來你才能把成本與效益貼上去。

Source in book: Chapter 5
Model selection based on outcomes with different true negative value assumptions.
Figure 5.5 Outcomes-based model selection (different TN assumption)

換一組 TN 的價值假設，模型排序就可能翻轉。這一格是把假設變成可討論的地方。

Source in book: Chapter 5

方法（照原書順序：先 outcomes，再 value matrix）

Value matrix example.
Figure 5.6 Value matrix example

同一個模型，換一組成本/效益假設，結論可能完全不同。這就是為什麼要把 UX 與業務目標放進評估。

Source in book: Chapter 5

如果你要把這一套方法拿去跟團隊討論，先用下面這張模板把 outcome、計數與價值假設寫清楚。

A fill-in value matrix template for TP/FP/TN/FN with counts and value assumptions.
教學圖：Value matrix 填寫模板

把 outcome 故事、計數與成本/效益放在同一張表，會讓模型評估變成可討論、可回頭修正的產品決策。

練習

  1. 選一個你熟悉的預測或分類題目。
  2. 寫出四種 outcome 的故事版本（各一句話）。
  3. 每種 outcome 填一個成本/效益（先用粗估也可以）。
  4. 用這張表跟團隊討論：要更保守，還是更積極？

下面這張圖把「閾值」的取捨畫成兩個版本。它適合用來討論：你要減少 FP 的干擾，還是要避免 FN 漏掉關鍵事件。

A comparison showing how conservative vs aggressive thresholds change FP/FN tradeoffs and total value.
教學圖：閾值如何改變 FP/FN 取捨

同一個模型，閾值不同就會得到不同的風險分佈。把取捨講清楚，才知道要更保守或更積極。

回到 Part 1： 首頁

Next Lesson

Lesson 6 - Case Study: What Made Sumo Copilot Successful?

用 Sumo Copilot 的案例整理 5 個可複製的設計決策：用例、視野、專用 UI、自動完成、後續步驟。