簡介
單一數值的計量 (例如平均平方誤差或對數損失) 能快速地比較模型效能。 但這些計量不一定符合直覺，而且不一定能讓您全面了解模型的真實表現。 例如，如果我們嘗試檢測癌症，但只有十萬分之一的組織切片真的有癌症，則一律會顯示「無癌症」的模型將會有卓越的對數損失 (成本)，但在臨床上則毫無用處。 選擇更聰明的方法來評估模型至關重要，如此您才能正確了解模型在真實世界中會有什麼表現。
案例：使用機器學習來執行山難救援
在本課程模組中，我們將使用下列範例案例來說明和練習如何處理不同的計量和資料失衡。
隨著冬天再次來臨，人們的心裡也越來越擔心，因為登山客會忽視雪崩預警，即使已經禁止入山仍冒險深入。 原因不只是這可能會造成更多雪崩，更因為登山客在冒險入山之前很少會登記，所以無從得知當發生雪崩時，山上是否有人。 一名慷慨的善心人士將一批迷你無人機捐助給雪崩搜救小組，其可自動掃描山腰來尋找物體。 由於極端地形和溫度過低容易耗電的緣故，這些無人機的頻寬一直太低而無法傳輸影片。 不過，無人機上內建的感應器可以擷取物體形狀、大小和移動與否的基本資訊，並傳輸回搜救基地。 您能否建置模型來判定無人機是在何時碰到某人，以追蹤在山上的人？
必要條件
- 對分類模型有基本的熟悉
學習目標
在本單元中，您將：
- 評估分類模型的效能。
- 檢閱計量以改善分類模型。
- 減輕因為資料失衡所造成的效能問題。