1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 | 當模型「完全貼合」歷史數據(特別是高次多項式或過度複雜的模型),它可能並不是在學習真正的趨勢,而是在「死記」歷史數據中的噪音(noise)和隨機變動。這會導致它在未來數據上表現不佳。 🚀 比喻:過擬合就像死記硬背 想像你要準備考試,有兩種學習方式: 學習概念與趨勢(適度擬合):你了解歷史事件的主要趨勢,例如「二戰的起因」、「市場經濟週期」,所以即使題目稍微變化,你仍然能回答正確。 死記所有細節(過擬合):你記住了課本上的每一句話,包括所有年份、人物名字、數據。但如果考試的題目稍微變動(如用不同方式問問題),你可能就不會了,因為你學的只是「表面細節」,而不是「真正的模式」。 在數據分析中,模型需要學到的是數據的趨勢,而不是記住每個數據點。如果模型完全貼合歷史數據,它可能會把隨機的市場波動、異常事件、特定天氣影響等「一次性噪音」當成永久規律,結果在未來遇到新數據時,就會預測錯誤。 📌 具體數學例子 假設我們有一組數據,代表某個商品的銷售額隨時間變化: 時間 銷售額 1 10 2 12 3 15 4 14 5 16 6 18 1️⃣ 適當的趨勢擬合(低次多項式 / Prophet) 我們用 一次多項式(線性回歸)或 Prophet 來擬合: 𝑦 = 𝑎 𝑥 + 𝑏 y=ax+b 結果可能是一條平滑的上升趨勢,未來的預測會依照這個趨勢進行。 2️⃣ 過擬合(高次多項式) 如果我們用 高次多項式(如 5 次)來擬合: 𝑦 = 𝑎 1 𝑥 5 + 𝑎 2 𝑥 4 + 𝑎 3 𝑥 3 + 𝑎 4 𝑥 2 + 𝑎 5 𝑥 + 𝑎 6 y=a 1 x 5 +a 2 x 4 +a 3 x 3 +a 4 x 2 +a 5 x+a 6 這條曲線會彎曲到「完美通過每個歷史數據點」,但這可能是因為它記住了某天市場的特殊變動(例如那天有大促銷或大雨影響銷售),而這種變化不一定會在未來重現。 結果: 低次數的多項式(或 Prophet) → 預測未來仍會有上升趨勢,合理。 高次數的多項式(過擬合) → 預測可能亂跳,因為它假設未來的數據也會和過去的「小變動」完全一致,這是不合理的。 📌 為什麼「趨勢」比「過度貼合」更重要? 趨勢(Trend) = 我們想要學習的真實模式,例如: 夏天銷售較高,冬天較低。 假日票房較高,平日較低。 長期來看,市場需求正在成長。 噪音(Noise) = 偶然發生的事件,例如: 某天因為廣告促銷,銷售額突然暴增。 某天因為天氣因素,銷售額特別低。 過擬合的模型會把這些噪音當成趨勢,所以未來如果沒有這些事件,它的預測就會錯誤。 |
Direct link: https://paste.plurk.com/show/7JFVHGGXsWfqS4M9CbQe