選單
神經網路怎麼運作?用權重、損失與反向傳播理解深度學習封面

開始閱讀

AI 原理入門系列|第 3 篇,共 10 篇。資料核對:2026-10-09。文中的情境與練習為教學示例。

看到「神經網路」四個字,很容易想像電腦裡裝了一顆小型大腦。實際學習時,先把它看成可以調整參數的數學運算,比類比人腦更容易掌握。它接收數值,經過多層轉換,再產生預測或其他表示。

一個節點做的是什麼

簡化的節點會把輸入乘上權重、加總並加上偏差,再經過活化函數。權重影響不同輸入的作用,偏差調整整體位置;非線性的活化函數,讓多層網路能表達比單純線性組合更複雜的關係。Google 神經網路教材介紹了這些構成。

用示意式表示,可以寫成「輸出=活化函數(加權輸入+偏差)」。這是理解一個節點的簡圖,實際模型還可能包含其他運算與結構。

圖解:一次神經網路更新

一次神經網路更新:前向預測、計算損失、反傳與更新。反覆更新不等於保證泛化;仍須用未見資料檢查。
圖 3|一次神經網路更新。反覆更新不等於保證泛化;仍須用未見資料檢查。

多層不是把同一題重做很多次

每一層把上一層的表示轉成新的表示。例如辨識圖片時,部分網路可能逐步組合局部特徵,形成有助於分類的資訊。但不能保證每個節點都有一個人類能命名的概念,也不能看到某個節點啟動,就斷言它「認出」了特定物體。

這提醒我們:可用的內部表示,與人類習慣的語言解釋,不一定一一對應。

損失函數提供調整方向

模型產生結果後,需要一個衡量差距的方法。分類問題和數值預測,可能使用不同的損失函數。反向傳播利用微分的鏈式法則,計算參數對損失的影響;最佳化方法再據此更新參數。反向傳播教材可延伸閱讀。它不會像老師一樣逐段告訴模型「這句話哪裡想錯了」。

即使訓練損失降低,也還要檢查未見資料的表現。若模型學到資料中的偏差,運算做得正確,結果仍可能不適合實際任務。

用課程分類做一個思考實驗

假設輸入是課程描述,輸出是「AI 應用」「行銷」「企劃」的分類。若標註者把所有出現「數據」的課程都標成行銷,模型可能繼承這個習慣。改用更大的模型,未必能修正分類規則本身的問題。

比較有用的做法,是先拿十份容易混淆的課綱,請兩位標註者各自分類,再討論分歧。定義清楚後,才知道模型的錯誤究竟來自資料、類別設計,還是學習能力。

參數多不代表任務一定做得好

評估工具時,除了規模,也要看訓練資料、任務適配、運行成本與測試結果。對固定格式的小型分類任務,複雜模型未必比簡單方法更划算。

可以把檢查順序寫成一張卡片:輸入是否可靠、目標是否一致、未見資料是否通過、失敗是否可接受。這張卡片適用於採購 AI 服務,也適用於評估自己的實作。

圖解:神經網路如何更新

前向預測後計算損失,再更新權重並重複。圖中以平方誤差示範,數字為假設值。
前向預測後計算損失,再更新權重並重複。圖中以平方誤差示範,數字為假設值。

用一個簡化算式看懂權重

假設某個人工設計的節點接收兩項已縮放的特徵:課程頁瀏覽程度 x₁,以及過去活動參與程度 x₂。它先算 z = 0.6x₁ + 0.2x₂ − 0.1。若兩者都是 1,z 就是 0.7。接著還需要活化函數,才能形成這個節點的輸出。這些數字只是教學示例,不能解讀成真實報名機率。

權重決定不同輸入如何影響運算,偏差調整基準。多層網路將前一層的輸出繼續組合;不是每個神經元都對應一個人類能命名的概念,也不能把單一權重直接當成因果證據。

學習率為什麼影響訓練?

梯度告訴我們損失在局部對參數如何變化,最佳化方法再據此調整參數。學習率可理解為更新步伐的尺度。步伐過大可能越過適合的位置而不穩定;太小則可能需要更多更新。這是直觀類比,真實高維損失面遠比山坡複雜。

從錯誤案例判斷下一步

如果訓練與驗證表現都差,先檢查標籤、輸入特徵和訓練設定;若訓練很好、驗證明顯差,則要排查過度擬合或資料分布不同。直接加層數不是通用解答。

課後問題:把「網路記住答案」改寫成精確描述:哪些資料上表現好?在哪些未見資料上失敗?需要什麼證據才能判斷?

用一份課程推薦理解權重的作用

假設有三個輸入:讀者是否看過入門文章、是否下載課綱,以及是否曾詢問課程時間。模型把輸入轉成數值,再透過權重組合成中間表示,最後產生推薦分數。權重不是人工寫下的「下載課綱就是兩倍重要」,而是訓練過程根據資料調整的參數;資料與目標不同,得到的關係也會不同。

同時要注意,某個輸入權重大,不表示它是造成報名的原因。下載課綱可能只是原本就有需求的人較常做的事情。若把觀察到的相關性當成因果,團隊可能誤以為只要要求每個人下載課綱就能提高報名。神經網路能協助辨識模式,但企劃仍需要設計實驗、觀察流程與理解使用者,才能判斷改變哪個環節真正有用。

學習率為什麼不能越大越好?

反向傳播提供參數調整的方向,學習率則影響每次調整的幅度。可以把它想成在霧中沿著坡度找低處:步伐太大,可能跨過較好的位置;步伐太小,又可能花很久仍無法改善。這只是幫助理解的比喻,實際高維參數空間比山坡複雜,不能用單一圖像完整描述。

因此,看到損失值忽高忽低,不要立刻斷言資料毫無價值。也可能是學習率、批次大小、輸入尺度或初始化等因素造成。對非工程背景的人,更實用的做法是要求開發者同時提供訓練與驗證曲線,說明停止訓練的依據,而不是只展示最後一張漂亮的預測結果。

黑箱不等於不能管理

你可能無法用一句話解釋所有參數,但仍然可以管理系統的輸入、使用範圍與錯誤處理。課程推薦可以保留人工搜尋入口,讓讀者不必接受唯一選項;客服分類可以讓承辦人修改結果,並記錄哪些問題經常分錯。這些設計讓模型成為可以被檢查的工具,而不是不可質疑的判決。

課堂練習可以選十筆虛構資料,先用直覺預測,再比較模型的分類。請同學寫下「我需要什麼額外資訊才願意採用這個結果」,例如資料時間、相似案例、錯誤代價與替代選項。能提出這些問題,比背誦層數名稱更能幫助你在工作中合理使用深度學習。

系列延伸閱讀

行銷三刀流

國立體育大學休閒產業經營學系副教授,國立台北大學企業管理學系博士。專長為 AI 創新應用、運動管理創新與行銷、數位廣告投放。

關於李銘尉博士

繼續探索

相關課程方向:AI 任務拆解與驗收工作單12 個 AI Skill 推薦與安裝指南:行銷、簡報、設計與短影音一次看AI 上下文怎麼整理?讓行銷團隊少改稿的資料包設計如何評估 AI 文案品質?建立團隊自己的測試題庫