LoRA 微調實戰（第 3 堂）
用小成本把大模型調成你要的樣子
第 3 堂 · 共 6 堂|Stan Shih|90 min
走一遍上課前後的完整體驗：進教室、AI 課後摘要、練習題批改、課堂問答。
1
上課資訊
怎麼進教室
- 1
確認裝置
上課前十分鐘打開 Google Meet 連結，測試一下麥克風跟喇叭。
- 2
準備環境
打開你的 Google Colab，把上一堂發的 notebook 開好，GPU 執行階段先接上。
- 3
進入教室
點下方按鈕進入 Meet。若滿員或連不上，重新整理一次通常就好。
錄影告知
本課將全程錄影，課後由 AvoMole AI 引擎自動產生摘要、重點與練習題。
2
AI 課程摘要
以下摘要由 AvoMole AI 引擎根據錄影自動生成（Demo 示意）。
章節時間軸
點任一段看提示重點整理
- 微調適合讓模型學會固定的風格或格式，臨時的知識補充用檢索（RAG）通常更划算。
- 全參數微調要動整個模型，顯存吃很兇；LoRA 只訓練一小組額外參數，一張消費級顯卡就能跑。
- LoRA rank 決定額外參數的大小，先從 8 或 16 試起，太大反而容易過擬合又浪費資源。
- 學習率比想像中重要，太高會讓模型忘掉原本的能力，微調通常用比預訓練小很多的值。
- 訓練曲線裡驗證損失開始往上、訓練損失還在往下，就是過擬合的訊號，該停了。
- 資料品質決定上限，兩三百筆乾淨、格式一致的資料，往往勝過幾千筆雜亂的。
- 訓練完記得把 LoRA 權重跟基礎模型合併再存，推論時才不用每次都掛一次。
專有名詞卡
滑鼠移上去翻面看白話解釋（觸控裝置點一下翻面）3
本課練習題
- 1選擇題
關於 LoRA 微調，下列哪一項描述最正確？
- ALoRA 會重新訓練模型的全部參數，所以效果最好
- BLoRA 只訓練一小組低秩的增量參數，用較少資源達到接近的效果正解
- CLoRA 不需要任何訓練資料，靠提示就能改變模型行為
- DLoRA 只能用在影像模型，不能用在語言模型
- 2選擇題
訓練過程中，你發現訓練損失持續下降，但驗證損失開始往上升，這代表什麼？
- A模型還沒學夠，應該再多訓練幾輪
- B學習率設得太低了，要調高
- C出現過擬合的訊號，該考慮提早停止正解
- D資料集太小，跟訓練狀況無關
- 3簡答題
假設你要微調一個模型，讓它固定用「條列式、每點加上表情符號」的風格回答。請說明你會怎麼準備訓練資料，以及為什麼這個任務適合用微調而不是只靠提示。
4
課堂知識庫問答
點一個問題，看以本堂內容為依據的回答。
AI 回答
沒有標準答案，但實務上先從 8 或 16 試起最保險。rank 越大能學的細節越多，但也更吃資源、更容易過擬合。先用小的跑，看驗證表現不夠再往上加，比一開始就設很大來得穩。
Demo 版採預設問答，正式版會即時以本堂摘要為 context 回答你的提問。