AI 融入教育的思辨與反思之三-架設本地AI的考量

用家中Qnap 裝openweUI，M1pro(32GB) 裝 Gemma4 26B 及31B 兩個模型，測試擷取增強生成 (RAG)是否符合學校教師使用，以評估是否申請經費購買相應的顯示卡，安裝到校內2U伺服器上，進行本地AI架設。

目前測試結果是 

1. 不考慮vibecoding，整理資料內容屬於還可以的狀態，就是回應速率頗慢，會聽到M1pro 風扇狂轉的聲音。
2. 要求26B 以RAG產生新題目，會出現中斷輸出等狀態。
   
   
   
3. 要求31b 以RAG方式產生新題目，能穩定輸出成果，但題目可用性堪憂，需要人為大規模除錯，例如：
   

   

   可以猜猜問題在哪裡

   
   

結論：
1.至少需要 70B以上模型，26B/31B的模型 可能有足夠的推理能力，但沒有夠多的參數來捕捉上下文的關聯，定位關鍵資訊，進而產生幻覺。

2.至於使用校內舊伺服器是為了省錢。

閒置2U伺服器本身有足夠的多人共同連線能力，但兜到64GB的VRAM，估算需要40~50萬。

看起來很貴，但我們來算點帳就知道，這是已經最省錢的方式

假設 設備攤提期為 3 年（36 個月），每月硬體折舊成本約為 NT$ 1.3萬~1.4萬。同時，雲端訂閱 (以 ChatGPT Plus / Gemini Advanced 為例)：目前單人訂閱費用約為 US$ 20/月 (約 NT$ 660)，也就是說校內只有20人以上願意使用本地AI，就能打平這項支出。

同時這樣配置，在考量考慮使用者「輸入-閱讀-思考」的間隔，預估能支撐50人左右同時連線。

真正重要的是 資料隱私性-資料鎖在校內伺服器，沒有外流到Google/Claude等商業公司中，亦即您的獨家教學思維、特殊的題目設計，絕對不會在未來的某個版本中，變成全球 AI 都能回答的資料庫內容。