本週工作反思 2026.10.10
公司的 AI 客服產品,最近幻覺的情況變嚴重,感覺像是突然降智了。大家開始測試其他 model,在回覆品質和 token 成本之間做了很多比較,最後選定了一個新的 model。老闆發現新 model 有更好的效果,就急著要PM趕緊推上線。負責的PM也立刻在 Slack 通知工程師直接切換。
我馬上阻止他。
雖然切換 AI model 只是工程師更改一個設定,但是新 model 有自己的特性,回答的風格、準確度的邊界、以及哪些問題容易出錯都是必須重新調整的,而且必須事先讓第一線的業務和客服知道新model的使用限制。
如果沒有提前告知就直接切換,客戶發現 AI 回答風格變了、或者某個問題答錯了,第一線的人完全沒有準備,不知道發生什麼事,也不知道怎麼回應客戶。
所以我們要先做 release plan:切換的時間點、切換前要完成的測試範圍、上線後的潛在影響,列舉哪些部門要先被通知、