【魯米週報】#16 - 老闆說要上線，你敢站出來反對嗎？

本週工作反思 2026.10.10

公司的 AI 客服產品，最近幻覺的情況變嚴重，感覺像是突然降智了。大家開始測試其他 model，在回覆品質和 token 成本之間做了很多比較，最後選定了一個新的 model。老闆發現新 model 有更好的效果，就急著要PM趕緊推上線。負責的PM也立刻在 Slack 通知工程師直接切換。

我馬上阻止他。

雖然切換 AI model 只是工程師更改一個設定，但是新 model 有自己的特性，回答的風格、準確度的邊界、以及哪些問題容易出錯都是必須重新調整的，而且必須事先讓第一線的業務和客服知道新model的使用限制。

如果沒有提前告知就直接切換，客戶發現 AI 回答風格變了、或者某個問題答錯了，第一線的人完全沒有準備，不知道發生什麼事，也不知道怎麼回應客戶。

所以我們要先做 release plan：切換的時間點、切換前要完成的測試範圍、上線後的潛在影響，列舉哪些部門要先被通知、新 model 的優缺點整理成一份讓非技術人員看得懂的說明文件。

老闆要求趕快上線，是為了降低商業損失，但是實際上線造成的影響，PM要負完全的責任。在衡量品質、營運、以及成本的交互作用下，PM 有義務要顧及每一個環節，不能只說一句這是老闆要求的，就把責任推給老闆。

魯米新文章

PM 溝通框架：亞里斯多德的說服三角形

說服失敗的問題，除了邏輯之外，還有另外兩個環節：Ethos（信譽）和 Pathos（共鳴）。亞里斯多德的說服三角形，幫助 PM 提高溝通效率

LumiPM Lumi

推薦文章：權威網站的PM文章

Evals, Analytics, and How to escape the feature factory
Evals、分析，以及怎麼擺脫一直做功能

這是一集 podcast 訪談，受訪者是 ThoughtSpot 的產品副總 Francois Lopitaux。核心觀點是：AI 讓開發速度快了 2 到 3 倍，但速度越快，紀律越重要。他的比喻是一級方程式賽車開在小型車的道路上，速度如果沒有控制，只會造成混亂。

以下是整理出來的重點。

關於 eval

• Eval 系統正在取代 PRD 的位置。 UI 由 prompt 驅動，使用路徑無法預測，寫不出一條固定流程。能寫下來的只剩「什麼叫好、什麼絕對不能發生」，這份定義就是新的規格書。
• Eval 要同時描述理想結果與不可接受的結果。 只定義成功，模型出錯的時候沒有判準。
• 每次改動都要重跑。 換模型、調參數、加功能，重跑一次看一致性、準確度、切題度有沒有掉。沒有這套東西，模型比較只能靠感覺。
• 可以用公開基準打底。 訪談提到 BIRD 與 Spider，用典型問題與預期答案做比對。
• Eval 終究只是團隊對使用者行為的猜測。 受訪者自己強調這點，上線之後仍然要看真實使用狀況。

關於什麼時候該用 LLM

• Agentic 功能是機率性的。 要設計的是圍繞 LLM 的護欄，不是固定的逐步流程。
• 需要確定性的場景，盡量少放 LLM。 像是計算營收數字，每多一個 LLM 節點就多一層發散風險，就要多一層控制。創意型的輸出才適合放手用。
• 先建語意層，再談模型聰不聰明。 受訪者把模型比喻成新來的實習生：能力很強，但不懂公司術語就會判斷錯。「新客戶」「營收」這些業務定義要先寫死，全公司問同一個問題才會得到同一個答案。
• 先定義端到端的目標，不要綁死在特定技術上。 ThoughtSpot 正在回頭檢視既有功能，看新模型能不能取代先前用 LLM 實作的部分。

關於怎麼衡量

• 首要指標只有一個：採用率與重複使用率。 人會不會一直回來用。
• 追問次數是品質的反指標。 用戶追問得越多，代表第一次的答案越不完整。
• 使用量下滑是最重要的警訊。
• 輔助用匿名抽樣與客戶訪談。 抽樣評估答案品質，企業客戶訪談當質性的溫度計。

關於團隊與功能管理

• 以產品 track 組織團隊，不以單一功能。 每個 track 對一個產品的成功負責，後續維運和改進自然會是工作的一部分。
• 程式碼變好寫之後，真正的紀律是砍功能。 受訪團隊的對話代理人做到 v3，他的警告是不修剪的話，每次新增都可能弄壞別的地方，最後養出一隻怪獸。
• 功能上線不等於結束。 需要長期觀察與維護。
• PM 沒辦法躲在功能後面。 AI 產品無法靠猜測做出來，必須持續貼近客戶。
• 執行加速之後，團隊會縮小。 PM 與開發者的比例也會跟著下降。

關於成本

• 保持模型彈性，隨時能切換。 選符合用途而且成本最低的那一個。
• 重點正在從「證明有效」轉向「成本划不划算」。 受訪者的判斷是 2025 年證明 AI 可行，2026 到 2027 年會轉向 ROI 與成本優化。

對照這週的反思：換 model 這件事，老闆點頭之後要補的就是這一篇文章說的。eval 決定新舊模型到底哪個好，release plan 決定什麼時候換得成。兩者缺一不可。

👉 Mind the Product

本週科技時事：了解世界趨勢

1. OpenAI 發布 GPT-6，ChatGPT 能直接生成互動工具
介面從回傳文字，變成能產生可操作的工具。

2. Axios 報導 OpenAI 年化營收約 500 億美元，比外界流傳的 700 億少 200 億
消息公布後，Nvidia、Oracle、CoreWeave 等 AI 類股下跌。

3. Anthropic 的模型在自動化測試過程中，向費城警方網站提交一則假的兇殺線報
該事件已獲執法單位確認。

4. Tesla 在歐洲停用「Full Self-Driving」這個名稱
監管機關認定該名稱具誤導性。

5. Nvidia 投資的 Firmus 撤回 IPO
原訂募資約 50 億美元、估值逾 300 億美元，CNBC 將原因歸於市場波動。

聯絡我

如果你想和我聯絡，可以從這些地方找到我

網站 : www.pmlumi.com
IG : www.instagram.com/pm.lumi/
Email : pmlumi.hello@gmail.com