這期想跟大家聊一個 5 月底在我公司鬧得熱烘烘的話題：
GitHub Copilot 在 6 月將收費模式由按 Premium Request 改為按 Token 收費
沒用過 GitHub Copilot 的可能對 Premium Request 這概念不太清楚，坦白講，我用了接近一年也不清楚，因為眼見自己每個月都只用了不足 80% 的配額，我就沒理會它了😂
印象中 Premium Request 是計算跟 AI 模型互動的次數，比如說我讓 GitHub Copilot Cloud Agent 處理一個 Bug，無論那是個只要修一行程式碼的 Bug，還是要把整個 Class 砍掉重練的 Bug，都只算一次 Premium Request，所以很多時候比直接計算 Token 便宜。
我一直對這種計費方式有點對不上線，因為我平時有在開發 Agent，而且大部份時間都是直接連接模型 API，所以在計算支出時習慣了看 Token，跟公司其他工程師討論 AI 成本時有種「牛頭不搭馬嘴」的感覺。
然而到了 5 月份，不只是 GitHub，其他公司例如 Anthropic 也表示要更改收費模式。一時之間，科技圈的風向突變，有消息說微軟取消了內部所有 Claude 的訂閱、Uber 工程師在 4 個月內就燒光了一年的 AI 預算，再加上如雨後春筍般湧出來的割韭菜陰謀論 AI 文，這不禁令大家開始想起一個問題：
到底還應不應該繼續毫無節制地用 AI？
AI 猛長期
回想過去這 2 年，我們確實經歷了 AI Agent 的猛長期。
剛開始只是在網頁上跟 ChatGPT 一問一答，到後來在 IDE 讓 Copilot 開幹、在命令視窗裏讓 Claude 幫自己工作。
在過去幾個月，我公司也在不遺餘力地推動 AI 工具，不僅辦了 AI Day，每兩星期還會邀請 AI 領域的第三方專家來線上演講分享。
走到今天，已經很難在辦公室裏找到一位完全沒用過 AI 的人。
不過，當 AI 公司確保大家已經離不開這些工具、把使用率穩住之後，接下來自然就是到了要回收成本的階段了。
雖然這波收費政策的改變引起很多反彈，但因為幾個供應商都在差不多的時間改制，身為用家的我們失去了選擇權，所以討論的焦點也從「價錢變好貴」，重新回到了模型和 Agent 的表現上，只是要對成本多留一點心眼了。
GitHub 官方的省錢說明會
大約在五月中旬，GitHub 官方搞了幾場分享會，一方面對新的收費模式進行解說，另一方面也是在安撫大家，並分享了一些在日常開發中可以實踐的省 Token 技巧。
他們分享的技巧主要針對 2 種用戶，一種是已經建立了 7x24 全自動化 Agent 的重量級用家，我自問沒有到這程度。而另一種就是與 AI 同步合作的用家，就像我這位經常在 VSCode 裏跟模型聊天、叫它讀程式、寫程式的用家，他們提到的其中 2 個做法我覺得是最直接、最無痛的：
第一，是為每一個新任務開一個全新的 Session。
在聊天視窗裏，重用同一個對話紀錄確實非常方便，有時間聊了半小時突然想起對之前的話題有問題，在同一個 Session 中問它可能還記得當時說過的話。
不過，只要你自己開發過 Agent 就會知道，同一個 Session 裏的所有對話歷史、甚至是讀過的程式碼，Agent 通常會一股腦地全部塞進下一個 Prompt 的上下文裏。就算 Agent 有一些處理上下文的方法，例如自動截短 (Truncate)、自動總結 (Summarization)，當你下一次按 Enter 送出 Prompt 時，這些處理過的上下文依然在消耗你的 Token 額度。
(有興趣了解這 2 種 Agent 記憶處理模式的話，可參考以下這 2 篇 AI 學習筆記電子報：有一種記憶叫「得新忘舊」、總結型記憶)
假如這時候你已經換了任務，在開發另一個跟之前毫不相關的功能，那麼這些殘留的上下文不僅對新任務毫無幫助，而且更容易混淆模型的判斷，讓你平白無故花掉一堆冤枉錢。
所以，為每一項新任務開個新的 Session，是最簡單也最直接的省錢習慣。
第二，是針對不同的任務難度選擇不同的模型。
現在不少人追 AI 模型就像在追當年 iPhone 出新一代一樣，只要新模型一出，大家就馬上轉用最新的。當然有部份是嘗鮮，測試看看新模型的能力，但當中不乏「我就是要最新最好的」。
越強大的模型，背後的計費就越高。越來越多人養成了凡事都交給 AI 的習慣，有時候遇到一些非常簡單的任務，我們也會順手交給 AI 來處理。
比如說寫幾行程式碼註解 (坦白講我也是這樣😂)、加幾個簡單的單元測試案例 (Unit Test)，這些工作交給舊世代的小模型其實也能做得很好，但卻因為一個「懶」字 (切換模型)，往往就直接用最頂級的 Claude Opus 4.6 (或者更新) 去跑。
面對這麼簡單的任務，模型可能忍不住會說會不會有點大材小用了🤔
這就像請一位年薪幾十萬的 Staff Engineer 來改筆誤一樣，非常不划算。
因此，在送出 Prompt 之前，稍微在腦袋評估一下任務的難度，選擇對應等級的模型，也是接下來我們需要建立的習慣。
公司不打算叫我們少用，但希望我們用得精明
面對上漲的成本，我公司目前倒也沒有採取什麼激進的手段限制大家使用，畢竟效率提升所帶來的價值還是擺在眼前的。
相反地，公司採取了一些提升支出透明度的措施，例如他們把每個小組的 AI 支出表格公開在內部平台上，甚至開放了一個控制面板，讓每個人都能上去看到自己這個月消耗了多少 Token。
根據他們口中所講，他們不是要針對 AI 重度用家，只是想透過公開數據來讓大家「感覺」到使用 AI 工具背後所支出的真金白銀。同時，那些定期的分享會也在繼續，持續提高大家對 AI 的認知。
在我眼中，這種氛圍其實挺好的，就像是雲端設施 (Cloud Infrastructure) 剛普及時，大家也是從大手大腳地開機器，慢慢過渡到 FinOps 階段。我們身為工程師、或者是 AI 用家，大概也得開始把 Token 的預算，當成系統架構的一部分來思考了。
職場小挑戰
既然我們都要迎來 Token 計費的新時代，這週想請你在日常用 AI 時，試著做這個小改變：
在送出 Prompt 前，試著在心裏分類哪些是需要高級架構師 (高級模型) 才能解決的？哪些是剛入行的實習生 (輕量模型) 就能搞定的？試著手動切換一整天，看看自己平常是不是太過大材小用了
(也同時考慮看看省下來的 Token 費用，究竟值不值得花手動切換所需的時間和心力)