Token Optimization：
從浪費的解剖學到三層落地

15參考來源

以下逐條列出本報告實際引用到的每一筆資料。標示 A 者為 Wei Ting's Research Vault 所收錄之內容，破折號後註明它在本報告中支撐哪一個論點。

官方文件 — 快取（§03）

4. A Anthropic — Prompt Caching — 取用：write 1.25×／2×、read 0.1×、各模型最小可快取 token 數、最多 4 個 breakpoint、20 blocks 回看視窗、tools→system→messages 失效串聯
5. A Anthropic — Prompt Caching 發布公告
6. A Anthropic — Token-Saving Updates
7. A OpenAI — Prompt Caching — 取用：1,024 token 自動門檻、GPT-5.6+ write 1.25×、30 分鐘 TTL、prompt_cache_key、顯式 breakpoint
8. A OpenAI — Prompt Caching Cookbook
9. A Google Gemini — Context Caching — 取用：90% 折扣、隱式與顯式快取
10. A DeepSeek — KV Cache／磁碟式 Context Caching — 取用：64-token 粒度、V4 Flash 命中 $0.0028/M vs 基礎 $0.14/M
11. A autocache — Anthropic 透明 proxy，自動注入 cache breakpoint；宣稱成本 −90%、延遲 −85%

官方文件 — Batch 與 Flex（§08）

12. A Anthropic — Message Batches API — 取用：50% 折扣、最多 10,000 requests、24 小時周轉
13. A OpenAI — Batch API／FAQ — 取用：50% 折扣、單檔 50K requests
14. A Google Gemini — Batch API — 取用：50% 折扣且可與 context caching 疊加
15. A Curator — 批次推論／合成資料函式庫；batch=True 於 OpenAI／Anthropic／Gemini／Mistral 上約省 50%

官方文件 — Agent、工具與 Skills（§04–§06 主要依據）

16. A Anthropic — Advanced Tool Use / Tool Search — 取用：85% token 縮減、內測保留 191,300 tokens context（§04.2）
17. A Anthropic — Token-Efficient Tool Use — 取用：輸出 token −70%、屬「flip a flag」等級投入（§02、§04.2）
18. Anthropic — Programmatic Tool Calling — 取用：模型寫 Python 在容器內呼叫工具、先過濾再回傳；75-tool 基準上計費輸入 −38% 且準確度不變（§04.2）
19. Anthropic — Agent Skills 總覽 — 取用：三層漸進揭露架構（§05）
20. Anthropic — Skill 撰寫最佳實務 — 取用：name ≤64 字元、description ≤1,024 字元、metadata ~100 tokens／skill、SKILL.md 上限 ~5,000 tokens（§05）
21. A Anthropic — Effective Context Engineering for AI Agents — 取用：n² 注意力預算、just-in-time 檢索、compaction、結構化筆記、subagent 回傳 1,000–2,000 tokens、工具設計判準（§05、§06、§07）
22. A Anthropic — Effective Harnesses for Long-Running Agents
23. A Anthropic — Long Context Tips — 取用：文件置頂、以 XML tag 標記（§07）
24. A Anthropic — Context Windows
25. A Anthropic — Token Counting 端點 — 取用：tokenizer 換代後應以實際計數取代字元估算（§01 警語）

Agentic／MCP／多 agent（§04、§05、§06）

26. MindStudio — 10 MCP Optimization Techniques — §4.3「自建 MCP server 十條準則」的完整來源，含各項數值與「做 3–4 項即降 50–70%」
27. MCP Tool Overload: Why More Tools Make Your Agent Worse — 取用：GitHub 官方 MCP server 42,000 tokens、4–5 server 破 60,000、schema 占 context 40–50%、工具過載降低選擇準確度（§01 A2、§04.1）
28. Token-Efficient Tool Calling: Auth Overhead in Agent Context — 取用：40-tool server 每 turn 10–15 KB schema、OpenAPI 格式對 LLM 過於冗長（§01 A2、§04.1）
29. Milvus — Why AI Agents Burn Through Tokens — 取用：未收斂檢索的雜訊與「LLM confusion」（§01 A3）
30. Multi-agent AI costs 15× more, and almost nobody routes it — 取用：agent ≈4× chat、multi-agent ≈15×、失控 spawn 再乘 10×、僅高價值場景可吸收此倍率（§06）
31. Augment Code — Multi-Agent Cost Compounding — 取用：context 複製與協調輪次構成的乘法結構（§06）
32. Augment Code — AI Agent Loop Token Costs — 取用：agent 迴圈中 context 約束的設計手段（§06）
33. How Anthropic Built a Multi-Agent Research System — 取用：orchestrator-worker 架構、3–5 個平行 subagent、獨立 citation pass（§06）
34. Agent Skills: Progressive Disclosure as a System Design Pattern — 取用：8 skills + 10,000 行文件 → 啟動僅載入 500 tokens 而非 70,000（140× 差距，§05）
35. A mcp-compressor — MCP proxy：先呈現壓縮後的工具表、按需取完整 schema（§04.4、§05 漸進揭露的 proxy 版）

工具輸出與 prompt 壓縮（§04.4、§07）

36. A Headroom — 壓縮工具輸出／log／檔案／RAG chunk，60–95%；library／proxy／MCP server 三種形態
37. A RTK — Rust 單一執行檔 CLI proxy，壓縮 dev 指令輸出 60–90%；相容 Claude Code／Cursor／Copilot／Gemini CLI
38. A lean-ctx — Rust context 智慧層；shell 輸出壓縮 60–90% + 10 種快取讀取模式 + 76-tool MCP server
39. A llmtrim — 品質閘控 proxy／MCP server；112 組 A/B 實測輸入 −31%、輸出 −74%（§07「壓縮須配品質閘控」的依據）
40. A TOON — Token-Oriented Object Notation；均勻物件陣列上比 JSON 少 30–60% tokens（§01 B2、§04.3 第 6 條）
41. A OpenProvence — 開源 reranker-pruner；剔除約 99% 離題句子、壓縮 80–90% 相關 RAG 文本（§01 A3）
42. A code2prompt — codebase 轉 LLM prompt，附 token 計數
43. A tiktoken — OpenAI BPE tokenizer（Python／Rust），快 3–6×

路由與 gateway（§08、§10）

44. A LiteLLM — 100+ LLM 的 SDK + proxy；cost／latency／least-busy 路由策略
45. A LiteLLM — Spend Tracking — per-key／per-team 花費追蹤與預算路由（§10 組織層）
46. A Portkey AI Gateway — 1,600+ 模型、guardrails、快取、負載平衡；2026-05 被收購但維持 Apache 2.0 開源
47. A Bifrost — 宣稱比 LiteLLM 快 50×；1,000+ 模型的自適應負載平衡
48. A vLLM Semantic Router — 系統級語意訊號路由
49. A vLLM — Session-Aware Agentic Routing (SAAR) — 取用：模型切換 −79%、多 agent 部署估計成本 −78.7%（§06 手段 3）
50. A RouteLLM — LMSYS 以偏好資料訓練的開源 router（最後提交 2024-08）
51. A LLMRouter — 16+ 路由策略（單輪／多輪／agentic／個人化）與統一 CLI

瀏覽器工具效率（§04.5）

52. A Anthropic WebFetch Tool — ~1.5 KB AI 摘要輸出，效率 20×
53. A Playwright MCP — ~10–33 KB accessibility tree，效率基準線
54. A Lightpanda — ~16 KB raw markdown，效率 2×
55. A Agent Browser — ~28 KB accessibility tree；2026-05 起停止維護
56. A WebFetch vs WebSearch 分析 — 10 頁流程 ~15 KB vs ~330 KB 的來源
57. A browser-use — AI 瀏覽器 agent 的基礎函式庫

可觀測性與成本追蹤（§12、§14 第 1 週）

58. A Langfuse — 開源 LLM 可觀測性 + 成本追蹤；ClickHouse 收購（2026-01），MIT 授權、持續開發
59. A ccusage — 14+ coding agent 的本地 token／成本 CLI；離線、不上傳
60. A agenttrace — 本地 TUI，讀 Claude Code／Codex／Gemini／Aider／Cursor session，顯示 tokens／成本／快取使用／重試／延遲
61. A OpenLLMetry — OpenTelemetry 式 GenAI 可觀測性，per-call token 與延遲遙測
62. A tokencost — 400+ LLM 的 USD 成本估算
63. A AgentOps — agent 監控與 LLM 成本追蹤
64. A Future AGI traceAI — 跨 35+ 框架的 OpenTelemetry 追蹤
65. A MLflow — 3.x 版含 GenAI 可觀測性與 per-span token 追蹤
66. A Helicone／Helicone AI Gateway — ⚠ 2026-03 被 Mintlify 收購，轉為僅維護模式

論文 — Prompt 壓縮（§07、§13）

67. A LLMLingua（2023）— 由粗到細迭代壓縮，最高 20×（EMNLP）
68. A LLMLingua-2（2024）— BERT 蒸餾，快 3–6×（ACL）
69. A LongLLMLingua（2023）— 長 context 下少 4× tokens
70. A Selective Context（2023）— self-information 剪枝，−50%
71. A LongCodeZip（2025）— 程式碼感知兩階段，最高 5.6× 且無效能損失（ASE 2025）
72. A LoPace（2026）— 無損壓縮，節省 72.2%
73. A Telegraph English（2026）— 符號式改寫，約 −50% 且維持 99.1% 準確度
74. A Production Compression RCT（2026）— 中度壓縮 −27.9% 成本、過度壓縮反噬（§07 警語的核心依據）
75. A Prompt Compression in the Wild（2026）— 首個大規模生產研究，30K queries

論文 — 路由與級聯（§08、§13）

76. A FrugalGPT（2023）— 級聯奠基之作，最高 98% 成本下降（§01 C2）
77. A RouteLLM（2024）— 2×+ 成本下降且無品質損失
78. A Hybrid LLM（2024）— 對大模型的呼叫減少 40%
79. A MTRouter（2026）— 成本感知多輪路由，−58.7%（ACL 2026；§06 手段 4）
80. A Routing, Cascades & User Choice（2026）— 賽局分析：最優路由通常是靜態的（§08 反直覺發現）

論文 — Context 與推理長度（§01 C3、§07、§13）

81. A Lost in the Middle（2023）— 模型對 context 中段資訊取用最弱
82. A Context Rot（Chroma, 2025）— 18 個模型實測，在達到宣稱上限前準確度即開始下滑
83. A Long Context RAG Performance（Databricks）— 32K–64K tokens 後明顯退化
84. A RAG vs Long Context — 對許多查詢類型，RAG 便宜 1,250×
85. A Token Complexity — 每個任務有其內在最小 token 數（§01 B3）
86. A Chain of Draft（2025）— 僅用 CoT 的 7.6% tokens
87. A Concise Chain-of-Thought（2024）— 縮短 48.7%，品質損失可忽略
88. A CROP（2026）— 長度正則化的自動 prompt 最佳化，輸出約 −80.6%

論文與工具 — KV cache／服務層（§13、§10 企業層）

89. A PagedAttention（vLLM, 2023）— 近乎零 KV cache 浪費
90. A RadixAttention（SGLang, 2023）— 自動 KV cache 重用
91. A KVzip（NeurIPS 2025 Oral）— 查詢無關的 KV 驅逐；記憶體 −3~4×、延遲 −2×
92. A LMCache（2025）— 跨 GPU／CPU／磁碟／網路的 KV cache，吞吐最高 15×
93. A TurboQuant（Google, ICLR 2026）— KV cache 壓縮 5×
94. A Mooncake — Moonshot AI Kimi 平台的分散式 KVCache 引擎，跨實例前綴重用

工程實例與產業指南（§10、§13、§14）

95. A ProjectDiscovery — How We Cut LLM Cost with Prompt Caching — 快取命中率 7%→84%，98 億 cached tokens（§03 R4、§14 原則①）
96. A Cockroach Labs — Agentic AI Costs at Scale — 重送 context 可占 agent 推論帳單 62%（§01 A1、首頁數據）
97. A GitHub — Improving Token Efficiency in Agentic Workflows — 剪除未用的 MCP 工具 schema + 改用 gh CLI，agentic CI 支出 −43~62%（§10）
98. A Redis — LLM Token Optimization — 語意快取約 −73%（§10）
99. A Together AI — Serving DeepSeek V4 — 壓縮 KV 佈局使單節點容量 1.2M→3.7M tokens（§10）
100. A Zilliz — Semantic Highlight for RAG — 70–80% token 縮減
101. A Epoch AI — LLM Inference Price Trends — 推論價格約每兩個月減半（§13 宏觀趨勢、§14 原則③、§15 時效性聲明）
102. A Premai — 8 Strategies to Cut API Spend 80% (2026)
103. A The Impact of Prompt Bloat on LLM Output Quality — 冗長本身導致品質下降（§01 B3）
104. A PromptingGuide — Optimizing Prompts — 壓縮／抽象／過濾策略
105. A Pinecone — Chunking Strategies／A Galileo — Advanced Chunking Techniques — §07 分塊策略
106. A JetBrains — Efficient Context Management — observation masking vs summarization（§07）

客戶端與 coding agent（§09）

107. Context Compaction Deep Dive: Codex CLI / Claude Code / OpenCode — 取用：Codex 於呼叫前修剪過長 function call 歷史、呼叫後過濾結果並重算 token
108. Codex CLI Performance Optimisation: Token Overhead & Tuning Tactics — 取用：model_auto_compact_token_limit、tool_output_token_limit = 12000
109. 7 Strategies to Reduce Codex CLI Token Usage — 取用：AGENTS.md 每輪重讀且能在 compaction 後存活，因此須精簡
110. openai/codex #19001 — 將 RTK 整合進 Codex CLI — §09 提及的社群整合提案（shell 輸出過濾 60–90%）
111. Save Claude Tokens: 16 Tactics for Chat, Code & Cowork — 取用：編輯取代追問、每 15–20 則開新對話、Projects 放重複檔案
112. How to Save Claude Tokens and Stop Hitting Usage Limits — 取用：第 30 則訊息約 232,000 tokens／成本約 928× 的推算（§01 A1、§09）
113. Token Optimization and Cost Management for ChatGPT & Claude — 取用：兩平台差異、Custom Instructions 與 Memory 的定位對比
114. 19 Proven Token-Saving Habits for Claude (2026) — 取用：bullet 式 prompt 較省且模型理解更佳、離峰時段建議（2026-03-26 起平日 5–11 AM PT）

企業治理（§10）

115. Kong — LLM Cost Management: AI Showback and Chargeback — 取用：showback vs chargeback 的定義與導入順序
116. Token Budgets: Setting and Enforcing LLM Spending Limits Per Team — 取用：團隊層級預算問責是最可靠的抑制浪費手段
117. 5 Enterprise AI Gateways for LLM Cost Control in 2026 — 取用：gateway 是唯一能在請求送出前攔截的位置（§10 核心區分）
118. Atlan — LLM Cost Management for Enterprise (2026) — 取用：開源 gateway 起步 vs 商用平台治理深度的差異
119. 5 Tools for LLM Cost Controls in Enterprises

Wei Ting's Research Vault 收錄、本報告提及但未展開

120. A LLM Safe Haven — AI coding agent 安全工具箱；關聯理由：安全失敗導致的 agent 重試會浪費 tokens
121. A Same Task, More Tokens / Context Length Alone Hurts — 輸入長度本身即降低表現（§07）