近年來,大規模語言模型(LLMs)的發展呈現飛速增長,從 OpenAI 的 GPT 系列到 DeepSeek R1,它們的推理能力已達到前所未有的高度。在此過程中,「思維鏈(Chain-of-Thought, CoT)」作為 AI 推理的重要方式,人工智慧透過逐步推導來提升準確性。然而,這種方式的缺點亦顯而易見:高昂的計算成本與延遲。最近,Zoom 的研究團隊提出了一種全新的推理範式:「草稿鏈」(Chain-of-Draft, CoD),希望透過模仿人類的簡潔思維方式,在不犧牲準確性的情況下,大幅降低 Token 使用量與計算資源。據統計,使用 CoD 進行相同任務時,Token 消耗可減少 80%,並有效降低推理時間,這使得 CoD 可能成為 AI 領域的下一個重要趨勢。
Zoom研究團隊提出全新AI推理範式「CoD」草稿鏈,能減少 80% Token 使用量
無論是 OpenAI 的 GPT-4o,還是 DeepSeek R1,現今 LLMs 透過「思維鏈」來處理任務的表現已相當優異。這種方法讓 AI 逐步拆解問題,類似人類解數學題時,先寫下完整的推導過程。然而,這種方式的缺點在於大量消耗計算資源,導致回應冗長且延遲較高。Zoom 研究團隊在 arXiv 的論文指出,人類在解決問題時,並不會記錄所有細節,而是傾向於簡潔地寫下核心資訊,例如速記或關鍵步驟。因此,他們設計了「草稿鏈」,讓 AI 只生成最精簡的中間推理步驟,捕捉解決問題的關鍵信息,避免不必要的冗長輸出。這一新方法的核心在於模仿人類的認知過程,使 AI 更高效地運作,減少推理步驟中的冗餘計算。
CoT vs. CoD:以算術問題為例
讓我們看看不同推理方式在同一個簡單算術問題上的表現:
問題:
杰森有 20 個棒棒糖。他給了丹尼一些棒棒糖。現在杰森有 12 個棒棒糖。杰森給了丹尼多少個棒棒糖?
直接回答(標準方法):
8
這種方式直接輸出答案,但缺乏透明性,在較複雜的問題上容易出錯。
思維鏈(CoT):
-
最初,杰森有 20 個棒棒糖。
-
他給了丹尼一些棒棒糖後,剩下 12 個。
-
因此,應計算 20 – 12 = 8。
-
答案是 8。
這種方法雖然較為清楚,但步驟冗長,Token 消耗較高。
草稿鏈(CoD):
20 – x = 12;x = 20 – 12 = 8。#### 8
這種方式利用簡潔的數學表達式,大幅降低 Token 使用量,同時保留一定的透明度。
草稿鏈的實驗結果與優勢
Zoom 研究團隊對 CoD 進行了多種基準測試,包括算術推理、常識推理與符號推理,結果顯示:
-
在 GSM8k 數據集上,使用 CoD 的 GPT-4o 和 Claude 3.5 Sonnet 準確率分別為 91.1% 和 91.4%,而使用 CoT 的準確率則為 95.4% 和 95.8%。
-
儘管準確率稍微降低,但 CoD 使 Token 使用減少 80%,並將延遲降低 76.2%(GPT-4o)與 48.4%(Claude 3.5 Sonnet)。
-
在常識推理與符號推理任務中,CoD 仍表現優異,例如在擲硬幣測試中,GPT-4o Token 使用量減少 68%,Claude 3.5 Sonnet 減少 86%,準確率仍維持 100%。
這些結果表明,草稿鏈在減少計算資源的同時,依然能夠保持相當程度的準確性。
企業 AI 部署成本的變革
企業部署 AI 模型時,成本與運算資源的考量至關重要。與 CoD 類似,去年已有研究提出「簡潔思維(Concise Thoughts, CCoT)」與「Token 預算感知推理」,但這些方法在實際應用中面臨挑戰,例如固定 Token 預算不一定能適用於所有任務。相比之下,CoD 採用更靈活的每步 Token 預算方式,使其適用於各種推理需求。
根據 AI 研究員 Ajith Prabhakar 的分析,若企業每月處理 100 萬條推理查詢:
-
使用 CoT 的成本約為 3800 美元
-
使用 CoD 的成本可降至 760 美元
這意味著每月可節省 3000 美元,在大規模應用時,節約效果更為顯著。此外,CoD 還能提升 AI 應用的響應速度,尤其在即時客服、教育與對話式 AI 領域,其降低延遲的特性將改善用戶體驗。
CoD 會成為新標準嗎?
雖然 CoD 具備降低成本與提升效率的優勢,但 OpenAI 曾於 2024 年 3 月發文指出,「思維鏈監控(CoT Monitoring)」是未來監督超人類模型的重要工具之一,因為 CoT 讓 AI 的推理過程更具透明性,使人類能夠監測 AI 是否出現欺騙行為。
Detecting misbehavior in frontier reasoning models
Chain-of-thought (CoT) reasoning models “think” in natural language understandable by humans. Monitoring their “thinking” has allowed us to detect misbehavior such as subverting tests in coding tasks, deceiving users, or giving… pic.twitter.com/uX9f5n3zB9
— OpenAI (@OpenAI) March 10, 2025
因此,在 AI 安全與監管方面,CoT 仍具有其不可取代的價值。然而,在降低計算成本與提高 AI 普及度的背景下,CoD 無疑是一項關鍵技術。隨著 AI 產業持續發展,未來的推理方式可能會融合 CoT 的透明性與 CoD 的高效特性,形成一種兼具準確性、可解釋性與低成本的混合推理模式。
總結
從「思維鏈」到「草稿鏈」,AI 推理技術仍在持續演進。無論是為了降低成本、提升效率,還是加速 AI 在企業與日常應用中的普及,CoD 都為 LLMs 帶來了嶄新的可能性。在 AI 領域競爭激烈的今天,如何在性能、成本與安全性之間取得最佳平衡,將是技術發展的重要課題,而 CoD 的出現,無疑是朝著這一目標邁進的重要一步。