什麼是LLM推論？效能與加速技術

使用者與AI助理互動時，期望回應幾乎即時出現。無論是詢問聊天機器人問題、產生程式碼建議，或搜尋公司內部知識庫，回應速度都大幅影響系統實用性。

這些互動背後是大型語言模型（LLM），其即時分析使用者輸入並產生回應。此產生回應的過程稱為LLM推論，其效能直接影響AI系統的回應速度與效率。

本文首先深入探討LLM推論的定義與運作原理，並說明創鑫智慧 Blue Magpie NPU如何加速LLM推論工作負載。

什麼是LLM推論？

LLM推論是指使用已訓練的大型語言模型（LLM）處理新使用者輸入並產生回應的過程。當使用者輸入提示詞時，模型會處理輸入並產生文字、程式碼、摘要或翻譯等結果。

推論期間，模型不會學習新資訊或更新參數，而是利用訓練期間學得的模式分析提示詞，並預測接下來的單字或文字片段。輸出會逐步產生，直到回應完成。

由於每次使用者與AI系統互動都會進行推論，其效能直接影響回應速度與整體系統效率。

LLM推論如何運作？

LLM推論透過一系列步驟產生回應，從處理使用者輸入逐步生成最終輸出。雖然底層模型架構複雜，但整體流程可透過關鍵階段理解。

• 提示詞（Prompt）

流程從使用者提供提示詞開始，這是輸入給語言模型的文字。提示詞可能是問題、指令，或模型需分析的文字片段。

在模型處理提示詞前，文字首先被拆解成稱為token的小單位，代表單字或單字片段。這些token是模型內部處理的基本單位。

• 預填充階段（Prefill Phase，提示詞處理）

預填充階段中，模型處理提示詞的所有token以理解上下文。

token會通過模型的Transformer層，分析彼此間的關係。在此過程中，提示詞的上下文資訊會儲存於Key-Value（KV）快取結構中。

此快取資訊代表模型對提示詞的理解，並準備系統開始產生回應。由於必須完整處理提示詞才能產生第一個輸出token，此階段的效率強烈影響模型產生首token的速度。

• 解碼階段（Decode Phase，Token生成）

提示詞處理完成後，模型進入解碼階段開始產生回應。

模型不會一次產生完整輸出，而是逐一生成token。為決定下一個token，模型必須考量原始提示詞與已生成的回應token。

預填充階段儲存於KV快取的上下文資訊，讓模型在生成新token時有效參照提示詞。每產生一個token，即附加至回應並將其上下文資訊加入KV快取，讓模型維持回應成長時的上下文。

由於此生成步驟會重複多次，解碼過程的效率對整體推論速度有重大影響。

• 回應輸出

隨著解碼過程持續，生成的token會合併並轉換回人類可讀文字。最終結果即使用者看到的回應。

為何快速推論如此重要？

由於LLM在推論期間逐token生成回應，此過程速度直接影響整體系統效能。

推論速度緩慢會延遲回應並降低AI應用效能；快速推論則提升回應性，讓AI系統更有效處理請求。

為評估與優化推論效能，常見幾項關鍵指標：

• 首Token時間（TTFT）

首Token時間（TTFT）衡量模型接收提示詞後產生第一個輸出片段所需的時間。

此指標反映使用者開始看到回應前的延遲，主要由預填充階段決定，此時模型必須完整處理提示詞才能產生首token。

較低的TTFT意味使用者更快看到回應開始，提升AI系統的感知回應性。

• 每輸出Token時間（TPOT）

每輸出Token時間（TPOT）衡量首token後每個額外輸出片段的平均產生時間。

此指標反映首token後剩餘回應出現的速度，主要受解碼階段影響，此時模型逐步產生回應。

較低的TPOT意味模型能更快產生剩餘文字。

• 吞吐量（Throughput）

吞吐量衡量系統在特定時間內能處理多少推論請求或token。

更高的吞吐量讓AI服務同時支援更多使用者，對於企業AI平台或雲端服務等大規模部署特別重要。

LLM推論面臨哪些挑戰？

雖然大型語言模型實現強大AI應用，但高效運行推論仍具技術挑戰。隨著模型變大與應用要求更快回應，多項效能瓶頸會出現。

• 回應生成高延遲

隨著模型與提示詞規模成長，LLM推論常見高延遲挑戰。較大提示詞需處理更多資料才能產生首token，增加TTFT。

同時，生成每個額外token仍需新計算與重複存取記憶體中的上下文資料。模型變大與回應變長時，此過程會減緩TPOT，使整體回應展開更慢。

• 高運算工作負載

LLM推論需大量數學運算處理提示詞並產生回應。現代大型語言模型常含數十億參數，每次推論請求須通過多層計算。

雖然推論期間模型不學習，但每個請求與每個生成token仍須執行這些計算。模型規模成長時，總運算工作負載大幅增加，對處理硬體造成沉重需求。

• 記憶體頻寬瓶頸

LLM推論涉及記憶體與運算單元間頻繁資料移動。生成token期間，KV快取等結構中的上下文資訊須重複存取。

提示詞變長與回應成長時，推論期間儲存與擷取的資料量增加。此壓力可能使處理器花更多時間等待資料而非計算。

• 上下文長度與Token限制

LLM運作於固定上下文視窗，限制同時處理token數量。提示詞變長或對話累積更多上下文時，推論期間須處理更大輸入資料量。

較長token序列增加運算工作負載與記憶體使用，維持高效推論效能更具挑戰。某些情況下，超過模型token限制的輸入可能需截斷或額外處理。

創鑫智慧 Blue Magpie NPU如何提升LLM推論效率

探討LLM推論挑戰後，創鑫智慧開發Blue Magpie NPU透過針對性架構優化解決這些問題。

以下說明這些設計特色如何提升推論效率。

• GEMM與GEMV加速實現更快Token處理

LLM推論的關鍵挑戰是延遲，反映於TTFT與TPOT等指標。

Blue Magpie透過優化Transformer模型的核心運算改善這些指標。架構加速主宰提示詞處理的GEMM（通用矩陣乘法）運作，以及token生成使用的GEMV（通用矩陣向量乘法）運作。透過提升這些運算效率，Blue Magpie有助降低TTFT與TPOT，讓互動式AI應用實現更快回應時間。

• 支援多樣AI工作負載的MVP架構

LLM推論對處理硬體造成高運算需求，因需大量數學運算。

Blue Magpie採用矩陣向量處理器（MVP）架構，專為高效處理AI模型常用矩陣運算設計。此設計支援矩陣乘法與捲積運作，讓處理器在生成式AI與視覺AI系統等不同模型類型中維持優異效能。

• 資料移動引擎實現高效記憶體存取

生成token期間記憶體頻寬易成LLM推論瓶頸，因上下文資料須重複存取。

為解決此問題，Blue Magpie整合專用資料移動引擎，優化記憶體與運算單元間資料移動。支援高效2D與3D gather/scatter運作及靈活資料重映射，架構有助減少不必要記憶體流量並提升整體頻寬利用率。

• NeuKompression支援長上下文處理

提示詞變長與對話累積更多上下文時，儲存的上下文資訊量大幅增加。

Blue Magpie引入專有NeuKompression技術，在維持模型精確度的同時壓縮KV快取。透過降低上下文資料的記憶體佔用，此方法讓系統處理更長輸入序列與延長互動，同時維持高效推論效能。

結論

高效LLM推論對於提供回應迅速的AI應用至關重要。創鑫智慧 Blue Magpie NPU透過優化AI加速架構，協助開發者與系統建置者實現更快、更高效的推論。

欲了解創鑫智慧 Blue Magpie NPU如何支援您的AI系統，請聯繫我們。