大規模AI部署：從邊緣到資料中心

AI系統現已廣泛應用於各類技術中，從智慧車輛功能、自動化零售自助機，到工業設備與醫療影像工具，皆仰賴幕後運行的AI模型來分析資料並產生結果。

然而，在AI系統能提供這些結果之前，模型必須部署至運行應用程式的運算系統中。本文將說明什麼是AI部署、AI模型如何在不同運算系統中運行，以及為何系統必須具備隨AI工作負載成長而擴展的能力。

什麼是AI部署？

AI部署是指將訓練完成的AI模型置入系統中，使其能開始處理真實資料的階段。AI模型通常在開發環境中建立並訓練完成，訓練後必須部署至系統內，才能應用於實際場景。

部署完成後，模型會從所連接的系統接收新輸入，並產生預測、分類或推薦等輸出，讓模型成為運作系統的一部分。

依應用需求而定，AI模型可能部署於不同類型的運算系統中。

AI部署環境

依應用規模與所需運算能力，AI模型可部署於多種不同的運算環境。有些系統直接在單一裝置上運行AI，其他則仰賴大型伺服器或分散式運算基礎設施，來支援更重的負載與更多使用者。

以下部署環境代表了當今常見的幾種AI系統部署方式。

• 單一裝置 / 邊緣AI

單一裝置或邊緣AI是指AI模型直接在產生資料的個別裝置上運行，而非將資料傳送至遠端伺服器，裝置本地處理資訊，可實現更快速的反應並降低對網路連線的依賴。

在這些系統中，裝置透過攝影機、麥克風或其他感測器收集資料，隨後由系統內的AI模型處理資料以產生結果並觸發系統功能。

例如，工業檢測攝影機能即時分析影像以偵測製造缺陷；零售自助結帳機或自動點餐機可利用AI辨識商品或協助客戶交易，協助企業因應勞力短缺同時維持高效服務。類似系統也應用於智慧車艙中，攝影機與感測器監控駕駛狀況並支援駕駛員監測或語音互動等功能。

由於這些裝置需即時運作且常受限於電力與運算資源，高效能的AI硬體對於邊緣部署特別重要。

• 企業伺服器AI

企業伺服器AI是指部署於組織內部基礎設施伺服器上的AI系統，這些系統支援企業營運與內部工作流程，而非公共雲端服務。

許多情況下，組織會本地部署AI來處理無法傳送至外部平台的敏感資料。例如，政府機關可利用AI系統協助文件處理工作，如解讀報告、摘要大量文字或產生行政文件草稿。

企業也可能部署AI分析內部文件，如合約、報告或使用OCR技術掃描的文件，這些系統協助組織更有效地處理大量資訊，同時將敏感資料保留在自家基礎設施內。

AI也應用於保險業等產業，部署的模型協助理賠風險評估、保單比對及客戶諮詢支援。

• 資料中心AI

資料中心AI是指部署於專為處理大量工作負載並同時服務多位使用者或應用程式的集中式運算設施中的AI系統。

在這些環境中，AI模型處理大量資料並回應來自使用者、應用程式或連接服務的請求。由於這些系統常支援廣泛使用的平台，必須能持續運作並處理高流量與大量運算需求。

例如，資料中心運行的AI模型可能支援電子商務平台的推薦系統、搜尋引擎的排序演算法，或與大量使用者互動的對話式AI服務。

為支援這些工作負載，資料中心部署仰賴能提供高吞吐量與穩定效能的強大運算基礎設施。

• 叢集規模AI

叢集規模AI是指跨多台伺服器或運算節點協同運作的AI系統，這些部署將工作負載分散至多個處理器，以處理極大型模型、資料集或服務需求，而非依賴單一機器。

這些系統常支援需同時處理多裝置或使用者資訊的大型平台。例如，大型對話式AI服務或聊天機器人平台可能仰賴分散式運算叢集來處理高量請求。

叢集規模系統也可能支援大型連接基礎設施。在智慧城市平台中，AI可分析交通攝影機與監控系統的資料，協助交通管理和事件通報。同樣地，後端平台可能彙整並分析數千台零售自助機或車輛系統的資料，協助營運者監控使用模式並改善服務。

由於這些部署涉及眾多互聯機器，底層硬體架構必須能有效擴展並維持系統整體的穩定效能。

為何需要可擴展的AI硬體架構

AI系統部署於從單一裝置到大型運算叢集的各種環境中。隨著這些系統成長擴張，其運算需求也可能隨之改變。為支援此演進，AI硬體必須以可擴展性為設計核心。

可擴展AI硬體架構之所以重要，是因為：

• 工作負載可能隨時間成長

最初支援小型工作負載的AI系統，後續可能需處理更大資料量或更複雜任務，以因應應用擴張。

• 流量需求可能波動

某些AI服務必須因應突然增加的請求，特別是服務大量使用者或連接服務時。

• AI模型持續增加規模與複雜度

現代AI模型常需比早期系統更多的運算能力和記憶體資源。

• 基礎設施投資需要彈性

組織受益於能擴展運算容量且無需完全重新設計系統的硬體平台。

基於這些因素，AI系統日益需要能隨工作負載成長與系統需求演進而擴展運算能力的硬體架構。

創鑫智慧 Blue Magpie NPU IP如何實現可擴展AI部署

為支援不同環境與工作負載的AI部署，硬體架構必須能在系統需求增加時擴展運算能力。創鑫智慧開發的Blue Magpie NPU IP具備可擴展架構，設計目的是隨應用需求成長而擴增AI處理能力。

Blue Magpie架構支援從單一NPU核心到多核心協同運作的靈活配置，讓系統設計者能在工作負載更嚴苛時，增加可用運算資源，而無需重新設計整個硬體平台。

例如，系統最初可部署單一NPU核心用於輕量邊緣AI任務。當應用需求擴張時，如新增感測器、支援更複雜模型或處理更高資料量，可整合額外核心以提供更大能力。

此可擴展設計讓AI系統能隨應用需求成長，同時維持高效的電力與矽晶資源使用。

與創鑫智慧合作

可擴展硬體架構是現代AI部署的關鍵要素。創鑫智慧 Blue Magpie NPU IP提供靈活基礎，讓您建構能隨應用成長的AI系統。

聯繫我們，了解Blue Magpie NPU IP如何支援您的下一個AI專案。