產品
Raptor N3000
Raptor N3000代表了創鑫智慧在AI加速器市場的策略性進化。最初，創鑫智慧開發了 RecAccel™ N3000 作為專注於深度學習推薦模型 (DLRM) 的ASIC（專用積體電路）加速器。隨著 2022 年底 ChatGPT 的推出，創鑫智慧意識到大型語言模型 (LLM) 日益增長的重要性，並迅速調整現有技術以滿足市場需求。
概述
高效能且省電的
LLM 加速器
適用於企業本地 AI 部署
LLM 加速器
適用於企業本地 AI 部署
Raptor N3000 是一款創新的 LLM 加速器，展現了創鑫智慧在 AI 領域快速應變的能力。該解決方案最初由 RecAccel™ N3000 DLRM 加速器發展而來，並經過戰略性強化，以滿足企業環境對本地 LLM 處理日益增長的需求。Raptor N3000 以高效能且省電的設計為核心，採用單晶片 ASIC 架構，內建 64GB DRAM 與向量運算引擎，使其能夠在本地執行 LLM 處理與向量資料庫運算。這種整合特性對於希望部署 AI 解決方案，同時維護數據隱私並減少對雲端依賴的企業而言，極具價值。
規格
| Raptor N3000系列規格 | |
|---|---|
| 內嵌 ARC HS48 處理器 |
|
| 內嵌 ARC EV72 處理器 |
|
| 通訊介面 | PCIe Gen 5x8 |
| 記憶體 |
|
| AI 加速器 |
|
產品特點
增強型 SDK，支援 LLM
增強型 SDK 提供強大且易於使用的開發工具套件，專為無縫整合 LLM 而設計。該 SDK 具備最佳化的模型整合功能與直覺的 API 介面，使開發者能夠快速實作 LLM 功能。內建的優化工具可協助開發者輕鬆微調模型效能，並維持每秒 8~10 個 Token 的最佳處理速度，與人類自然閱讀速度相匹配，確保流暢的互動體驗。這套完整的解決方案能簡化開發流程，確保最佳效能，讓各種技術水平的開發者都能輕鬆掌握先進的 LLM 功能。
適用於企業的自用地端 AI 加速
Raptor N3000 建立在成熟的架構之上，延續了前幾代產品的穩定軟體生態系統。其可靠的效能指標已透過廣泛的實際應用驗證，確保穩定且可預測的運行結果。該平台整合本地向量資料庫功能，使裝置能夠直接進行高效的數據處理與檢索。結合成熟技術與現代化能力，Raptor N3000 成為應對高級資安需求的可靠選擇。
關鍵優勢
成本效益
- 利用現有的 ASIC 架構
- 降低開發與部署成本
- 降低總擁有成本
電源優化
- 低功耗設計
- 降低散熱需求
- 減少運行成本
- 環保節能運行
實用性能
- 運行速度匹配人類閱讀速度
- 適用於企業應用場景
- 本地向量搜尋能力
- 高效內存管理，配備 64GB DRAM
部署靈活性
- 單晶片解決方案
- 緊湊型設計
- 易於整合至現有系統