產品
DM2 Series
這款解決方案是尋求在空間限制下實現先進 AI 能力的組織的理想選擇，無需在性能或安全性上做出妥協。它從 OCP 項目發展為商業產品，展示了其在應對日益增長的對緊湊型強大 AI 加速解決方案需求方面的多功能性和有效性。DM2 有效地填補了企業級 AI 能力與空間高效計算之間的鴻溝，使其成為希望在優化物理基礎設施佔地面的同時擁抱 AI 技術的組織的有吸引力選擇。
概述
將企業 AI 從 Meta 轉變為主流應用
DM2 代表了一款尖端的企業級 GenAI 解決方案，最初為 Meta 的 OCP（開放計算項目）設計，現在已經調整為滿足日益增長的 AI 個人電腦應用需求。這款緊湊型 AI 加速卡在市場中脫穎而出，提供企業級 AI 能力，同時具備更為高效的空間佈局。
核心技術：DM2 的核心搭載了一顆強大的生成式 AI 處理器，旨在優化 LLM（大型語言模型）的性能。該處理器能夠高效地將超過 90% 的 AI 工作負載從主機 CPU 卸載，顯著提升整體系統性能。該卡還包括一個先進的嵌入式引擎，能在向量相似度搜尋中提供超過 10 倍的性能提升，這對於 RAG（檢索增強生成）過程至關重要。
記憶體與儲存：儘管 DM2 的體積緊湊，但它依然保有大量的記憶體容量及先進的向量數據庫功能。它採用了創新的量化技術，將向量數據壓縮四倍，最大化儲存效率。這些板載記憶體作為一個安全的本地向量數據庫，能夠快速且高效地處理數據，同時確保敏感信息得到保護。
規格
| DM2 系列規格 | |
|---|---|
| 規格 | 描述 |
| 支援 LLM 模型 | Llama3.2, Mistral NeMo, Phi 3.5, Breeze, TAIDE |
| 總板功率 | 最小 = 25W 預設 = 35W 最大 = 40W |
| 散熱解決方案 | 依需求提供 |
| 機械外型 | OCP 雙 M.2 |
| 記憶體類型 | LPDDR5 |
| 記憶體容量 | 最高 64GB |
| 記憶體時脈 | 6400 Mbps |
| 環境操作溫度 | 0°C 至 50°C |
| 儲存溫度 | -40°C 至 75°C |
| 操作濕度 | 5% 至 85% 相對濕度 |
| 儲存濕度 | 5% 至 95% 相對濕度 |
主要優勢
最大化節省，最小化 AI 成本
即時高效轉變 AI 操作
高效緊湊，無硬體麻煩
簡化操作，最大化輸出
離線安全，零資料外洩
低功耗，高永續性
主要特色
空間優化
DM2 的緊湊型設計為空間有限或希望最大化計算環境密度的組織提供了顯著的優勢。這一特點對於小型辦公室、邊緣計算應用或以空間效率為主要考量的環境尤為寶貴，同時保持與大型解決方案相同的 AI 處理能力。成本效益
與其大型對應產品相似，DM2 透過減少 AI 實施的總成本提供了可觀的財務效益。其緊湊設計在空間有限的環境中可能帶來額外的成本節省。組織可以在不需要大量基礎設施投資的情況下實現先進的 AI 能力，使其成為各種規模企業的經濟實惠選擇。靈活集成
DM2 的小型外形增強了其集成靈活性，使其適用於更廣泛的硬體配置。這使得組織能夠在較大的卡片可能不實用的環境中實施 AI 能力，同時保持即插即用的簡便性，確保部署過程簡單且對現有操作干擾最小。優化性能
儘管尺寸緊湊，DM2 仍保持與大型解決方案相同的卓越性能。它有效地將 AI 工作負載從 CPU 轉移，並加速 RAG 處理過程，使組織即使在空間有限的環境中也能實現高效能 AI 操作。這一優化確保組織在選擇更緊湊的解決方案時不必在性能上妥協。