創鑫智慧攜手思銳智慧 推出國產生成式AI自主化方案
成立於 2019 年的 AI ASIC 設計公司 創鑫智慧 (Neuchips Corp.),今日宣布與策略夥伴 思銳智慧 (ShareGuru Intelligence Technologies Inc.) 深度合作,推出領先業界的地端生成式 AI 解決方案。這項完整方案以創鑫智慧高效能、低功耗的 Viper LLM 推論卡 為核心,結合思銳智慧獨特的 Multi-Agent AI 應用平台 (多代理AI應用平台),旨在克服企業對資料外洩的隱憂,並大幅降低中小型企業導入生成式 AI 的門檻,推動 AI 自主化。
創鑫智慧:Viper LLM 推論卡——重塑 AI 效率的核心
創鑫智慧深知記憶體與功耗是語言模型發展的兩大關鍵。面對市場上 GPU 主導的 AI 發展趨勢,我們堅信並非所有任務都需要高昂且耗能的 GPU。我們的核心產品 Viper LLM 推論卡 專為推論應用設計,成功在效能與部署成本之間取得絕佳平衡:
- 頂尖晶片核心: Viper LLM 推論卡 內建我們自主研發的 Raptor N3000 推論晶片,展現卓越的成本效益與能源效率。
- 極致效能與功耗比: 具備 64GB LPDDR5 記憶體,單卡可支援最大到 14B 參數的模型。平均功耗僅需 45 瓦 (W),成功克服傳統 AI 方案在「AI 能源效率」與「部署成本」之間的兩難。
- 靈活部署: 採用主動式散熱的 HHHL PCIe (半高半寬 PCIe) 外型設計,可輕鬆安裝於一般小型電腦主機內,極適合亟欲擁抱 AI 的中小型企業用戶。
軟硬體完美整合:MINI SERVER 一站式知識管理主機
為解決中小型企業在 AI 軟體資源投入與技術開發上的困難,創鑫智慧與AI軟體發開夥伴 思銳智慧 聯手打造了 MINI SERVER 一站式主機,實現真正的軟硬體整合,建立自動化的知識問答服務體系:
- 強大硬體配置: MINI SERVER (迷你伺服器) 搭載 Intel i5 處理器、32GB AMD Pro AI 9700 GPU 以及我們的 64GB Viper LLM 推論卡。此組合有效分配運算資源、突破記憶體容量限制,搭配思銳智慧的解決方案,可同時支援 5-10 人部門服務。
- 地端 LLM 管理平台: 提供企業多人用地端 LLM 管理平台,具備彈性擴充、低功耗且極簡部署的特性,重新定義了 AI 推論效率與實用性。
思銳智慧:ShareQA 系統——地端知識管理革新
思銳智慧以其核心技術 Multi-Agent AI 應用平台 打造了 ShareQA 企業客服知識管理 AI 系統。此平台旨在解決企業知識傳承效果不彰與資料斷層的痛點:
- 核心NL2SQL 技術: 運用 ShareGuru 自主研發的 AI 代理框架技術結合自然語言轉換SQL語言生成技術(NL2SQL)與AI語料處理技術,大幅提升AI回答效果與準確度。
- 資料主權與安全: 企業資料在不對外提供的前提下,即可匯入系統,實現地端專屬智慧問答。
- 跨語系優勢: 運用 AI 多代理人技術,有效克服語言障礙,可自動依據使用者發問所使用的語言來應答,非常適合跨國企業客服或多語系組織的需求。
共同展望:打造主權 AI,落實 AI 自主
創鑫智慧與思銳智慧不僅提供全地端解決方案,更獲選為國研院國網中心 (NCHC) TAIWAN AI RAP 的試營運夥伴,將「國產晶片(創鑫智慧 Viper)」、「國產解決方案(思銳智慧 ShareQA)」與「國產雲端架構」相結合,為企業打造具備主權 AI 特色的服務,保障國家資訊安全,共同推動 AI 自主。