【時報-台北電】大陸人工智慧（AI）新創公司深度求索（DeepSeek）宣布開源名為DeepInfer的內部推理框架，協助開發者和企業提高AI模型運行效率，降低算力成本及能源消耗。

DeepSeek於20日在微信公眾號宣布，將內部推理框架DeepInfer開源，分享公司大規模部署AI模型的技術經驗，幫助開發者和企業以更低成本運行AI模型。

DeepSeek指出，大模型的能力邊界由模型本身劃定，但如何以合理成本提供超大規模的模型服務，還取決於推理框架的效率。推理框架負責統籌調度算力集群，其效率直接決定AI服務的算力成本與電力消耗。

據介紹，DeepInfer整合多項優化技術，包括分布式推理、推測解碼和緩存複用等，旨在提高模型處理請求的速度，並減少重複計算，從而更有效地利用晶片算力。

該框架目前支持DeepSeek旗下V4.1 Flash模型，開源版本適用於英偉達SM100圖形處理器及華為昇騰950平台。DeepSeek未來也將持續開源新模型的推理代碼及相關優化技術。

根據DeepSeek披露的數據，採用這套推理系統運行的V4.1 Flash模型，單一計算集群目前每天可處理155兆個詞元（Token）。詞元是AI模型處理文本等信息的基本單位。

DeepSeek也同步開源名為deepseek-recipe的詞元編解碼組件，旨在讓第三方開發者部署模型時，獲得與DeepSeek官方服務一致的應用程序接口（API）處理體驗。

外媒分析，AI模型的運行成本不僅取決於模型本身，也受到推理軟件效率影響。通過開放相關技術，DeepSeek有望幫助雲端服務商及企業降低AI模型的部署成本，並讓其他開發者借鑑其優化技術。

降低AI模型的推理成本，有助於提高AI託管服務商的利潤率，並可能進一步轉化為面向客戶的更低收費。

不過，DeepSeek此次並未開放完整的推理服務系統，其中緩存管理和負載均衡等組件仍與公司內部基礎設施緊密關聯。此外，DeepInfer實際能提高多少運行效率，目前仍缺乏獨立測試驗證。(工商即時 張漢驊)