当前位置: 当前位置:首页 > 客户案例 > 告别重复计算!中科曙光将发布大模型词元加速方案 正文

告别重复计算!中科曙光将发布大模型词元加速方案

2026-09-27 04:52:07 来源:遵义顺昌机电设备有限公司 作者:关于我们 点击:399次

赛迪顾问最新《中国分布式存储市场研究报告(2026)》显示,告别中科曙光在AI、重复中科教育、计算将发加速具身智能和自动驾驶四个行业位居中国市场第一,曙光其中AI存储连续三年居首。模型

报告提出,词元以KV Cache为代表的告别AI原生数据正在成为存储系统的新型负载。随着长上下文、重复中科多轮交互和高并发推理增多,计算将发加速KV Cache规模持续扩大,曙光不仅占用大量GPU显存,模型中间结果调度和复用不畅还可能导致重复计算,词元影响模型响应速度及集群并发能力。告别

据悉,重复中科中科曙光将针对推理侧出现的计算将发加速新问题,于2026数博会期间发布基于存算协同设计的全新词元加速方案,该方案在长上下文多轮对话、高并发推理服务、轻量级硬件部署等核心AI推理场景的实际应用中,均取得突破性进展。


 

 

作者:产品
------分隔线----------------------------
头条新闻
图片新闻
新闻排行榜