DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库
来源:人民财讯作者:周春媚2025-02-25 10:52

人民财讯2月25日电,2月25日,DeepSeek在“开源周”的第二天向公众开源了DeepEP。据介绍,DeepEP是第一个用于MoE(混合专家)模型训练和推理的EP(Expert Parallelism,专家并行)通信库,可以实现高效且优化的全对全通信,支持包括FP8在内的低精度运算,适配现代高性能计算需求。

同时,DeepEP针对NVLink到RDMA的非对称带宽转发场景进行了深度优化,不仅提供了高吞吐量,还支持SM(Streaming Multiprocessors)数量控制,兼顾训练和推理任务的高吞吐量表现。对于延迟敏感的推理解码场景,DeepEP还提供了纯RDMA的低延迟内核,支持自适应路由,能实现更灵活的GPU资源控制,满足不同场景需求。

校对:刘星莹

责任编辑: 许擎天梅
声明:证券时报力求信息真实、准确,文章提及内容仅供参考,不构成实质性投资建议,据此操作风险自担
下载“证券时报”官方APP,或关注官方微信公众号,即可随时了解股市动态,洞察政策信息,把握财富机会。
网友评论
登录后可以发言
发送
网友评论仅供其表达个人看法,并不表明证券时报立场
暂无评论
为你推荐
时报热榜
换一换
    热点视频
    换一换