1. XenForo 1.5.14 中文版——支持中文搜索！现已发布！查看详情
  2. Xenforo 爱好者讨论群：215909318 XenForo专区
XenForo 1.5.14 中文版 Xenforo 爱好者

新闻 Omni-Infer v0.7.0 已经发布，超大规模 MoE 模型推理加速技术 下载

本帖由 漂亮的石头 于 2025-12-16 ，04:32 发布。版面名称：软件资讯

  1. 漂亮的石头

    漂亮的石头 版主 管理成员

    注册:
    2012-02-10
    帖子:
    488,279
    赞:
    47
    Omni-Infer v0.7.0 已经发布，超大规模 MoE 模型推理加速技术。 v0.7.0 核心特性 Omni Cache支持MLA/GQA chunk prefill混部入图 支持SGLang 其它优化 基于2P8-1D32@A3，平均3.5K+1K，Deepseek R1性能达到QPM186，TTFT<2s，TPOT<20ms 基于2P2-1D4@A3，2K+2K，openPangu-72B单卡Decode峰值性能达到1560 TPS，TPOT<30ms 支持...
    Omni-Infer v0.7.0 已经发布，超大规模 MoE 模型推理加速技术下载地址
     
    漂亮的石头, 2025-12-16 ，04:32
    #1
正在加载...