1. XenForo 1.5.14 中文版——支持中文搜索！现已发布！查看详情
  2. Xenforo 爱好者讨论群：215909318 XenForo专区
XenForo 1.5.14 中文版 Xenforo 爱好者

新闻 Omni-Infer v0.7.0 已经发布，超大规模 MoE 模型推理加速技术 下载

Discussion in '软件资讯' started by 漂亮的石头, 2025-12-16 at 04:32.

  1. 漂亮的石头

    漂亮的石头 版主 Staff Member

    Joined:
    2012-02-10
    Messages:
    488,289
    Likes Received:
    47
    Omni-Infer v0.7.0 已经发布，超大规模 MoE 模型推理加速技术。 v0.7.0 核心特性 Omni Cache支持MLA/GQA chunk prefill混部入图 支持SGLang 其它优化 基于2P8-1D32@A3，平均3.5K+1K，Deepseek R1性能达到QPM186，TTFT<2s，TPOT<20ms 基于2P2-1D4@A3，2K+2K，openPangu-72B单卡Decode峰值性能达到1560 TPS，TPOT<30ms 支持...
    Omni-Infer v0.7.0 已经发布，超大规模 MoE 模型推理加速技术下载地址
     
    漂亮的石头, 2025-12-16 at 04:32
    #1
Loading...