1. XenForo 1.5.14 中文版——支持中文搜索！现已发布！查看详情
  2. Xenforo 爱好者讨论群：215909318 XenForo专区
XenForo 1.5.14 中文版 Xenforo 爱好者

新闻 Omni-Infer v0.4.0 发布，超大规模 MoE 模型推理加速技术 下载

Discussion in '软件资讯' started by 漂亮的石头, 2025-09-08.

  1. 漂亮的石头

    漂亮的石头 版主 Staff Member

    Joined:
    2012-02-10
    Messages:
    487,874
    Likes Received:
    47
    Omni-Infer v0.4.0 已经发布，超大规模 MoE 模型推理加速技术。 v0.4.0 核心特性 模型脚本重构，消除与框架的耦合，提升模型适配效率和代码可维护性 支持xPyD（y<32） PD分离场景P&D支持独立TP+DP+EP 全局绑核优化 支持模型列表 模型 硬件 精度类型 部署形态 DeepSeek-R1 A3 INT8 PD分离 DeepSeek-V3 A3 W4A8C16 PD分离 ...
    Omni-Infer v0.4.0 发布，超大规模 MoE 模型推理加速技术下载地址
     
    漂亮的石头, 2025-09-08
    #1
Loading...