飞桨框架3.2版本在大模型训练推理性能、硬件适配、主流大模型及高性能加速库的支持上进一步提升。 大模型训练方面,飞桨框架在计算、并行策略、容错能力三方面进行了升级: 从基础计算性能层面,提出了存算重叠的稀疏掩码注意力计算FlashMask V3,极致优化Attention的计算效率,同时还实现了高效的FP8混合精度效果无损训... PaddlePaddle 3.2.0 发布下载地址