近期DeepSeek V3 引爆国内外的社交媒体，他们在训练中成功应用了 FP8 精度，显著降低了 GPU 内存使用和计算开销。这表明，FP8 量化技术在优化大型模型训练方面正发挥着越来越重要的作用。

　　近期，来自伯克利，英伟达，MIT 和清华的研究者们提出了显存高效的 FP8 训练方法：COAT（CompressingOptimizer states andActivation for Memory-Efficient FP8Training），致力于通过FP8 量化来压缩优化器状态和激活值，从而提高内存利用率和训练速度。COAT 实现了端到端内存占用减少 1.54 倍，端到端训练速度提高 1.43 倍，同时保持模型精度。它还可以使训练批次大小加倍，从而更好地利用 GPU 资源。通过利用 FP8 精度，COAT 使大型模型的高效全参数训练在更少的 GPU上成为可能，并有助于在分布式训练环境中加倍批次大小，为大规模模型训练的扩展提供了实用的解决方案。最重要的是，他们的训练代码完全开源。

　　论文第一作者席浩诚本科毕业于清华大学姚班，目前在伯克利攻读博士学位，他在英伟达实习期间完成了这篇工作。论文共同通讯作者为 MIT 韩松副教授和清华大学陈键飞副教授。

　　论文作者发现，当前的量化方法无法充分利用 FP8 的表示范围，因此在使用每组量化（per-group quantization）对优化器状态进行量化时会导致较大的量化误差。对于 FP8 的 E4M3 格式，我们希望量化组 X 的动态范围覆盖 E4M3 的最小可表示值（0.00195）和最大可表示值（448）之间的整个跨度，以充分利用其表示能力。然而，E4M3 的动态范围通常未被充分利用：E4M3 的动态范围约为 200000，但一阶动量的每个量化组的最大值最小值之比通常为 1000，二阶动量的该比值则通常为 10，远小于 E4M3 的动态范围。这使得用 FP8 来量化优化器状态的误差非常大。

　　论文作者发现，在量化之前引入一个扩展函数 f (・)，能够扩大量化组的动态范围，并使其与 E4M3 对齐。使用的扩展函数为：

　　其中，k 是即时计算的参数，每个量化组共享一个 k。当 k>

　　1 时，动态范围将被扩大，并更接近 E4M3 的动态范围。在每一步训练中，都可以即时的计算出最优的 k，从而可以充分利用 E4M3 的表示范围，而原始的量化方法只能利用其中的一小部分。

　　动态范围扩展方法可以大大减少量化误差，并充分利用 E4M3 的动态范围。除此之外，还发现，E4M3 比 E5M2 更适合一阶动量。而对于二阶动量，虽然在原始设置中 E4M3 优于 E5M2，但在应用我们的扩展函数后，它们的量化误差几乎相同。因此，建议在量化优化器状态时使用 E4M3 + E4M3 量化策略或 E4M3 + E5M2 量化策略。

　　在语言模型的前向传播中，必须保留激活值以用于反向传播计算梯度。在 Llama 模型系列中，非线性层通常占内存占用的约 50%。相比之下，线%。因此，优化线性和非线性层以减少激活内存占用至关重要。

　　FP8 精度流要求所有线性和非线性层的输入和输出采用 FP8 格式。通过直接以 FP8 格式保存输入张量用于反向传播，这消除了额外的量化操作需求，从而减少了相关开销。FP8 精度流自然地将非线性和线性层的内存占用减少了 50%，因为它们只需要保存 FP8 激活值，而不是 BF16。为了进一步提高该方法的准确性，作者提出在不同层中变化量化粒度，以混合粒度的方式平衡精度和效率。奇异果入口

　　COAT 在多个任务中展示了其在内存占用和训练速度方面的优势，同时保持了模型性能。

　　COAT 在各种应用场景下，均展现出了出色的精度，完全不会导致模型性能下降。例如，在大语言模型预训练任务中，COAT 可以保持近乎无损的模型性能，训练中的 loss 曲线 完全吻合。

　　COAT 在视觉语言模型微调中同样实现了和 BF16 训练完全一致的表现。无论是 loss 曲线，还是下游任务上的表现，COAT 均和 BF16 基准相持平。

　　在一些实际的下游任务例子中，经过 COAT 训练过的模型也有着相当优秀的生成和总结能力。

　　COAT 的核心价值在于使用 FP8 进行训练的同时做到了显存优化。动态范围扩展减少量化误差，混合粒度量化优化激活存储，两者协同作用使得端到端内存占用降低 1.54 倍。这种优化不仅适用于单机训练，更在分布式训练中发挥关键作用 —— 通过批量大小翻倍，可在相同硬件条件下处理更多数据，显著提升训练效率。而对于显存资源紧张的研究者，COAT 也提供了全参数训练的可行路径，降低了大模型训练的门槛。

　　这等情况说出去，没有几个人会相信，一个孩子而已，竟敢深入太古遗种的巢穴，做出这等惊人的大事。

　　焦黑的柳木，主干散发出蒙蒙雾霭，向外扩散，若混沌一般，整片世界像是寂静了，仿佛来到了开天辟地前。

　　时事2：国际英标线日,外交部发言人就瑙鲁政府宣布同台湾“断交”、愿同中国复交答记者问,凶禽拍翅，奋力对抗，那里爆发出璀璨的符文，它们激烈交锋。,星际真人,有哪些体育平台,亚星官网登录入口。

　　03月05日,六部门：进一步加强适老化无障碍出行服务 优先给老年人安排下铺,

　　首先，希望你们能够明确目标，立志成才。“凡事预则立，不预则废”，你们要敢于把自己的人生目标定位到成才的座标之上并为之不断地去努力。只有这样，你们的高中生活才会更加丰富而充实;只有这样，你们才能完善自己的人生;只有这样，你们才能沿着x中的历史辉煌续写新的篇章。

　　03月05日,中国冰雪休闲市场热雪沸腾,石村最强壮的一群男子全部出动了，为了孩子，眼睛都红了，管你是不是太古魔禽的后裔，一样要去战斗！有的拎着数百斤的狼牙大棒，有的背着一人多高的超级大弓，还有的手持多半人高的黑铁阔剑，杀气腾腾。,微乐棋牌手机版,金宝博体育官网入口,葡京会平台游戏app。

　　03月05日,五问今年来北方最强高温过程：为何高温如此凶猛 未来还要热多久？ ,

　　这些少年天才一个比一个惊艳，在各自的族中排在最前，未来将是这片大地上的主人，执掌天下众教。

　　03月05日,山东加快新兴产业集群集聚 撬动未来产业,最近一段时间，小白又回到了兽群中，而它出入村中也不受束缚，村人还不时以浆果等喂食。这令那群独角兽戒心大减，不时也有一两头凑过来蹭吃蹭喝。,沙巴体育开户中心,果博最新地址,巴黎人940cc。

　　“都是天才啊，究竟谁最强，我们这一辈战了很多年，也让小辈切磋下。”镇中也有人开口，向这里赶来。

　　,米乐网登录平台,百乐宫国际全球真人diyipingpai,沙巴体育球盘。

　　新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证山东省互联网传媒集团主办联系电话 违法不良信息举报电话