(资料图片)
据微软官方消息，微软研究人员日前推出了名为 ZeRO++ 的新技术，可显著减少大模型训练时间和成本。
ZeRO++ 建立在 ZeRO 传输技术基础上，提供增强的通信策略，可提高训练效率，同时减少训练时间和成本。ZeRO++ 可对权重进行量化，其利用基于块的量化方法来保持训练精度，这种优化的量化过程相对原始 Zero 传输技术更快更准确。
微软研究人员表示，与 ZeRO 相比，ZeRO++ 减少了高达 4 倍的通信量，提高了训练吞吐量和效率。
内容搜集整理于网络，不代表本站同意文章中的说法或者描述。文中陈述文字和内容未经本站证实，其全部或者部分内容、文字的真实性、完整性、及时性本站不做任何保证或者承诺，并且本站对内容资料不承担任何法律责任，请读者自行甄别。如因文章内容、版权和其他问题侵犯了您的合法权益请联系邮箱：5 146 761 13 @qq.com 进行删除处理，谢谢合作！
