字节跳动开源大模型训练框架 veGiantModel ,性能最高提升 6.9 倍
消息来源:baojiabao.com 作者: 发布时间:2024-05-17
近日,字节跳动应用机器学习团队开源了一款名为 veGiantModel 的大模型训练框架,该训练框架主要应用于自然语言处理领域的大模型训练,最高可将大模型训练的性能提升 6.9 倍,大幅降低训练系统的压力。目前,字节跳动旗下的企业级技术服务平台火山引擎已在其机器学习平台上原生支持了 veGiantModel,该平台正在公测中 。
自然语言处理是人工智能研究的一个重要领域,旨在帮助计算机理解、解释和运用人类语言,可应用于机器翻译、个性化推荐和信息提取等领域。近些年,自然语言处理在应用方面取得了较为显著的突破,主要归功于深度学习以及相关技术的发展,尤其是 Bert、GPT、GPT-3 等大规模预训练语言模型的普及。
大规模训练模型可以包含更多数据,表示更多信息,算法表现更加出众。然而,由于大模型参数量过于庞大,模型设计非常复杂,训练耗时长,对现有的训练系统带来了不小的挑战,主要体现为显存压力、计算压力和通信压力。
针对现有训练系统在大模型训练场景下的上述挑战,字节跳动应用机器学习团队提出了大模型训练框架 veGiantModel。
与主流开源训练框架的对比测试显示,veGiantModel 的性能表现最好、受网络带宽影响最小,在 Tesla V100 上较上述两者有 1.2 倍到 3.5 倍的提升,在 Ampere A100 上最高可提升 6.9 倍,能大幅降低训练系统的压力。
图说:veGiantModel 与 Megatron、DeepSpeed 两大主流开源框架分别在不同 GPU 类型和网络环境下的性能对比
近年来,字节跳动持续推动技术开源。2021 年,字节跳动技术团队陆续开源了微服务中间件 CloudWeGo、LightSeq 训练加速引擎等 30 余个重要项目。
字节跳动相关技术负责人表示,推广科技创新成果的应用并推行技术开源一直是公司所倡导的,技术团队将持续通过科技创新为行业发展提供更多动力,助力科技更好地造福社会。
veGiantModel 开源地址:
https://github.com/volcengine/veGiantModel
火山引擎机器学习平台公测地址:
https://www.volcengine.com/product/ml-platform
2022-05-08 07:48:19相关文章
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2023-12-28 18:57:55
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26
- 老蛙将推MINI镜头新品:目前未知具体规格 官宣将于12月20日发布
2023-02-24 16:02:26
- 首发全新35mm定制光学系统 努比亚Z50性能同样强悍
2023-02-24 16:02:25
- Redmi K60屏幕细节曝光:全系标配2K护眼柔性直屏+5000mAh大容量电池
2023-02-24 16:02:25
- OPPO Find N2今天发 合金金属折叠屏更轻了
2023-02-24 16:02:24