新方法提升AI预训练效率和准确性

加拿大滑铁卢大学研发出一种名为SubTrack++的全新训练方法,不仅可大幅缩短大语言模型的预训练时间,更能显著提升其准确性。这一突破有望降低构建人工智能(AI)工具的成本与环境负担,让更多人用上强大、便捷的AI技术。

大语言模型是基于深度神经网络、专注于理解与生成人类自然语言的AI系统。其核心能力源于海量文本数据的预训练,借此学习语法规律、语义逻辑及上下文关联,从而输出贴近人类表达习惯的内容。这类模型的“大”体现在两方面:一是训练数据规模巨大,二是模型参数量极为庞大。正因如此,对其进行预训练往往需要数月时间,并消耗大量算力、专用硬件及电力,高昂成本使一般企业与机构难以承担。

为破解这一难题,团队开发出SubTrack++方法,可将预训练耗时缩减一半。团队指出,大语言模型能耗极高,即便训练时间仅减少5%,也能带来显著效益。从长远看,此类技术进步将推动更多人自主构建专属的大语言模型。

团队解释说,大语言模型本质是由庞大数字矩阵构成的神经网络,通过数十亿次试错学习预测文本序列。每当预测出错,模型便微调其数学参数以提升准确率。这一过程如同让模型“阅读整座图书馆”,从中学习人类如何使用语言。SubTrack++通过聚焦对任务最关键的核心参数,简化校正流程,实现高效微调,从而加速整体预训练。

团队期望,通过节省预训练时间,未来不只大型企业,普通用户也能构建并定制属于自己的AI工具。安全学习个人偏好后,大语言模型可成为真正的智能数字助理,适应不同用户的风格、目标与需求,成为人类工作与创造中的得力伙伴。

团队将在墨西哥城举办的神经信息处理系统会议上正式发表相关论文。

投稿与新闻线索: 微信/手机: 15910626987 邮箱: 95866527@qq.com
欢迎关注中国能源官方网站
分享让更多人看到
中国能源网版权作品,未经书面授权,严禁转载或镜像,违者将被追究法律责任。
即时新闻
要闻推荐
热点专题
精彩视频
追光者
采煤机的“超大份午餐”一刀煤!
藏在你家的“超级充电宝”
迎冬启序
精彩图集
河北秦皇岛:“华龙一号”蒸汽发生器交付发运
第二十一届长沙国际车展开幕
我国成功发射阿联酋813卫星等9颗卫星
人工智能通识教育进校园
新方法提升AI预训练效率和准确性
分享到: