华福证券近日发布电子行业专题报告：如何测算文本大模型AI训练端算力需求？
以下为研究报告摘要：
需求侧：ScalingLaw驱动大模型算力需求不减
ScalingLaw仍然是当下驱动行业发展的重要标准。ScalingLaw的基本原理是，模型的最终性能主要与计算量、模型参数量和数据大小三者相关，当不受其他两个因素制约时，模型性能与每个因素都呈现幂律关系。因此，为了提升模型性能，模型参数量和数据大小需要同步放大。从大模型数量上看，近年来呈现爆发式增长趋势。且由于尖端AI模型对于资源投入的大量需求，产业界对于大模型的影响力逐步加深。我们统计了产业界诸多公开披露的大模型训练数据，从大模型算力需求来看，GPT-3到GPT-4参数上从175B快速提升到1.8TB（提升9倍），训练数据量（Token数）同方向快速增长，由0.3TB提升至13TB（提升42倍）。绝对值上看，根据我们的非完全统计情况，国内外主流大模型在参数量上基本已来到千亿量级，在预训练数据规模上均已来到个位数乃至十位数的TB量级。
供给侧：黄氏定律推动英伟达GPU一路高歌
英伟达GPU持续引领全球AI算力发展，虽然“摩尔定律”逐步放缓，但“黄氏定律”仍在支撑英伟达GPU算力快速提升，一方面，英伟达寻求制程工艺迭代、更大的HBM容量和带宽、双die设计等方法，另一方面，数据精度的降低起到关键作用，Blackwell首度支持FP4新格式，虽然低精度可能会存在应用上的局限性，但不失为一种算力提升策略。若仅考虑英伟达FP16算力，A100/H100/GB200产品的FP16算力分别为前代产品的2.5/6.3/2.5倍，在数量级上持续爆发，自2017年至今，GB200的FP16算力已达到V100的40倍。与之对比，AI大模型参数的爆发速度相对更快，以GPT为例，2018年至2023年，GPT系列模型从1亿参数规模大幅提升至18000亿。相较于AI大模型由ScalingLaw驱动的参数爆发，GPU算力增速仍亟待提升。
结论：预计24-26年全球文本大模型训练卡需求为271/592/1244万张
我们根据侧算力供给需求公式，需求侧假设行业依然沿ScalingLaw发展方向进一步增长，供给侧通过对英伟达GPU的FP16算力、训练市场、算力利用率等进行假设，推导得出GPU需求量。以英伟达Hopper/Blackwell/下一代GPU卡FP16算力衡量，我们认为2024-2026年全球文本大模型AI训练侧GPU需求量为271/592/1244万张。
建议关注
算力芯片：寒武纪、海光信息、龙芯中科
服务器产业链：工业富联、沪电股份、深南电路、胜宏科技
风险提示
AI需求不及预期风险、ScalingLaw失效风险、GPU技术升级不及预期的风险、测算模型假设存在偏差风险。（华福证券 任志强,徐巡）
免责声明：本文内容与数据仅供参考，不构成投资建议，使用前请核实。据此操作，风险自担。
【责任编辑：肖洁 】
