GPT-3 掀起AI 大模型浪潮,大模型下参数量即是准确度。大模型成为AI 开发新范式。根据MIT Technology Review 和IEEE Computer,2020 年,Open AI推出其新的预训练模型GPT-3,GPT-3 相比其上一代模型在数据量上实现了量级的飞跃。模型的参数量由15 亿个提升至1750 亿个,训练使用的数据量由40GB提升至45TB。在算法几乎没有变化的情况下,GPT-3 仅依靠参数量的提升就实现了表现上的飞跃:GPT-3 可以在高精确度地自动生成文章、与人交流、甚至完成代码编写,至今仍是最好的AI 语言模型之一。在GPT-3 大获成功的推动下,AI 开发商们开启了大模型的竞赛。目前,Google 的Switch-Transformer 和GLaM分别有1 万亿和1.2 万亿个参数。在我国,北京智源人工智能院推出的悟道2.0则有1.75 万亿的参数规模。对于AI 模型而言,参数量决定了模型所接受的训练量。模型拥有越多的参数,就能从训练数据中摘取更多的相关信息,也因此能够做出更准确的预测。
大模型对算法与硬件提出更高要求,进一步提升技术门槛。相比于传统AI 模型,大模型对相关算法和硬件设施有着更高的要求。想要处理千亿量级以上的参数,大模型需要上百个独立的GPU 来训练模型的神经网络,同时需要算法来将所有的训练数据在各GPU 之间进行合理分配,确保这些数据以合适的顺序、在合适的时间被使用。在开发AI 大模型时,各AI 厂商都在对相应的算法和硬件设施进行升级,确保超大体量的参数能被模型所吸纳。根据量子位百家号,Google 则开发出了LIMoE 稀疏化大模型,在实现零样本学习的同时极大程度降低了训练成本。为确保大模型的顺利开发,各厂商也在不断提升相关硬件设施。我们认为,在未来AI 大模型的开发中,支持开发的算法、硬件设施等方面的综合实力将成为重要的技术门槛,将决定AI 大模型规模的上限和实际的模型效果,并成为AI 厂商模型开发成功与否的关键因素。
大模型作为基石概念股,赋力AI 模型的优化及多场景运用。在大模型的早期阶段,受模型类型限制,模型的使用场景有限。如今,越来越多的AI 厂商开始转向多模态大模型(large-scale multimodal model),这些模型能够同时处理图像、文本、视频、音频等数据类型,并支持无监督式学习。在大模型的支持下,AI 多模态模型能够在更多、更复杂的场景提供支持。根据百度文心官网和IDC 官微,百度的文心·跨模态大模型将场景图知识融入到视觉-语言模型的预训练过程;阿里达摩院的M6 大模型既在阿里内部核心业务场景落地,在外部医疗、能源、金融行业积累了多个实践案例。对于各行业而言,大模型的应用价值也开始逐渐清晰:大模型不要求企业具备海量的数据基础、相比传统AI 模型龙头股上应用的效果更优、并能降低AI 开发门槛。我们认为,随着以大模型为基础的多模态模型的持续优化,未来AI 模型将能在更多场景、更复杂的功能中体现自己的优势,大模型的运用范围将会持续提升,并将正向反馈进一步推动大模型的相关研发。我们认为,GPT-3 的成功证明了参数体量对AI 模型的重要性,自此开启了大模型时代。想要确保AI 模型规模的不断提升,各厂商龙头股上必须持续优化算法模块及相关硬件设备;而在大模型的支持下,AI 模型将不断优化并最终实现在更广泛、更复杂的场景的落地。
风险提示:行业相关政策推进不及预期,前沿技术龙头股发展不及预期或应用效果不佳的风险。
数据推荐
最新投资评级目标涨幅排名上调投资评级 下调投资评级机构龙头股上关注度行业关注度股票综合评级首次评级股票