前瞻研究全球人工智能AI行业系列报告4：GPT-4发布 持续逼近通用人工智能AGI
近日openAI 采用闭源模式发布多模态大语言模型GPT-4 ，该模型采用和GPT-3.5/ChatGPT 相同的技术路线，但带来了更好的创造性、协作性、推理能力、安全性等，同时训练过程中采用定制超级计算机进行算力承载，并完善了大语言模型scaling law 基础理论，实现训练资源可控。我们判断，GPT-4 良好的效果，有望推动全球AI 领域技术栈持续向LLM（大语言模型）模型收敛，并通过暴力美学+工程技巧的结合不断加速AI 产业发展，带来更多应用场景落地的同时，亦帮助人类不断逼近通用人工智能AGI。我们持续看好openAI 及全球AI领域的产业投资机会，并建议持续聚焦芯片、算力设施、模型架构&工程实践、应用场景等核心环节。在美股市场，建议持续重点关注英伟达、台积电、微软、AMD、Arista、博通、Marvell、百度等。
报告缘起：OpenAI 正式发布GPT-4。北京时间2023 年3 月14 日晚，OpenAI发布了正式版本的GPT-4，取代了此前ChatGPT 使用的GPT-3.5 版本，并开始为付费的Plus 用户提供服务。OpenAI 在官网表示，GPT-4 虽然在大多数现实场景中的能力不如人类，但在一些专业问题和学术基准上表现已经和人类持平。本篇报告将基于对GPT-4 底层技术逻辑、实现功能分析的基础上，探讨GPT-4对全球AI 产业带来的可能技术路径影响，以及产业层面的变化和机遇。
GPT-4：完全闭源模式发布，耗时6 个月迭代调整完成的多模态大语言模型。本次OpenAI 推出GPT-4 的形式与以往模型的发布都有所不同，OpenAI 既没有公开发布GPT-4 的相关论文，也没有提供详细的框架说明，仅仅提供了一份98 页的技术文档（主要描述模型能力以及相关评测的得分，几乎没有任何技术细节）。
通过这一方式，OpenAI 阻断了所有借鉴者参考的直接途径（模型大小、数据集构建、训练方法等），将闭源的路线坚持到底，这也符合我们之前对行业未来发展的判断：领先的头部公司（OpenAI、Google）将坚持闭源路线，避免其他公司复现其模型；落后一到两个身位的公司（Meta、Amazon、NVIDIA 等）可能会选择开源路线，寄希望通过社区的力量加速迭代。根据OpenAI 发布的这份技术报告，GPT-4 的训练以及迭代的耗时长达6 个月以上，是之前发布的ChatGPT 的两倍以上，在技术路径上沿用了自回归的Transformer 模型加上人类反馈强化学习。模型能力方面最大的提升在于引入了多模态的处理能力，除了此前ChatGPT 就支持的文字外，GPT-4 还可以接受图片输入，不过暂时还没有开放给用户使用。此外，模型在面对复杂任务的可靠性与输出的安全性上均有显著的提升。
模型训练关键点：采用定制化超级计算机，完善了大语言模型scaling law 基础理论。尽管OpenAI 没有公布模型的及具体训练细节，但从其在技术文档中的表述出发，我们找到了两点可能会影响整体产业的关键点：1）OpenAI 在去年开始就与微软合作重新构建一台用于大语言模型训练的超级计算机，而本次GPT-4 的训练以及迭代环节应该是完全通过这台计算机所完成的。根据Bloomberg 的相关报道，OpenAI 与微软所搭建的这台计算机总共耗资数亿美元，使用了近万张英伟达A100显卡，这也与我们之前报告中对训练大语言模型所需要的显卡体量计算相一致。
从OpenAI 在技术文档中描述的结果看（训练+迭代总共耗时6 个月），GPT-4 的训练过程远短于此前的预期（从之前的论文出发，如此体量的模型迭代部分的对齐就要耗费数月时间），这也表明了构建专用超级计算机的必要性。我们认为，在未来数月时间我们将会看到更多AI 大厂效仿OpenAI 的做法，将定制化的超级计算机提上日程。2）Scaling Law 是OpenAI 团队在2020 年发表的论文，主要对模型能力与模型大小、训练时长间的关系做了推算，也成为了大语言模型研究的重要理论。而在本次OpenAI 的技术报告中，我们看到对scaling law 有了进一步的完善。OpenAI 表示在开发GPT-4 的过程中进一步完善了Scaling Law，对此前无法解释的涌现能力（当模型体积大小突破到某一阶段时会突然出现某种新能力）可以更好地预测。Scaling Law的完善意味着在模型训练资源的投入将会更加可控，AI 厂商将不再需要为了涌现能力一味扩大参数，这将进一步降低AI 训练阶段的成本。
应用场景：多模态能力加速多领域创新。GPT-4 相较于ChatGPT 最直观的改变在于加入了支持图片输入的多模态的能力。尽管OpenAI 表示目前多模态能力的重点还在于图片转文字，对于音频、视频、图片编辑等还不支持，但这也给了市场足够的想象空间。1) 搜索领域：结合图片输入的多模态将更好地为目前传统搜索引擎+大语言模型辅助的模式进行服务。2）智能客服：图片与文字结合输入的模式更加贴合目前ToC 智能客服所遇到的一些痛点。3）中小模型公司微调模型应用到具体细分领域：GPT-4 被描述为一个通用的大语言模型，从OpenAI 的文档看他们未曾计划对具体细分领域进行微调以求更好效果，预计这个在未来会交到中小人工智能厂商手中：在GPT-4 的基础上针对细分行业进行微调来获得更好效果。
风险因素：AI 核心技术发展不及预期风险；科技领域政策监管持续收紧风险；全球宏观经济复苏不及预期风险；宏观经济波动导致欧美企业IT 支出不及预期风险；全球云计算市场发展不及预期风险；企业数据泄露、信息安全风险；行业竞争持续加剧风险等。
投资策略：GPT-4 采用与 GPT-3.5/ChatGPT 相同的技术路线，但带来了更好的创造性、协作性、推理能力，以及多模态能力等。GPT-4 良好的效果，有望推动AI 领域技术栈持续向LLM 模型收敛，并通过暴力美学+工程技巧的结合不断加速AI 产业发展，帮助人类不断逼近通用人工智能AGI。我们持续看好openAI 及AI领域的产业投资机会，并建议持续聚焦芯片、算力设施、模型架构&工程实践、应用场景等核心环节。在美股市场，我们建议持续重点关注英伟达、台积电、微软、AMD、Arista、博通、Marvell、百度等。