从OpenAI的愿景和技术底层逻辑推演大模型生态
导读：自ChatGPT发布以来，AI领域的技术、产品和创业生态几乎在以周为单位迭代。OpenAI作为这次AI热潮的导火索和行业事实的领先者(且可能长期保持)，对行业生态有广泛和深远的影响。
自ChatGPT发布以来，AI领域的技术、产品和创业生态几乎在以周为单位迭代。OpenAI作为这次AI热潮的导火索和行业事实的领先者(且可能长期保持)，对行业生态有广泛和深远的影响。
本文从OpenAI的AGI愿景出发，首先分析了在该愿景的驱动下OpenAI是如何一步步依据Scale、GenerativeModel两个重要技术判断形成了我们所能观察到的LLM发展路线，并对此技术路线的底层逻辑进行了分析；在对愿景和技术选型分析的基础上，报告将OpenAI的历史行为与此技术路线进行了拟合，尝试解释了许多让人困惑的历史行为，并更进一步对其未来的行为进行了推演；最后报告对基于大模型的生态和产业链的发展给出了自己的分析并提出了一些供大家思考的问题。
这是我们对OpenAI进行全面、系统、深度逆向工程后的产物，提供了一种从底层愿景出发来分析OpenAI历史行为和未来行动预测的独特视角，希能够对国内正在从事大模型研究、开发、投资的工作者们带来帮助。
原报告内容已"开源"并在持续更新中，欢迎大家阅读报告原文（原文链接：https://www.notion.so/OpenAI-b1ccaaeecd77433cbdf4f10855878146?pvs=4）并参与内容的讨论。
本文作者：Kiwi，双币VCVP。如果你正在AI领域创业、研究或有交流的想法，欢迎联系Kiwi的微信（812023467）讨论。
目录：
1.OpenAI的AGI愿景和对GPT技术路径的坚持
2.OpenAI的技术路径选择（GPT架构的LLM）是基于数学的理性推导而非神秘主义炼丹
3.基于OpenAI的技术选择本质，理解OpenAI的过去和未来
4.LLM产业链分析（一些Open的讨论）
1.OpenAI的AGI愿景和对GPT技术路径的坚持
1.1.OpenAI的AGI愿景
在开始分析前，我们将OpenAI不同时期对自己AGI目标的描述进行回顾：
“Ourgoalistoadvancedigitalintelligenceinthewaythatismostlikelytobenefithumanityasawhole,unconstrainedbyaneedtogeneratefinancialreturn.”——2015年12月11日《IntroducingOpenAI》
“Ourmissionistoensurethatartificialgeneralintelligence—AIsystemsthataregenerallysmarterthanhumans—benefitsallofhumanity.”——2023年2月14日《PlanningforAGIandbeyond》
第一个变化是增加了对AGI的描述，指明了AGI的智慧程度会高于人类智能。
第二个变化是由不以财务回报为目的改为了普惠人类。
AGI的概念目前并没有已形成共识的精准定义。前者变化是OpenAI基于过去几年的探索给出的判断，其追求AGI的本质没有改变。后者则是OpenAI在更深入的技术探索后，进行了股权结构和商业化策略的调整，背后逻辑后续会详细展开。
总体而言，鉴于OpenAI的历史言论和行动保持高度一致性，我们有理由相信：OpenAI一直并将继续以追求普惠的AGI为第一目标——这个假设是本文后续进行生态推演的基本前提。
1.2OpenAI过去5年展现的外界难以理解的GPT“信仰”
在AGI愿景下，我们看到OpenAI在过去5年坚定的选择了用GPT（GenerativePre-trainningTransformer）架构持续加注LLM（LargeLanguageModel）的技术路径。这个期间OpenAI孤独且惊人的巨大投入，让外部觉得这是信仰的程度。但如果理解了OpenAI的技术选择本质回头看，我们会发现这其实是OpenAI在对技术的深刻洞见下的理性判断。
OpenAI在发展上可大致分为三个阶段：
1.2.1阶段一:AGI实现路径探索（2015.11-2017.06）
这个时期的OpenAI走向AGI的技术路径并没有收敛，开展了包括OpenAIGym（RL），OpenAIFive（Dota2）和一系列GenerativeModel（生成式模型）的项目探索。值得注意的是，这些项目使用的是UnsupervisedLearning（无监督学习）或RL（ReinforcementLearning，强化学习），都不需要标注数据，有较好的可拓展性。UnsupervisedLearning和RL在OpenAI成立之初是一个难以实践更难以Scale（规模化）的算法路径，OpenAI却似乎只关注这个工业上不成熟的技术路径并尝试Scale。
研究这期间OpenAI的文章和IlyaSutskever（OpenAI首席科学家）的演讲，可以窥见OpenAI当两个重要的技术判断：
重要技术判断1:Scale
Ilya此期间的所有演讲都强调了Scale的重要性。其实回溯2012年让Ilya等人一战成名的AlexNet，其算法核心本质也是利用GPU的并行计算能力将神经网络Scale。将基础算法规模化的理念贯穿了Ilya近十年的研究。合理推测，正因为对Scale的追求，Ilya和OpenAI才会如此强调RL和GenerativeModel的重要性。
举例来说，同样是在2015年前后打Dota2，AlphaGo选择了结合搜索技术的变形式RL来提高算法表现，而OpenAIFive选择了纯粹的RL上Scale的方法（期间发布的RLAgent在后来也起到了巨大的作用）。
后来2019年RichSutton发布的知名文章《TheBitterLesson》也指出：“纵观过去70年的AI发展历史，想办法利用更大规模的算力总是最高效的手段。“
也正是在算法Scale的理念下，OpenAI极度注重算法的工程化和工程的算法思维，搭建了工程算法紧密配合的团队架构和计算基础设施。
重要技术判断2:GenerativeModel
在OpenAI2016年6月的发文《GenerativeModel》中分析指出：“OpenAI的一个核心目标是理解世界（物理和虚拟），而GenerativeModel（生成式模型）是达成这个目标的最高可能性路径。”
而在2017年4月发布UnsupervisedSentimentNeuron算法的文章《LearningtoGenerateReviewsandDiscoveringSentiment》中指出，“真正好的预测与理解有关”，以及“仅仅被训练用于预测下一个字符之后，神经网络自动学会了分析情感”。这篇文章在当时没有受到太多关注甚至被ICLR2018拒稿，但我们分析认为，这个研究成果对OpenAI后续的研究产生了深远的影响，也为下一阶段OpenAIall-inGPT路线打下了基础。
1.2.2阶段二：技术路径收敛，探索GPT路径工程极限（2017.06-2022.12）
2017年Transformer横空出世，Transformer对languagemodel的并行训练更友好，补齐了OpenAI需要的最后一环。自此，OpenAI确立了以GPT架构的LLM为主要方向，逐渐将资源转移至LLM，开启了GPT算法路径的工程极限探索之途。这个阶段OpenAI对于GPT路径的巨额押注在当时外界看来是不可思议的举动。
2018年6月OpenAI发布GPT-1，两个月后Google发布BERT。BERT在下游理解类任务表现惊人，不仅高于GPT-1（117M），且基本导致NLP上游任务研究意义的消失。在整个NLP领域学者纷纷转向BERT研究时，OpenAI进一步加码并于2019年2月推出GPT-2（1.5B）。GPT-2虽然在生成任务上表现惊艳，但是在理解类任务的表现上仍然全面落后于BERT。在这样的背景下，OpenAI依然坚持GPT路线并且大幅度加大Scale速度，于2020年5月推出了GPT-3（175B）。GPT-3模型参数175B（百倍于GPT-2），训练数据量500BTokens（50倍于GPT-2）。
GPT-3直接导向了OpenAI股权架构的重构和商业化策略的转型。2019年3月，OpenAI由非盈利组织改组为有限盈利组织（所有股东100x盈利上限）。SamAltman在发文中指出“We’llneedtoinvestbillionsofdollarsinupcomingyearsintolarge-scalecloudcompute,attractingandretainingtalentedpeople,andbuildingAIsupercomputers.Wewanttoincreaseourabilitytoraisecapitalwhilestillservingourmission,andnopre-existinglegalstructureweknowofstrikestherightbalance.OursolutionistocreateOpenAILPasahypidofafor-profitandnonprofit—whichwearecallinga“capped-profit”company.”由此可见OpenAI此时对于通过GPT探索AGI的技术路径的坚定程度。
商业化上，OpenAI推出了商业化API接口。GPT-3不仅生成式任务表现优越，在理解类任务上已经开始赶超，尤其是few-shot-learning（少样本学习）和zero-shot-learning（零样本学习）的能力引起了大量创业公司的注意。之后两年，基于GPT-3API构建的应用生态持续发展并逐渐繁荣，诞生了一系列明星公司：Jasper（2022年ARR达9000万美金），Repl.it，Copy.ai等。GPT-3发布及生态成型期间（2020-2022），OpenAI一直没有推出下一代模型，而是开始重点研究Alignment问题。
GPT-3对语言已经展现了很强的理解能力，如果被有效使用可以做很多任务。但是GPT-3的理解能力不是human-like的，换句话说，让GPT-3做你要求它做的事情很难，即使它可以。随着模型底座的理解和推理能力增强，OpenAI认为Alignment变得尤为重要。为了让模型准确且忠实得响应人类的诉求，OpenAI于2022年1月发布InstructGPT，并于2022年3月发布相关文章《TrainingLanguageModelstoFollowInstructionswithHumanFeedback》详细阐述了用指令微调align模型的方法，后续InstructGPT迭代为被大家熟知的GPT-3.5。GPT-3.5上线后收到广泛好评，后来OpenAI直接将GPT-3.5替换掉GPT-3成为默认API接口。
至此，OpenAI的LLM产品均以API的产品形态提供，并主要面向B端、研究人员和个人开发者市场。
1.2.3阶段三：后ChatGPT阶段（2022.12至今）
2022年11月30日，就在行业预期GPT-4即将发布之际，OpenAI突然发布了开发用时不到1个月的对话式产品ChatGPT，引爆了这一轮的AI热潮。据多方消息源称，ChatGPT是OpenAI得知Anthropic即将发布Claude（基于LLM的对话式产品，于2023年3月14日发布EarlyAccess）后临时紧急上线发布的。我们有理由认为，ChatGPT的火爆和随之引发的AI热潮，是在OpenAI预期和规划之外的。
GPT-4的基础模型其实于2022年8月就已完成训练。OpenAI对于基础理解和推理能力越来越强的LLM采取了更为谨慎的态度，花6个月时间重点针对Alignment、安全性和事实性等问题进行大量测试和补丁。2023年3月14日，OpenAI发布GPT-4及相关文章。文章中几乎没有披露任何技术细节。同时当前公开的GPT-4API是限制了few-shot能力的版本，并没有将完整能力的基础模型开放给公众。
ChatGPT发布引发了一系列连锁反应：
C端：ChatGPT第一次让没有编程能力的C端用户有了和LLM交互的界面，公众从各种场景全面对LLM能力进行挖掘和探索。以教育场景举例，美国媒体的抽样调查称，89%的大学生和22%的K-12学生已经在用ChatGPT完成作业和论文。截止2023年3月，ChatGPT官网的独立访客量超过1亿（未进行设备去重）。2023年3月23日，ChatGPTPlugin的发布，让更多的人认为ChatGPT可能会发展为新的超级流量入口（——这是一个非常值得单独讨论的问题，由于本文主题今天暂不展开讨论）。
科技巨头。与OpenAI合作深度最深的Microsoft一方面裁撤整合内部的AI部门，一方面全产品线拥抱GPT系列产品。Google多管齐下，原LaMDA团队发布对话产品Bard，PaLM团队发布PaLMAPI产品，同时投资OpenAI最主要竞对Anthropic3亿美金。Meta发布LLaMA模型并开源，LLaMA+LoRA模式是当前开源LLM中最活跃的生态（Alpaca-13B与Vicuna-13B）。Amazon则和开源社区HuggingFace基于LLM生态展开更积极的合作。我们分析认为OpenAI目前与Meta的竞争更多在技术层面，对Meta的主营业务短期内没有冲击。然而OpenAI+Microsoft组合对于Google和Amazon却有业务层面的潜在巨大影响，后续会展开分析。
创业生态。一方面，ChatGPT在C端迅速渗透激发了新一轮的AI创业热情，海量的C端应用案例也启发并加速了创业生态的发展。另一方面，LLM能力边界与OpenAI产品边界的不确定性，让基于GPT模型基座构建的应用和传统应用担心自己的产品价值被湮没——我们会在后文拆解OpenAI行为逻辑以及LLM产业链生态后，对这个问题展开进一步讨论。
OpenAI：行业和生态的一系列连锁反应显然超出了OpenAI的预期，从OpenAI随后的动作我们推测核心影响有三：
1）OpenAI可能产生了做C端的野心
C端流量提供的商业化潜力和收集更多非公开数据的能力，对于OpenAI的模型训练、基础研究和生态发展都展现很高的价值。本月发布的ChatGPTPlugin就是典型的C端布局动作。
2）OpenAI可以通过适度商业化减少对巨额资本投入的依赖
OpenAI的愿景之一是让AGI普惠人类社会，但是AGI研发需要的巨大投入导致OpenAI不得不向科技巨头谋求资本投入——这里的矛盾冲突引来了学界对OpenAI的诟病，并直接或间接得导致了其大量人才流失。适度的商业化有机会让OpenAI减少甚至摆脱对科技巨头的依赖。我们推测OpenAI的商业化战略会持续在普惠与可持续独立发展之间找平衡。这里的平衡点判断对后续的产业链分析至关重要。
3）加强Alignment和安全性的研究投入和动作
LLM能力在C端和B端的迅速渗透也导致了LLM能力被恶意使用的风险及影响迅速扩大，安全问题的紧迫性增加。
同时当前LLM严重的Hallucination（真假难辨的一本正经的胡说八道）问题，阻碍了B端的深度应用，也对C端内容环境产生了不良影响。与人类的互动可以减少Hallucination，但不一定是最本质的解决方案。通过Alignment研究，让模型准确且忠实得响应人类诉求，会成为OpenAI下一步研究的重点。
2.OpenAI的技术路径选择（GPT架构的LLM）是基于数学的理性推导而非神秘主义炼丹
首先给结论，经过对大量的访谈、课程、论文和访谈学习，我们大胆推测：OpenAI认为，AGI基础模型本质是实现对最大有效数据集的最大程度无损压缩。
2.1OpenAI认为：AGI的智能≈泛化能力
泛化能力（Generalization）是一个技术术语，指一个模型能够正确适应新的、以前未见过的数据的能力，这种能力来源于对训练数据学习并创建的分布。
Generalizationreferstoyourmodel'sabilitytoadaptproperlytonew,previouslyunseendata,drawnfromthesamedistributionastheoneusedtocreatethemodel。
更通俗的说，泛化就是从已知推到未知的过程。所有深度学习模型进步的基础都是提升模型的泛化能力。
OpenAI认为：AGI智能的本质在于追求更强的泛化能力。泛化能力越强，智能水平越高。
需要特别注意的是，泛化能力不等于泛化效率，下一章节会进一步展开。这也是OpenAI成立之初与业界最大的非共识。
2.2模型泛化能力≈模型泛化效率×训练数据规模
我们认为：如果模型的泛化效率越高，训练数据的规模越大，则模型的智能程度越高。
这一结论可以由严格的数学推导得到，但是由于笔者的数学能力限制了第一性的理解，在请教了专业人士后，给出了以下抽象理解公式：
模型智能程度（泛化能力）≈模型泛化效率×训练数据规模
这里的数学和抽象论证建议阅读冠叔、周昕宇（https://zhuanlan.zhihu.com/p/619511222）和欣然（https://zhuanlan.zhihu.com/p/616903436）的相关文章/知乎，这里不展开。
2.2.1模型泛化效率≈模型压缩效率
对完成某个任务有效方法的最小描述长度代表了对该任务的最大理解。因此一个模型的压缩效率可以近似量化为模型的泛化效率。
AGI的任务可以理解为：通过对训练数据集的压缩，实现对训练数据集所代表真实世界的最大程度泛化。
一个AGI模型的最小描述长度可以量化为模型的压缩效率。
在这个理解下，GPT模型参数量越大，模型的智能水平越高。（模型参数量大→模型压缩效率高→模型泛化效率高→模型智能水平高）
1）GPT模型是对训练数据的无损压缩（数学推论）
2）GPT模型参数量越大，压缩效率越高（数学推论）
3）GPT模型是SOTA（state-of-the-art，最好/最先进）的无损文本压缩器（现状）
2.2.2训练数据的规模化和多元化对提高模型泛化能力至关重要
前文中我们提到：AGI的任务是对训练数据集的最大程度泛化。那为什么模型的泛化能力不等于泛化效率呢？
因为模型的泛化效率只追求了“最大程度泛化”，而忽略了“训练数据集”。传统学术界只认为算法的创新才值得追求，训练数据集的Scale只是工程问题，不具备研究价值。因此主流学术界长期追求的目标其实是：模型获得智能的高效方法，而不是模型的智能能力。
而OpenAI则在深刻理解泛化能力的本质后，选择同时追求更大的训练数据集（训练数据集的Scale）和更大程度的泛化（模型参数的Scale）。
希望最快的Scale训练数据集，文本数据自然成了OpenAI的首选。因此过去五年，OpenAI首先做的是在最容易Scale的单一模态文本上，把训练数据规模和模型参数量的极限拉满。LLM只是起点，当文本数据被极限拉满后，我们有理由相信OpenAI会进一步扩大训练数据模态，其中包括可观测数据（特殊文本、图像、视频等）和不可观测数据（与虚拟世界和物理世界的互动数据）。
2.3OpenAI的技术路径选择逻辑总结
前面对于OpenAI技术理念本质的分析非常抽象，我们尝试对技术路径选择逻辑和历史行为进行了整体的梳理总结，如下图：
总结起来，OpenAI认为：AGI基础模型本质是实现对最大有效数据集的最大程度无损压缩。
在这个技术理解下，GPT架构的LLM路线是过去5年的最优技术路径选择，模型参数量和训练数据量的Scale则是必然行为。
2.4OpenAI的技术路径选择争议
报告原文中对OpenAI技术路径的选择提出了一些具有启发性的问题，由于篇幅问题，我们在此仅提出问题，更详细的信息欢迎大家到报告的原文进行进一步阅读并参与讨论。
AGI的智能是否等于泛化能力？即对于通用任务的理解与泛化能力（OpenAI为代表），与复杂困难的科学任务的研究能力（DeepMind为代表），谁更能代表AGI的智能水平。
LLM学到的是BookAI？一些学者认为，LLM在语言中学习到的知识和理解，和物理世界无法形成有效的映射，因此LLM的智能是浅薄的智能。
OneModelRulesALL？虽然GPT路线的大模型的泛化理解能力很高且在不断迭代，但是此路线导致了Hallucination的问题也会持续存在，那么在容错率接近0的高可靠性要求场景（如垂直复杂场景的API调用等）是否必须有不同垂直模型的空间？
指令微调和RLHF是不是解决Alignment问题的正确路径？一方面，指令微调和RLHF对于基础能力越来越强的LLM基座的Alignment的帮助有限。另一方面，指令微调通过牺牲reasoning性能换取与Alignment（AlignmentTax）。
GPT路线是没有Memory？当前的GPT系列模型在处理一些单次任务时表现出色，与GPT模型的前序交互信息无法自动写入下一次交互的token。而AutoGPT等目前只能暴力回放历史，导致太多tokencost。这就导致GPT模型对于大量复杂的系统工程和连续的生产行为不友好。
3.基于OpenAI的技术选择本质，理解OpenAI的过去和未来
3.1拟合：OpenAI的历史行为解释
综合前文所述，OpenAI的愿景是追求普惠的AGI。而OpenAI的技术理念为：AGI智能本质是追求的泛化性，因此AGI基础模型本质是实现对最大有效数据集的最大程度无损压缩。
基于此我们尝试对OpenAI的历史行为进行解释。过程中我们更感受到，SamAltman（商业）+IlyaSutskever（算法）+Gregpockman（工程）组合的稀缺性。OpenAI今天的成果是算法、工程、数据、产品、GTM团队密切配合的结果。
3.1.1技术
1）为什么Bert在下游理解类任务表现出色（远高于GPT-1和GPT-2）时，OpenAI仍然坚持GPT路线？
如前文分析，OpenAI追求的是模型的泛化能力。所有的有监督学习都是无监督语言模型的一个子集。那么为了特定任务短期效果提升而选择有监督学习无疑是不本质的做法。
早期BERT在理解类子任务上的高表现，是因为对特定数据集通过有监督学习，可以更快速的得到对该任务的理解。当GPT等无监督模型的参数足够大且语料足够丰富时，通过无监督语言学习就可以完成其他有监督学习的任务。
因此OpenAI坚持GPT路线就是必然的简单选择。
2）为什么过去持续Scale，未来还会持续大幅Scale吗？
GPT-1至GPT-3的Scale是在文本模态上的训练数据量和模型参数量的双重Scale。其中
训练数据量Scale是提升AGI泛化能力的必然选择。当前最容易Scale的是文本数据，但当文本模态的理解能力被逐渐拉满后，OpenAI必然会开始相对不容易的数据Scale方式，即增加数据模态并进一步上量。可以看到GPT-3.5增加了特殊文本数据（代码）进行训练，GPT-4引入了图像等数据模态。
模型参数量Scale是当前最优算法架构Transformer和最优算法路径GPT组合下，提升AGI泛化能力的副产物。如果未来OpenAI找到了更高效更优的算法，同样智能水平的AGI基础模型的参数量未必更大。
3）为何将工程能力的建设放到极高的优先级？
在与传统学术界的非共识下，OpenAI很早就意识到了模型Scale的重要性。因此搭建了有工程能力的算法团队（Pretraining组与Alignment组）和有算法理解的工程团队（Scaling组）。并搭建了算法与工程紧密配合的组织架构。工程团队为算法团队做好高拓展性的基础设施，算法团队以工业化的方式设计算法训练。
一些可以窥见其工程能力（工业化的模型生产能力）的事实：
OpenAI已经具备工业化训练并准确预测超大规模模型表现的能力。2021-2022年，OpenAI与Azure合作重构了OpenAI的基础设施。GPT-3的训练是对这套基础设施的第一次使用，过程中发现并修复了一些bug。基础设施的bug修复后，GPT-4的训练就稳定且一气呵成了。并且利用这套基础，OpenAI团队在GPT-4训练的初期，仅用了1/10000的算力进行小模型实验，就通过小模型实验的loss准确预测了GPT-4大模型的最终loss。
开源OpenAITriton：没有CUDA经验也能够自动完成GPU编程的各种优化（内存合并，共享内存管理，SM内调），用Python也能写出高效GPU代码。
我们认为，OpenAI和目前大部分LLM团队的工程能力可以用工业化模型工厂和模型作坊对比。工程能力的巨大差距会导致大部分LLM公司对SOTA模型追赶的难度进一步拉大。
4）为什么砍掉Robotics等项目allinLLM？
简单来说，是因为Robotics技术的发展暂时落后于AI导致RL很难Scale。
其实Robotics项目中使用的RL也是符合OpenAI技术审美的算法。并且RL和世界（虚拟与物理世界）的交互以及其中能够学习到的高维表征是OpenAI非常渴望探索的。但是当时受限于Robotics技术本身在发展初期，机器人无法Scale限制了RL算法和数据的Scale。因此OpenAI选择了砍掉Robotics等项目allinLLM。
但我们有理由判断这是一个阶段性选择。当时机成熟，大模型与Robotics或其他能与世界交互的终端结合，在与世界互动中习得更高的AGI智能，是必然会发生的。事实上，OpenAI于2023年3月对人形机器人公司1X进行了约2000万美金的A轮投资。
5）为什么会有Hallucination问题？
OpenAI追求的AGI智能是最大程度的模型泛化能力。LLM的目的，并不是尝试“拟合”训练集，而是无损地找到训练集所代表的本质规律(概率分布)，从而理解训练集以外的数据。因此LLM会生成出训练集之外的内容，造成Hallucination问题。
可以预期的是，随着AGI基础模型能力的逐步提升，Hallucination问题会逐渐减轻。不过在当下，OpenAI会采用预处理和后处理模型等补丁方案，临时减轻Hallucination问题以便让LLM具备更高的可用性和更低的有害性。
同时需要的注意的是，LLM的文本训练语料中本身就存在谬误和价值观冲突，如何为LLM构建“价值判断”也是一个值得深入研究的问题。
3.1.2产品
我们认为OpenAI在产品方向的所有行为都可以被其在产品工作的两个目标及其衍生的两个业务飞轮来进行解释。其中两个核心目标：
设计出能够帮助OpenAI收集更多有效数据的产品形态，以追求更高的AGI智能。
设计出基于当前AGI模型能力，更普惠大众的产品。
根据目标衍生出了两个业务飞轮：
1）更普惠的AGI产品与“数据-应用”飞轮
此类产品的目标是：围绕AGI模型的能力，搭建能被友好、有效地被C端大众和B端公司使用的产品，以将AGI赋能并普惠人类社会。其中：
ChatGPT
GPT-1-4系列的API
CodexAPI
等都是此类产品。C端用户可以通过此类产品提升日常生活的各类任务效率，解决各类问题；而B端用户则能通过此类产品获得AGI模型的能力，帮助自己搭建垂直场景的产品解决方案，并通过“数据-应用”飞轮迭代自己的数据壁垒和产品优势。
2）收集更多有效数据反哺基础模型与“数据-模型”飞轮
此类产品的目标是：基于OpenAI的模型能力和技术储备，搭建特定产品场景，吸引特定能力或兴趣的用户，通过用户行为反馈积累特定的有效数据，反哺AGI基础模型。这类产品由于所需的数据、能贡献数据的用户群体不同，产品形态和面向的市场各有差异。
DALL·E与Clip：图-文数据
ChatGPTPlugin：用户通过应用及API构建复杂任务处理方案的数据
OpenAICodexPlayground：用代码构建不同应用程序数据
OpenAIUniverse：各类强化学习任务及训练数据
Rubik'sCube：模型与物理世界互动数据
3）两个数据飞轮之间的迁移与博弈
一个关键并且有趣的事实：上述这两个目标及其衍生的业务飞轮事实上存在一些微妙的结构性矛盾，而这正是一些让人困惑的现象和行为背后的底层原因。OpenAI自身产品与其上层生态应用产品会在两个数据飞轮间迁移和博弈。
迁移一：OpenAI自身产品的产品目标，可能会由收集数据反哺大模型，迁移至构建生态普惠大众
典型案例如GPT系列模型的API产品。GPT-1与GPT-2是OpenAI在LLM模型上的初期产物，这个阶段的OpenAI需要更多的高质量文本数据，因此只向有限高质量用户开放API，并且以免费和极低的浮动价格提供给用户。到了GPT-3发布时，OpenAI在LLM能力上逐渐拉满，通用的文本数据对模型本身的能力提升ROI降低，因此OpenAI此时对产品进行标准定价并开放给更多用户。到今日，该系列产品已为不需要waitlist的标准产品。
迁移二：OpenAI基础模型的能力提升，会导致部分层生态应用产品的用户向OpenAI自身产品迁移
典型案例如Jasper与ChatGPT。由于GPT系列模型的Alignment问题，和API本身对C端用户的易用性问题，在ChatGPT发布前普通用户难以使用LLM的语言理解与生成能力。因此Jasper基于对GPT模型能力的理解和使用经验，打造了优于市面所有竞品的营销内容生成平台，并用一年多的时间迅速涨至9000万美金的ARR。然而ChatGPT的面市将Jasper的优势迅速拉低，模型能力之上过薄的产品令市场质疑其业务的护城河。虽然目前公司的营收仍在高速增长，但是Jasper也不得不从营销内容生成平台向营销链路SaaS转型，以获取更安全的生态位。这类迁移不是OpenAI主观设计的，却是基础模型能力提升必然会发生的。
博弈一：有助于提升AGI通用能力的场景与用户行为数据的争夺
典型案例如ChatGPTPlugin与Langchain。Langchain是一个基于GPT生态的工具层开源项目，为开发者用户提供了将私有数据和实时搜索结果与LLM能力结合构建应用的方案，是GPT生态的重要组件。Langchain是当前生态最活跃的玩家之一，公司于2023年3月获得BenchmarkCapital1000万美金的首轮投资。然而就在Langchain宣布融资消息一周后，OpenAI推出ChatGPTPlugins插件集。Plugins能够：
1）调用互联网数据解决实效性问题；
2）接入第三方私有数据；
3）操作外部应用。
丰富有用的能力组件直接挤压了Langchain的生存空间。然而与市场上认为“Plugins是OpenAI出于商业化目的为构建LLM时代的应用商店而推出的”主流观点不同。我们认为OpenAI推出Plugins的本质原因是为了获取“用户为了解决特定任务时会如何使用应用程序和API的行为数据”。
值得注意的是，“正确理解用户意图，准确选择并使用合适的工具可靠地完成任务”这个场景目前竞争激烈。除了OpenAI外，AdeptAI、InflectionAI以及Meta的Toolformer模型都在竞争此领域的生态位。进一步讨论，如果LLM未来真的成为新一代的人机交互界面，准确性和可靠性是必要条件。
博弈二：深度垂直场景的数据与用户争夺
典型案例如BloomBergGPT。2023年3月30日，BloomBerg发布自研垂直领域GPT模型BloombergGPT，模型参数50B，训练Token700B，其中私有金融数据和公开数据各一半。在私有金融任务上的表现远高于当前的GPT模型。
换言之，如果垂直领域的任务复杂度足够深、数据足够独特且数据量足够大，不拥抱通用LLM生态而自研垂直领域大模型，可能是一个至少短期内合理的博弈。
整体而言，这两个数据飞轮之间的产品迁移和博弈将会持续存在。
3.1.3GTM（Go-To-Market）与商业化
整体而言，我们认为OpenAI的GTM和商业化策略是普惠大众与保持自身独立性间的trade-off，且公司会在权衡中持续摇摆。
1）从OpenAI到OpenAILP：非盈利向有限盈利的转型
OpenAI在成立之初只有探索普惠AGI的愿景，并没有想清楚技术实现路径，大大低估了需要的资金投入。在OpenAI以非盈利组织运营的2年期间，总融资金额估算只有1000-3000万美元左右。2018年-2019年是OpenAI资金最为困难的阶段。在2017年确认GPT架构的LLM技术路径后，GPT-1与GPT-2的训练烧尽了几乎所有资金。他们不仅无法继续承担下一代模型训练的天价费用，也无法招聘行业优秀人才（实际上已经有研究人才被谷歌挖走）。
在此背景下，非盈利的OpenAI于2019年3月改制为有限盈利的OpenAILP。股权改制后，OpenAI先后接受微软约130亿美金投资。此后，OpenAI不仅可以开出高薪吸引行业顶级人才，承担高昂的AI训练费用，打造超级AI基础设施，还加快了算法探索和产品研发的速度。
然而对于科技巨头的高度依赖，导致OpenAI内部和外部都出现了对其普惠愿景和丧失独立性的质疑，甚至导致了部分核心员工的流失。
我们认为，AGI是个资金密集型行业，OpenAI必须要找到可持续探索AGI的运营模式。获得外部资金支持和自身产品商业化是当前的两条可选路径。自身产品商业化对于OpenAI来说是一个更可控且可以保持自身独立性的模式。因此我们判断，OpenAI会进一步开展商业化进程，但不会以收入或利润最大化为目标。OpenAI最根本的目标还是探索AGI智能的极限。
有限盈利的商业化策略，会使OpenAIGTM和商业化决策不同于传统的科技巨头，进而影响行业生态。
2）微软与OpenAI的合作蜜月期
自2019年微软首次投资OpenAI以来，双方展开了教科书级别的战略合作。
OpenAI得到了什么：
资金：2019年和2021年两轮投资总计约30亿美元，2023年1月据悉追加了100亿美元投资；
工程Infra的助力：Azure对OpenAI模型的训练和推理投入了专门的团队支持。更重要的是2021-2022年，Azure和Greg带领的Infra团队重构了OpenAI的整个基础设施，得到了稳定性和可拓展性都极高的模型训练Infra（可预测的Scale对OpenAI很重要）；
多元优质的特殊数据：GitHub和Bing等特殊的文本数据；
C端心智占领和丰富的通用应用场景：GitHub（7300万开发者用户）、Office套件（1.45亿的日活）、Xbox（XboxLive9000万月活）分别为OpenAI试水LLM应用提供了开发者、通用生产力和营销工具、游戏等优质的通用应用场景，与LLM形成独有的数据飞轮；
B端的客户资源和垂直场景：Azure拥有95%的财富500强企业，有超过25万家公司使用MicrosoftDynamics365和MicrosoftPowerPlatform；
微软得到了什么：
首先要注意的是，Microsoft是营收最多元化的科技巨头，第一大业务Azure营收占比31%，第二大业务Office营收占比24%。而Google、Amazon、Meta、Apple等硅谷大厂的单一主营业务营收占比均超过50%。
Azure（进攻）：作为OpenAI的云服务供应商，Azure是OpenAI产品在公有云场景的独家使用平台。如果我们认为未来人类数字活动的AI含量将大幅提升，且OpenAI的产品会占据大部分份额。那么Azure很有可能会获得大部分云计算增量推理市场。同时，Azure与OpenAI共同研发的大规模训练基础设施若开放，则还能获得大部分云计算训练市场。长期来看，这对AWS会造成不小的挑战和冲击。
办公套件（防守）：Office套件中所有单品都在受到新型玩家的挑战（Notion、Airtable等），OpenAICopilot与Office套件的结合既升级了单品，也放大了Office各单品间联动的优势。
BingSearch（防守）：很多投资者认为BingSearch会颠覆Google。我们在这里有不同的观点。Bing与ChatGPT补丁式的合作其实不改变搜索体验本质，但却是会抢走部分Google的搜索流量。真正有可能颠覆Google搜索是类似Perplexity的LLM原生的全新搜索产品。在搜索中增加LLM其实反过来会增加单query的成本（根据各类推算，不优化的话，当前可能2-3倍于传统搜索），进而降低传统搜索业务的利润空间。而Google对于搜索业务的依赖远高于Microsoft，战略上也就更难受。但不管对于Bing还是GoogleSearch，原本极高的搜索广告营收都阻碍了它们真正在LLM语境下像Perplexity一样构建全新的信息和知识获取引擎。
现阶段是OpenAI和微软合作的蜜月期。不过值得注意的是，模型厂商和云服务厂商在产业链上的价值分配在未来仍然会产生博弈，微软与OpenAI的蜜月期能持续多久未可知。
3）ChatGPT意外收获的C端市场，从基础模型层向应用层的扩展
ChatGPT让OpenAI意外收获了C端市场，近4个月的时间ChatGPT官网总访问量超过10亿，独立访客数超过1亿。从生态繁荣的角度，基础层涉足应用层在任何产业链中都是大忌，这会极大打击生态位上层玩家对基础层的信任，但是OpenAI在此问题上展现出了极大的“无所顾忌”，而这种行为从AGI愿景以及更好的数据Scale角度可以得到解释：
更低成本的数据获取：通过对C端的流量与心智占领，如今ChatGPT与OpenAI已成为了当前LLM的代名词和行业标准。作为一项全新的技术和产品，心智占领可以让OpenAI持续以更低的GTM成本获得用户数据。
更丰富场景有效数据的获取：比如Plugin，我们推测，通用的对话数据对于GPT-4的边际价值已经不大，但是Plugin所收集的通过使用工具完成用户任务的数据非常有价值。这个可能是未来成为真正的新一代人机交互界面的关键（前文提到这个领域竞争激烈）。
通过更多长尾对话和应用场景来优化模型能力：一方面可以加快Alignment和安全性的研究，一方面也可以挖掘更多潜力场景。
最大限度保持普惠AGI的初心：通过商业化得到巨大的造血潜力，有机会让OpenAI未来减少对巨头的依赖并健康的可持续发展
4）通过投资构建生态和补齐AGI探索需要的技术伙伴
2021年，OpenAI宣布启动一个1亿美元的创业基金，名为OpenAIStartupFund。主要投资标的有以下几类：
应用层公司
初创企业可以在OpenAI公开发布新工具之前先使用新能力，这会让他们在竞争对手前占据优势。OpenAI可以深度获得各类场景的数据或早期反馈。
未来的LLM生态不会只有OpenAI一个模型层玩家，而会有多家模型厂商和大量垂直应用。通过投资的强合作关系可以让OpenAI和它的合作伙伴们的飞轮更大且更快。
芯片、机器人等前沿科技公司
OpenAI在AGI上的探索预计将长期领跑于行业，这会导致OpenAI需要探索更多先进的产品和工具来满足自身的研究需要。如，新架构的芯片服务更大规模更多模态的模型训练，更先进更低成本的机器人让OpenAI未来有机会做与物理世界互动的RL的Scale等。
3.2预测：OpenAI的未来行为推演
3.2.1技术
如前文分析，在OpenAI的技术理解和审美下，数据和参数量的Scale是必然选择，而GenerativeModel和Transformer则是当下的最优选择。基于此，我们大胆对OpenAI接下来的技术行动做一些预测：
1）进一步增加LLM没见过的有效数据，拥抱多模态
通用文本数据：边际收益变低，引入更多其他类型的文本数据，如代码、其他可计算语言
图像视频等模态数据：图像和视频数据在Transformer架构下训练效率很低，Scale的训练成本会以平方或平方以上级上升
与比特世界的互动数据：如前文所述，OpenAI一直想做RL（强化学习），但过去Robotics的RL很难Scale，但在比特世界有大量的用户场景可以尝试
与物理世界的互动数据：通过机器人等与物理世界互动做RL的Scale，这里的进度很大程度取决于机器人技术的发展速度
2）RL的Scale
与GenrativeModel相似，RL也是符合OpenAI审美的算法。虽然RL对于目前已发布的GPT系列模型贡献较小，但GPT-3.5初步将InstructionTunning（指令微调）和RL结合放大，已经显示出了令人惊喜的效果。未来预计OpenAI会用更Scale的RL（RLHF，RLAIF）手段辅助基础模型训练。并且如今有了更多C端流量在手，不排除未来OpenAI会把一些产品变成RL的Agent来辅助训练的可能（如用ChatGPTPlugin做“开发者行为相关和工具使用”的RL训练）。
3）Robotics与EmbodiedAGI（具身智能）
我们认为在当前时间点，比起AGIforRobotics，OpenAI更关心的是RoboticsforAGI。通过Robotics与环境互动和感知感官信息的能力，来增加AGI基础模型对物理世界的理解和认知推理能力。
4）寻求能更高效Scale更多模态数据的新算法架构
Transformer仍为当前OpenAI算法架构的最优选。它对于文本模态的Scale很高效，但是对于图像视频等模态很低效。因此GPT-4之后，OpenAI寻求更高效的算法架构的需求变得更紧迫。我们有理由相信OpenAI内部正在做Transformer变体甚至更新的算法架构的模型训练实验。
5）对于模型的推理和涌现能力的深度理解
现在学术界对于LLM的涌现和推理能力的理解还在早期。我们相信下一个词预测的准确性和推理能力在高维空间必然存在数学联系，但复杂难以研究。技术领域最好的创新其实都来自于对已知的本质理解。对这个领域的深度研究会很有价值。
6）增加模型的可靠性、可控性和安全性
可靠性：Hallucination问题的弱化；
可控性：准确的理解并执行任务。今天ChatGPT引入了Wolfram，用第三方组件的方式给了过渡方案。未来一定会努力在模型本身增加可控性；
安全性：不作恶以及不被恶人利用。
在这三点上，如何做好Alignment很重要。RLHF（ReinforcementLearningfromHumanFeedback）只是第一步。
3.2.2产品
我们相信在现阶段，OpenAI的产品策略会继续以“进一步提高AGI模型能力”为首要目标，以“让AGI产品被更广泛地合理使用“为次要目标。
1）为了进一步提高AGI模型能力，OpenAI会设计更多能获得有效数据、进行模型实验、与用户互动迭代的产品
这里的关键是有效数据。之前提到Ilya过去的技术审美喜欢“基础算法规模化”。同样的在数据侧，我们认为OpenAI会优先选择容易Scale的，容易训练的数据。未来OpenAI可能会将产品与模型训练过程结合，将用户行为变成模型训练的一部分。
2）为了让AGI产品被更广泛地合理使用，OpenAI会更小心的控制模型能力释放给公众的节奏
AGI不只是提升社会生产力，而是提升社会生产力进步的速度。Sam已在多篇文章和访谈中强调了AI安全性、AI带来的未来贫富差距拉大等一系列社会问题。GPT-3.5以上的模型事实已经开始影响人类社会许多工种的生态。GPT-4目前发布的是降级版。可以预测，OpenAI未来可能会和更多的社会研究机构对模型能力可能造成的潜在影响进行预测，并放缓模型能力释放的节奏，给相关行业缓冲期。
3.2.3GTM和商业化
1）GTM策略上，OpenAI会持续捕捉C端的Attention，同时与B端展开更多元的生态合作
C端流量同时为OpenAI提供了各类收集数据的有效渠道和变现造血能力，预测OpenAI会持续谋求更大的C端流量、更长的用户停留和更深的用户行为。Attention和心智占领对于C端产品尤为重要。Anthropic的对话产品Claude与ChatGPT能力上不分伯仲，但在C端的认知度和流量都远低于ChatGPT和Bard。
B端则会持续通过与微软的生态全方面合作、创业公司的使用激励、投资等角度，加速“数据-模型”飞轮的转动。
2）有限商业化
根据前文对OpenAI做普惠AGI的愿景及有限盈利架构的分析，我们认为OpenAI的产品定价会根据普惠和组织可持续发展为纲领制定。具体表现为
有强反哺模型目标的产品免费；
C端通用产品贴成本定价（未来甚至可能免费）；
B端产品有限盈利；
总体而言，OpenAI有限盈利的架构会使其GTM和商业化不同于商业化公司。但作为事实的产业链链主和行业标准，它的GTM和商业化策略会对行业有很大的影响。
4.LLM产业链分析
4.1宏观视角下LLM生态
4.1.1当前行业增量营收分布推测：应用层30-40%，模型层0-10%，计算基础设施服务50-70%
1）应用层拿走30-40%价值
根据A16Z对美国LLM创业调研，纯应用厂商毛利约60%-80%，20-40%的营收用于推理和模型fine-tuning；
应用厂商当前用户和营收增长迅速，当前已经多厂商ARR达1亿美金；
虽然用户数量和营收都在高速增长，但很多应用厂商都面临用户留存率低、竞争加剧和护城河浅等关键问题；
2）模型层拿走0-10%价值
根据GPT-3.5的模型参数量和价格测算，推测OpenAI几乎是以成本或极低的毛利对API定价。且根据对海外竞品LLM公司的访谈，竞品同类能力模型都在做推理成本优化以匹配GPT-3.5的价格（尚未达到）；
未来纯模型厂商若模型能力与OpenAI的标准产品同质化，推理价格必然需要长期匹配有限盈利的OpenAI普惠大众的商业化策略。LLM的训练成本又极高，纯模型厂商面临极大的商业化压力；
3）计算基础设施服务层（计算硬件+云计算）拿走50-70%价值
推理上拿到20-40%的价值；
训练成本极高：以当前的A100价格计算，千亿模型（GPT-3.5）训练成本约2000万人民币；在LLM进入多模态阶段后，预计SOTA的模型训练计算量增长会超过单位计算成本的下降速度，且短期内会有更多模型层玩家进入市场，预计1-3年内LLM的训练市场会增长迅速。
训练侧更多LLM玩家的入场及多模态模型进一步Scale，推理侧LLM在进入爆发式增长起点，云计算和计算硬件市场将加速增长。云计算厂商行业格局可能发生较大变动。
4）由于当前LLM生态在发展初期，开发者工具的生态位还不稳定，本文暂不展开讨论。
4.1.2未来应用层高速增长且毛利可能改善，模型层竞争加剧，计算基础设施厂商将持续高速增长
需要注意的是，现阶段LLM仍处于大规模研发期，很多LLM新玩家才刚入场。且LLM在应用层的潜力还没有被挖掘，大规模渗透还没有开始，LLM的训练成本未被摊销。因此云计算和硬件厂商成了这一时期的最大玩家。我们认为此时的价值链分布为LLM行业发展早期的状态。行业生态真正成型后的价值链分布将与现阶段大相径庭。
1）应用层：随着LLM在各类应用场景的潜力被挖掘，应用层将加速增长。同时由于模型层竞争加剧可能导致的价格战，预期应用层毛利会改善。不过同质化的应用同样会导致价格战，这就要求应用层公司将壁垒建立在基础模型能力之外，我们认为能够差异化产品或建立网络效应的应用层公司会真正获得最大的产业链价值。
2）模型层：OpenAI的定价策略将会成为纯模型API的定价标准。预计OpenAI会坚持普惠大众的有限盈利商业化策略（如：2023年3月ChatGPT降价90%），不具备显著技术优势的LLM公司靠卖模型API盈利预计会很艰难。只有真正掌握全球SOTA模型及成本控制能力的公司才掌握模型定价权。
3）计算基础设施服务层（计算硬件+云计算）：训练推理双增长，全行业获得新的增长曲线。新的增长可能也是行业洗牌的机会，如何与LLM配合获得主动权对云计算厂商至关重要。同时要注意一些应用层公司或硬件层公司做新云的可能性。
在盘点了当前LLM生态的宏观格局后，我们放大讨论各个局部，开放式地提出一些值得探讨的话题。但是现在行业处于剧烈变化的阶段，我们基于当前的理解给出一观点，更多的是为了激发大家的讨论。
4.2LLM是否会进入价格战，模型层价格收否终将收敛到云计算的价格？
讨论这个问题前，首先需要提出两个问题：
1）LLM的价值点到底是什么？是LLM提供的信息获取、理解与推理能力，还是新的人机交互界面的革新？
前者模型的发展目标是进一步提升的复杂推理和高级智能能力。后者模型的当务之急增加对人类任务的理解力，加强使用工具应用的可靠性和准确性。两者当前的模型发展重点是有细微分岔的。
2）新入场的LLM公司的自我定位是什么？是探索AI智能极限的AGI公司，还是地域版的OpenAI镜面公司，还是商业化LLM公司？
我们认为现阶段，复刻GPT-3.5和ChatGPT本质是工程问题，复刻GPT-4以后的OpenAISOTA模型需要的则是算法科研能力。而要探索AGI，则需要极强的技术洞见，独立的技术判断（OpenAI不一定是正确答案），真正的AGI信仰和长期有耐心。
不可否认，GPT-3.5和ChatGPT就已经具备充分的商业化潜力了。
但是我们认为从模型能力角度，GPT-3.5和ChatGPT级别的模型能力将在1-2年在各个LLM团队内拉平。如果公司的模型能力停留在这个水平，模型API的价格战不可避免，终将趋向于成本。而真正能独占性地持续迭代出SOTA模型的厂商才能掌握定价权。
另一方面从产品形态角度，API本身不会成为平台，只会成为通道。以AGI模型能力为基础打造具有聚合能力的平台型产品，占据有利的生态位，才可能摘取更多的价值。
需要声明的是，长期来看，我们不认为这一波AI浪潮的价值都会被基础设施厂商消化。与国内2010年后的第一波CV（ComputerVision）浪潮不同，现今LLM的下游高价值场景非常发散，并不会收敛到1-3个（人脸识别在安防、身份认证等）标准场景上。LLM模型层将获得更多溢价。
4.3路径不同的LLM公司是会分岔还是收敛？
如上个问题所述，不同自我定位和目标的LLM公司会在下一个赛段短期内分岔发展。而长期的工作需要时间才会有阶段性成果（GPT路线走了5年）。
我们认为LLM模型发展发向很有可能是一个“收敛-发散-再收敛”的过程。短期工作有很多会收敛，接下来在垂直领域会分岔，当长期工作有了阶段性成果后会再收敛。
4.4LLM：开源VS闭源？
观察文生图领域，StableDiffusion和MidJourney仍然在拉锯竞争。而LLM领域，LLaMA+LoRA项目遍地开花，人人都可以训练一个大模型。两个生态会如何演化？
我们提供一个分析角度：开源本质是产品研发和GTM的一种方式。社区的活跃程度不能等同于商业价值。对于LLM的研发，开源是否能提供闭源不具备的价值？无论GTM的路径是什么，客户最后买单的是产品价值。开源闭源产品能力或服务体验是闭源产品无法满足的？
4.5计算基础设施层的增量会有多大？是否有新云的机会？如果有新云，是由上往下还是由下往上？
2023年4月5日，ChatGPTPlus停止新的付费注册，据称是因为微软的计算资源不够了。不管消息是否属实，LLM已经并且将持续增加对计算基础设施的需求显而易见，甚至可能导致云计算行业的洗牌。关于AI对于云计算的增量有多大，取决于人类在比特世界的活动会多大程度被AI渗透。这需要对模型能力进行预测及对每个细分场景进行分析，今天暂不详细展开。
英伟达2023年3月的GTC大会发布的四款推理平台中，H100-NVL（2卡，显存94GB*2HBM3）——为什么不是80G（单卡平台的显存）*2？因为放不下GPT-3176B的参数量。同时，英伟达发布DGXCloud产品，企业可以直接租用集群进行各类AI模型训练和fine-tune，消除了部署和搭建基础设施的复杂性，越过了传统云计算厂商。这让我们不禁怀疑，AI带来巨大计算增量是不是让英伟达燃起了做云计算的野心？
另一个角度，真正远超竞争对手模型能力的LLM公司，是否有机会向下延伸，打出一朵新云？正如前文分析，计算基础设施是当前生态中确定性最高的可持续获利且有壁垒的的环节。如果SOTALLM和某家云服务独家绑定，下游客户对SOTALLM的粘性很可能高于云服务商，这里的潜在机会非常值得深入研究。
毋庸置疑的是，无论是新老玩家，与LLM的竞和战略对云计算服务厂商至关重要（就在发文当天，AWS发布AmazonBedrock，正式加入战局）。
4.6下游应用和工具是否有稳定的生存空间
Jasper和Langchain的遭遇引发了创业者的巨大争论：能力快速升级的OpenAI会不会逐步蚕食下游应用和工具的生存空间？
我们认为创业者可以拆成2层看这个问题：
1）问题1:AGI不停升级的基础模型能力，是否会自然覆盖我的产品核心竞争力？
如果产品的核心竞争力完全是模型能力的浅层封装，公司的生存空间自然不稳定。应用层公司应努力构建自由业务的网络效应或数据积累。以Jasper举例，如果公司能够将核心产品竞争力从单一的“智能化营销内容生产”转为“最智能的All-in-One营销平台”，那与ChatGPT的竞争担心就会大大减弱。当然这就让Jasper面临和Salesforce、Hubspot等传统营销平台的竞争。各个垂直场景新老玩家谁能胜出，也是一个值得展开研究的话题。
2）问题2:OpenAI为了不断发展AGI，是否希望获得我场景中的数据？
这个问题就回到了两个数据飞轮间的博弈，且不仅仅是技术的博弈。OpenAI会持续希望获得自己模型没有学习过的非同质化有效数据。
Langchain的场景拥有OpenAI希望获得的“开发者通过使用各类工具构建应用，来完成用户任务”的数据，而场景高度依赖GPT生态，自然场景和数据都被OpenAI回收了；
Bloomberg则不然。我们相信拿Bloomberg的数据fine-tuneGPT模型，无论是效果还是成本都会优于BloombergGPT。但Bloomberg掌握了金融的深度场景、量足够大且足够独特的私有数据，便掌握了和OpenAI博弈的能力。当然另一个层面的囚徒困境是：如果你选择不拥抱通用模型生态，是否会输给搭建于大模型之上的竞争对手？
4.7模型层与应用层的价值分配
首先，由于OpenAI实际掌握了LLM模型的行业定价权，基于我们对OpenAI会持续追求普惠AGI愿景和有限盈利架构的判断，我们认为OpenAI不会主观侵占下游应用的利润空间。
那么当底层LLM模型的参数量逐年上升，模型的推理成本会不会让上游应用无法承受？
我们判断不会。因为不同智能含量的场景，需要的模型能力和能承受的模型价格都是不同的。举例来说，写10条小红书的营销文案可能需要月工资5000元的员工1小时，而10条跨国法律合同修改意见则需要小时工资400美元的海外律师1小时。二者对模型成本的敏感性显然差很多。
4.8C端的超级流量入口？平台还是管道（PlatformVSPipeline）？
OpenAI无疑展现了新一代C端流量入口的潜力。然而流量可以成为管道也可以成为平台，二者的商业价值不可同日而语。
正如PackyMcCormick在AttentionisAllYouNeed文章中指出，OpenAI率先吸引了AttentionwithIntelligence。ChatGPT现在已经和亿级用户建立了直接的联系，为服务用户提供了较低的边际成本，且可以以递减的边际成本获得需求驱动的多方网络效应，成为了一个最有潜力的超级C端聚合平台。Plugin的交互界面和传统API完全不同，对C端可能产生更深远的影响，今天暂不展开。
同时Google仍然不容小觑，最近Bard将底层模型替换成PaLM后，能力大幅提升。当前Bard和ChatGPT相比，仍然很Nerdy。但是我们预期，以Google的技术深度和各类10亿量级用户的C端产品，它充分具备打造新一代以LLM为基础的新一代C端聚合平台的潜力。
相比之下，Anthropic的Claude被认为具备ChatGPT同等水平的智能，其平台潜力却远没有被激发出来。
并不是所有LLM追随者都能成功复刻GPT模型+ChatGPT+Plugin路径的。正如前文分析OpenAI今天的成就是技术+产品+GTM综合的结果。即使如中国般相对独立的区域市场，也需要真正领先的技术能力与战略能力结合才能成功。
结束
以上是OneMoreAI根据原报告整理的压缩版，报告原文中除了对上文提到的信息有更深入和具体的分析外，也留下了很多问题待进一步研究和讨论。
LLM行业还在起步阶段，生态仍未稳定，未来充满了不确定性。我们从逆向工程OpenAI的思路出发，尝试解释并预测行业最关键玩家的行为，希望建立一个能够对LLM生态进行系统性讨论的宏观框架供大家讨论，一起迎接这个历史性的AI浪潮。
感谢Dylan，冠叔，龙老师，思彤，Try总，欣然，周昕宇，张卓对本文的帮助和贡献（拼音顺序排列）。
本文作者：Kiwi，双币VCVP。如果你正在AI领域创业、研究或有交流的想法，欢迎联系Kiwi的微信（812023467）讨论。