中国工程院院士高文：鹏城云脑Ⅱ和鹏城云脑Ⅲ可以解决目前所有大模型的训练

导读：5月22日，在2023大湾区科学论坛上，鹏城实验室发布了鹏城·星云系统和星方数据——这是支撑国际大科学计划和工程的需求、聚焦天文和遥感两大学科的科研云平台。

界面新闻记者 | 张熹珑

5月22日，在2023大湾区科学论坛上，鹏城实验室发布了鹏城·星云系统和星方数据——这是支撑国际大科学计划和工程的需求、聚焦天文和遥感两大学科的科研云平台。

鹏城星云系统依托于“鹏城云脑Ⅱ”而构建。鹏城云脑Ⅱ是国产自主的首个E级AI算力平台，根据中国工程院院士、鹏城实验室主任高文的介绍，是“10的18次方、每秒16位复点运算的机器平台”。目前，云脑Ⅱ已经连续五次在超算打榜获得世界第一。

成立于2018年的鹏城实验室位于深圳，主要从事网络空间信息研究，定位为省级实验室；2022年被列入国家实验室。

相比之下，鹏城实验室的合作伙伴知名度或许更高——此前百度发布的全球首个知识增强千亿大模型百度文心、华为发布的首个千亿级生成和理解中文NLP大模型盘古大模型，均有鹏城实验室的研发参与。

ChatGPT带火了整个人工智能产业，也让焦点集中在大模型上。高文指出，ChatGPT之所以能对整个技术发展带来这么大冲击，最关键的是它使用了大模型。

从人工智能行业出发，如何将训练好的模型从一个领域迁移到另外一个领域，始终是一个难题，因为不可能依赖于大量人力去标注数据。

国际欧亚科学院院士李世鹏表示，大模型是解决这个瓶颈的方法，“采用一种预训练模式，对所有数据进行非监督学习，形成大模型后再进行微调，落实到具体的应用场景。”

“其实模型本身很简单，就是生物学里面神经元的一个连接。但是因为它规模大，就起到非常理想的结果。所以规模是大模型里最核心的东西。”高文表示，规模需要靠三方面结合：巨大的算力、海量数据和足够好的算法。例如ChatGPT就是微软为其提供算力，提供了约1万块A100芯片的算力服务器支持。

高文提到，中国也有这样的算力，在2020年推出的云脑Ⅱ，相当于4000块A100芯片组合出来的机器，既可以做理论研究，也可以做核心技术，或者一些比较大的应用。

云脑Ⅱ的诞生让鹏城实验室的AI算力从100P上升到1000P。举例来说，24小时内能训练100亿张图像，或1亿人的DNA、或1千万小时语音、或1万天的自动驾驶数据等，是52万台家用电脑算力之和。

“我们现在正在设计下一台3.2万块卡的机器，这台机器的能力会比微软的机器还强，是后者能力的三倍，确保为人工智能训练持续提供强有力的算力支持。”高文透露，这台机器大约花费60亿元，算力达到16000P。

“两台机器加在一起，可以解决到目前为止所有大模型的训练。”高文表示，而且以此为核心，现在正在启动中国算力网的建设，将来的算力会像ChatGPT电力一样即插即用。

为了实现这个目标，鹏城实验室现在正推动大模型的开源和底座训练工作。例如云脑Ⅱ，只有1/4是鹏城实验室在用，3/4开放出去，作为大设施开放提供给国内的合作伙伴、高校甚至企业使用，此前也帮助百度、华为训练了一系列大模型。

“鹏城会帮助相关单位训练出GPT的底座来，云脑Ⅱ、云脑Ⅲ会给人工智能大模型提供足够算力，我们也希望合作伙伴提供一些数据。”根据设想，通过鹏城的算力、公开渠道的数据结合，训练出大模型底座向全社会开放。

算力、算法、数据，是人工智能的三大范畴。这也意味着，即使企业的算力不高，也能通过底座完成工作——毕竟ChatGPT一次训练要花费将近1000万美元。而对于云脑Ⅱ等基础设备而言，也有望降低开发工作量。

腾讯首席科学家张正友则指出，因为各种各样的原因，包括隐私、行业数据之间的关系，是不可能做一个模型打遍所有事情的，“如何去解决数据之间的壁垒，将多个模型高效地整合起来，这可能又是一个值得研究和探讨的方向。”