智源研究院发布2020年世界十大AI进展
导读：年终岁尾，AI热潮仍然汹涌，应用前景依然广阔。在这样一个时间节点，全体智源学者经过商讨复盘，从科学、系统、算法等层面总结出AI领域的十大进展。
跌宕起伏的2020年，似乎如梦如幻。但这一转折之年，对于AI领域却无比关键，世界各地先后出现了诸多颠覆性的进展，让人如痴如醉。譬如5月份出现的GPT-3，让人们突然看到了通用人工智能的希望；再如12月初AlphaFold2的出道，让人惊叹“它将改变一切”，人们意识到AI正在以及将要颠覆传统学科。
年终岁尾，AI热潮仍然汹涌，应用前景依然广阔。在这样一个时间节点，全体智源学者经过商讨复盘，从科学、系统、算法等层面总结出AI领域的十大进展，分别如下：
进展1：OpenAI发布全球规模最大的预训练语言模型GPT-3
进展2：DeepMind的AlphaFold2破解蛋白质结构预测难题
进展3：深度势能分子动力学研究获得戈登·贝尔奖
进展4：DeepMind等用深度神经网络求解薛定谔方程促进量子化学发展
进展5：美国贝勒医学院通过动态颅内电刺激实现高效“视皮层打印”
进展6：清华大学首次提出类脑计算完备性概念及计算系统层次结构
进展7：北京大学首次实现基于相变存储器的神经网络高速训练系统
进展8：MIT仅用19个类脑神经元实现控制自动驾驶汽车
进展9：Google与Facebook团队分别提出全新无监督表征学习算法
进展10：康奈尔大学提出无偏公平排序模型可缓解检索排名的马太效应问题
01
GPT-3
进展1：OpenAI发布全球规模最大的预训练语言模型
2020年5月，OpenAI发布了迄今为止全球规模最大的预训练语言模型GPT-3。GPT-3具有1750亿参数，训练所用的数据量达到45TB，训练费用超过1200万美元。
对于所有任务，应用GPT-3无需进行任何梯度更新或微调，仅需要与模型文本交互为其指定任务和展示少量演示，即可使其完成任务。GPT-3在许多自然语言处理数据集上均具有出色的性能，包括翻译、问答和文本填空任务，还包括一些需要即时推理或领域适应的任务等，已在很多实际任务上大幅接近人类水平。
NLP预训练模型参数对比
相关链接：
https://openai.com/blog/openai-api/
02
AlphaFold2
进展2：DeepMind的AlphaFold2破解蛋白质结果预测难题
2020年11月30日，Google旗下DeepMind公司的AlphaFold2人工智能系统在第14届国际蛋白质结构预测竞赛（CASP）中取得桂冠，在评估中的总体中位数得分达到了92.4分，其准确性可以与使用冷冻电子显微镜（CryoEM）、核磁共振或X射线晶体学等实验技术解析的蛋白质3D结构相媲美，有史以来首次把蛋白质结构预测任务做到了基本接近实用的水平。
《自然》杂志评论认为，AlphaFold2算法解决了困扰生物界“50年来的大问题”。
蛋白质折叠
相关链接：https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology
03
分子动力学
进展3：深度势能分子动力学研究获得戈登·贝尔奖
2020年11月19日，在美国亚特兰大举行的国际超级计算大会SC20上，包括智源学者王涵（北京应用物理与计算数学研究院）在内的“深度势能”团队，获得了国际高性能计算应用领域最高奖项“戈登·贝尔奖”。“戈登·贝尔奖”设立于1987年，由美国计算机协会（ACM）颁发，被誉为“计算应用领域的诺贝尔奖”。
该团队研究的“分子动力学”，结合了分子建模、机器学习和高性能计算相关方法，能够将第一性原理精度分子动力学模拟规模扩展到1亿原子，同时计算效率相比此前人类最好水平提升1000倍以上，极大地提升了人类使用计算机模拟客观物理世界的能力。美国计算机协会（ACM）评价道，基于深度学习的分子动力学模拟通过机器学习和大规模并行的方法，将精确的物理建模带入了更大尺度的材料模拟中，将来有望为力学、化学、材料、生物乃至工程领域解决实际问题(如大分子药物开发)发挥更大作用。
论文地址：https://arxiv.org/abs/2005.00223
04
薛定谔方程
进展4：DeepMind等用深度神经网络求解薛定谔方程，促进量子化学发展
作为量子力学的基本方程之一，薛定谔方程提出已经有90多年的时间，但如何精确求解薛定谔方程，却一直困扰着许多科学家。
DeepMind开发的费米神经网络（Fermionic neural networks，简称FermiNet）来近似计算薛定谔方程，为深度学习在量子化学领域的发展奠定了基础，2020年10月，DeepMind开源了FermiNet，相关论文发表在物理学期刊Physical Review Research上。FermiNet是利用深度学习来从第一性原理计算原子和分子能量的尝试，在精度和准确性上都满足科研标准，且是目前在相关领域中较为精准的神经网络模型。
FermiNet示意图
另外，2020年9月，德国柏林自由大学的几位科学家也提出了一种新的深度学习波函数拟设方法，它可以获得电子薛定谔方程的近乎精确解，相关研究发表在Nature Chemistry上。该类研究所展现的，不仅是深度学习在解决某一特定科学问题过程中的应用，也是深度学习能在生物、化学、材料以及医药领域等各领域科研中被广泛应用的一个远大前景。
论文地址：https://deepmind.com/blog/article/FermiNet
05
视皮层打印
进展5：美国贝勒医学院通过动态颅内电刺激实现高效“视皮层打印”
对于全球4000多万盲人来说，重见光明是一个遥不可及的梦想。2020年5月，美国贝勒医学院的研究者利用动态颅内电刺激新技术，用植入的微电极阵列构成视觉假体，在人类初级视皮层绘制W、S和Z等字母的形状，成功地能够让盲人“看见”了这些字母。
结合马斯克创办的脑机接口公司Neuralink发布的高带宽、全植入式脑机接口系统，下一代视觉假体有可能精准刺激大脑初级视觉皮层的每一个神经元，帮助盲人“看见”更复杂的信息，实现他们看清世界的梦想。
论文地址：https://doi.org/10.1016/j.cell.2020.04.033
06
类脑计算完备性
进展6：清华大学首次提出类脑计算完备性概念及计算系统层次结构
2020年10月，包括智源学者张悠慧、李国齐、宋森等在内的清华大学研究团队首次提出“类脑计算完备性”概念以及软硬件去耦合的类脑计算系统层次结构，通过理论论证与原型实验证明该类系统的硬件完备性与编译可行性，扩展了类脑计算系统应用范围使之能支持通用计算。
该研究成果发表在2020年10月14日的《自然》（Nature）期刊。《自然》周刊评论认为，“‘完备性’新概念推动了类脑计算”，对于类脑系统存在的软硬件紧耦合问题而言这是“一个突破性方案”。
论文地址：https://www.nature.com/articles/s41586-020-2782-y
07
神经网络高速训练系统
进展7：北京大学首次实现基于相变存储器的神经网络高速训练系统
2020年12月，智源学者、北京大学杨玉超团队提出并实现了一种基于相变存储器（PCM）电导随机性的神经网络高速训练系统，有效地缓解了人工神经网络训练过程中时间、能量开销巨大并难以在片上实现的问题。
该系统在误差直接回传算法（DFA）的基础上进行改进，利用PCM电导的随机性自然地产生传播误差的随机权重，有效降低了系统的硬件开销以及训练过程中的时间、能量消耗。该系统在大型卷积神经网络的训练过程中表现优异，为人工神经网络在终端平台上的应用以及片上训练的实现提供了新的方向。该文章发表在微电子领域的顶级会议IEDM 2020上。
文章：Yingming Lu, Xi Li, Longhao Yan, Teng Zhang, Yuchao Yang*, Zhitang Song*, and Ru Huang*, Accelerated Local Training of CNNs by Optimized Direct Feedback Alignment Based on Stochasticity of 4 Mb C-doped Ge2Sb2Te5 PCM Chip in 40 nm Node. IEDM Tech. Dig. 36.3, 2020.
08
19个类脑神经元实现自动驾驶
进展8：MIT仅用19个类脑神经元实现控制自动驾驶汽车
受秀丽隐杆线虫等小型动物脑的启发，来自MIT计算机科学与人工智能实验室（CSAIL）、维也纳工业大学、奥地利科技学院的团队仅用19个类脑神经元就实现了控制自动驾驶汽车，而常规的深度神经网络则需要数百万神经元。此外，这一神经网络能够模仿学习，具有扩展到仓库的自动化机器人等应用场景的潜力。这一研究成果已发表在2020年10月13日的《自然》杂志子刊《自然·机器智能》（Nature Machine Intelligence）上。
论文地址：https://www.nature.com/articles/s42256-020-00237-3
09
全新无监督表征学习算法
进展9：Google与Facebook团队分别提出全新无监督表征学习算法
2020年初，Google与Facebook分别提出SimCLR与MoCo两个算法，均能够在无标注数据上学习图像数据表征。两个算法背后的框架都是对比学习（contrastive learning）。对比学习的核心训练信号是图片的“可区分性”。
模型需要区分两个输入是来自于同一图片的不同视角，还是来自完全不同的两张图片的输入。这个任务不需要人类标注，因此可以使用大量无标签数据进行训练。尽管Google和FaceBook的两个工作对很多训练的细节问题进行了不同的处理，但它们都表明，无监督学习模型可以接近甚至达到有监督模型的效果。
SimCLR 框架示意图
论文地址：https://ai.googleblog.com/2020/04/advancing-self-supervised-and-semi.html
10
无偏公平排序模型
进展10：康奈尔大学提出无偏公平排序模型，可缓解检索排名的马太效应问题
近年来，检索的公平性和基于反事实学习的检索和推荐模型已经成为信息检索领域重要的研究方向，相关的研究成果已经被广泛应用于点击数据纠偏、模型离线评价等，部分技术已经落地于阿里和华为等公司的推荐及搜索产品中。
2020年7月，康奈尔大学Thorsten Joachims教授团队发表了公平无偏的排序学习模型FairCo，一举夺得了国际信息检索领域顶会SIGIR 2020最佳论文奖。该研究分析了当前排序模型普遍存在的位置偏差、排序公平性以及物品曝光的马太效应问题等，基于反事实学习技术提出了具有公平性约束的相关度无偏估计方法，并实现了排序性能的提升，受到了业界的广泛关注和好评。
论文地址：https://arxiv.org/abs/2005.14713