当多媒体遇到人工智能时会带来什么？
导读：《中国图象图形学报》2022年第9期“多媒体智能”专刊出版的综述“多媒体智能：当多媒体遇到人工智能”，通过研究多媒体和人工智能之间的相互影响引入了多媒体智能的概念。成果来自北京大学高文院士，清华大学朱文武教授等专家学者团队。
原创 朱文武，等
中国图象图形学报
过去10年中涌现出大量新兴的多媒体应用和服务，带来了很多可以用于多媒体前沿研究的多媒体数据。多媒体研究在图像/视频内容分析、多媒体搜索和推荐、流媒体服务和多媒体内容分发等方向均取得了重要进展。与此同时，由于在深度学习领域所取得的重大突破，人工智能(AI)在20世纪50年代被正式视为一门学科之后，迎来了一次“新”的发展浪潮。因此，一个问题就自然而然地出现了：当多媒体遇到人工智能时会带来什么？
《中国图象图形学报》2022年第9期“多媒体智能”专刊出版的综述“多媒体智能：当多媒体遇到人工智能”，通过研究多媒体和人工智能之间的相互影响引入了多媒体智能的概念。成果来自北京大学高文院士，清华大学朱文武教授等专家学者团队。
01
论文信息
多媒体智能：当多媒体遇到人工智能
作者：朱文武, 王鑫, 田永鸿, 高文
关键词：多媒体技术；人工智能(AI)；多媒体智能；多媒体推理；可解释人工智能
引用格式：朱文武, 王鑫, 田永鸿, 高文. 2022. 多媒体智能：当多媒体遇到人工智能. 中国图象图形学报, 27(9): 2551-2573 [DOI: 10.11834/jig.220086]
02
论文看点
从两个方面探讨多媒体与人工智能之间的相互影响：一是多媒体促使人工智能向着更具可解释性的方向发展；二是人工智能反过来为多媒体研究注入了新的思维方式。这两个方面形成了一个良性循环，多媒体和人工智能在其中不断促进彼此发展。
03
未来研究方向
1）多媒体图灵测试是能够补全循环的一种很有前途的方法。多媒体图灵测试包括视觉图灵测试(视觉和文本)、音频图灵测试(音频和文本)等，这些图灵测试在多种多媒体模态上进行。
2）探索更具解释性的多媒体推理过程是一个值得进一步研究的重要方向。一种简单的方法是利用其他推理特征来扩充深度神经网络，从而丰富具有推理特性的深度神经网络。应该为深层神经网络配备更多更好的推理增强层或模块，这些模块将提高DNN的表示能力。
3）将自动机器学习和元学习的思想应用于多模态多媒体问题，培养在类人任务和环境中的适应能力和知识迁移能力，是推动多媒体智能发展的另一个关键研究方向。
4）数字视网膜作为多媒体智能的未来发展方向之一，将推动当前的多媒体研究朝着更实际的场景和更类人感知和推理的方向发展。
04
作者简介
第一作者：朱文武，清华大学教授，主要研究方向为多媒体大数据、多媒体智能。
E-mail:wwzhu@tsinghua.edu.cn
通信作者：田永鸿，北京大学教授，主要研究方向为分布式机器学习、神经形态视觉和视频大数据。
Email：yhtian@pku.edu.cn
王鑫，清华大学助理研究员，主要研究方向为多媒体智能分析、机器学习。
E-mail：xin_wang@tsinghua.edu.cn
高文，中国工程院院士，主要研究方向为人工智能、模式识别与多媒体计算。
Email：wgao@pku.edu
