1.4 改造世界:计算机科学中的注意力

正如上文所说,注意力在人类认知过程中扮演着极其重要的角色,认知系统对任何信息的加工都是从注意开始的。从哲学到认知神经科学,人们都在孜孜不倦地追求着注意力的本质。随着人工智能的兴起,能够让机器以人类智能类似的方式认知世界并做出恰当反应,也成为人工智能科学家追求的终极目标。在20世纪80年代中后期,构建注意力的计算机模型的工作在计算机科学领域悄然兴起,人们开始讨论计算机信息处理中在哪里“划重点”的问题:从一开始的注意力计算机仿真到在各类计算机任务中融入注意力机制,计算机科学领域对注意力的研究与应用如雨后春笋,开辟出别样的广阔天地。在注意力赋能下的计算机进一步成为改造世界的重要工具。作为人工智能领域中活跃度最高、应用前景最为广阔的计算机视觉(Computer Vision, CV)和自然语言处理(Natural Language Processing, NLP)两大领域,自然更是不遗余力地将注意力机制的研究和应用作为其发力的重点。两个领域中的注意力研究与应用也经历了“你方唱罢我登场”的发展历程。除了CV和NLP这两个领域,注意力在多模态机器学习中的模态对齐、多模态数据融合方面也有不俗的表现,同时,注意力也逐渐成为附能图卷积模型、增强对象间关系表达的利器。