1. 引言
图片优势效应的概念最初由Kirkpatrick于1894年提出。这一效应揭示了一个现象:当个体记忆具体对象时,通过图片形式展现的内容相较于文字形式,在记忆效果上展现出优越性(Nelson, Reed, & Walling, 1976)。在探讨图片优势效应的经典研究中,参与者被要求学习一系列易于命名的图片及其对应的文字标签(即单词),随后被测试者回忆出这些图片所对应的名称或单词。按照迁移恰当加工理论,如果个体对文字的编码与提取方式相匹配,其记忆成绩理应更佳。然而,实验结果却与该理论预期相悖,个体的图片回忆成绩明显优于文字回忆成绩,无论提取方式是否与编码方式匹配,均展现出了典型的图片优势效应。研究进一步表明,图片优势效应在不同人群中具有稳定性,如儿童、青少年、健康个体以及阿尔茨海默病患者(Ally, Gold, & Budson, 2009)均表现出此效应。在记忆测试的形式上,无论是自由回忆(Marsh, Agarwal, & Roediger, 2009)、线索回忆,还是再认、线索再认(Bancroft, Hockley, & Farquhar, 2013)等外显记忆测试,均观察到了图片优势效应的存在。
在其脑机制的探讨上,Deason等人(2012)使用PET技术,对图片和单词在记忆中激活的脑区进行研究。学习阶段,他们要求被试学习图片或单词,测验阶段,要求被试进行新旧判断。结果发现,在编码和再认过程中,右后海马旁回区域对图片的反应比对单词的反应更强烈。这说明,无论是编码阶段还是提取阶段,图片都要比文字更具优势。
2. 图片优势效应的重要性
2.1. 图优效应的实际应用
在教育领域,图片优势效应被广泛应用于教学和学习中。教师利用图片、图表和视觉辅助工具来解释复杂的概念和理论,可以帮助学生更好地理解和记忆知识。这种方式不仅提高了学生的学习兴趣,还增强了他们的记忆效果。例如,当老师在黑板上画出数学公式或物理定律的图表时,学生可以更直观地理解这些概念,并在课后更容易回忆起这些内容。
在通信和营销领域,图片优势效应同样发挥着重要作用。通过利用图片和视觉元素,营销人员可以更有效地传达信息并吸引消费者的注意力。例如,在广告中使用生动、有趣的图片可以吸引更多的目光,提高广告的曝光率和关注度。此外,图片还可以激发消费者的购买欲望,促进产品销售。在社交媒体上,具有视觉吸引力的图片也更容易被用户点赞、评论和转发,从而扩大品牌影响力。在品牌塑造和视觉设计领域,图片优势效应同样具有重要影响。品牌通过精心设计的视觉元素和图片来塑造自己的形象和个性,以吸引消费者的关注和认同。这些视觉元素不仅增强了品牌的识别度,还提升了消费者对品牌的信任和忠诚度。例如,在品牌广告中使用与品牌理念和价值观相符的图片,可以加深消费者对品牌的印象和认知。
2.2. 图优效应的重要性
2.2.1. 提升信息传播效率
在信息传播领域,图片比文字更具直观性和生动性,能够迅速吸引人们的注意力。图片优势效应的研究有助于我们更好地理解这一特性,并充分利用图片来提高信息传播的效率和效果。通过优化图片的视觉元素和布局设计,我们可以使信息更加易于理解和记忆,从而加快信息的传播速度,扩大信息的覆盖面。
2.2.2. 增强记忆效果
心理学研究表明,图像信息在大脑中被编码了两次(视觉编码和语义编码),而文字信息只被编码了一次,因此图像信息更容易被记住。图片优势效应的研究有助于揭示这一现象的本质和规律,为教育、培训等领域提供科学的依据。通过在教学中使用图片、图表等视觉辅助工具,我们可以帮助学生更好地理解和记忆知识,提高他们的学习效果和记忆能力。
2.2.3. 优化视觉设计策略
在品牌塑造、广告营销、产品设计等领域,视觉设计扮演着至关重要的角色。图片优势效应的研究有助于我们更深入地理解用户对视觉信息的感知和处理方式,从而优化视觉设计策略,提高产品的吸引力和竞争力。通过精心设计和选择图片,我们可以更好地传达品牌理念和价值观,增强消费者对品牌的认同感和忠诚度。
2.2.4. 推动科技进步和社会发展
随着信息技术的飞速发展,图片已经成为人们获取信息的重要途径之一。图片优势效应的研究不仅有助于我们更好地理解和利用图片信息,还可以推动相关技术的进步和发展。例如,在人工智能、计算机视觉等领域,图片优势效应的研究可以为图像识别、图像检索等技术的优化和改进提供有益的参考和借鉴。同时,这些技术的进步又可以进一步促进社交媒体、电子商务等行业的创新发展,为社会带来更多的便利和价值。
2.2.5. 促进跨文化交流
在全球化背景下,跨文化交流变得越来越频繁和重要。图片作为一种通用的视觉语言,具有跨越文化和语言障碍的能力。图片优势效应的研究有助于我们更好地理解不同文化背景下人们对图片的感知和理解方式,从而促进跨文化交流和合作。通过精心设计和选择具有文化共性的图片,我们可以更好地传达信息和价值观,增进不同文化之间的理解和尊重。
图片优势效应研究的社会重要性体现在提升信息传播效率、增强记忆效果、优化视觉设计策略、推动科技进步和社会发展以及促进跨文化交流等多个方面。因此,我们应该重视并加强这一领域的研究工作,为社会的发展和进步贡献更多的智慧和力量。
3. 图片优势效应的理论基础
图片优势效应理论大致可分为双重编码理论(Paivio, Philipchalk, & Rowe, 1975)、物理独特性理论(Mintzer & Snodgrass, 1999)和概念独特性理论(Hamilton & Geraci, 2006)。
3.1. 双重编码理论
对图片优势效应应用最广泛的解释是双重编码理论(DCT; Paivio, Philipchalk, & Rowe, 1975)。该理论认为我们的记忆系统包含了两种不同的编码子系统,一种是言语表征系统,主要用来对语言信息进行加工和处理,另一种是非言语表征系统,主要用来对图像信息进行加工和处理。这种观点认为,个体在记忆图片时,会对图片进行图像和文字的双重编码,而再记忆单词时,仅存在单一的文字编码,双重编码使得图片更容易被记住。
PSE的非双重编码理论解释通常统称为特殊性解释。特殊性解释的观点是图片相对于文字的固有独特性导致PSE,可以大致分为那些强调物理(即感官/知觉)独特性的解释(Ensor, Surprenant, & Neath, 2019; Mintzer & Snodgrass, 1999; Weldon & Roediger, 1987)和那些强调概念独特性的解释(Hamilton & Geraci, 2006; McBride & Anne Dosher, 2002)。
3.2. 物理独特性理论
Nelson, Reed, & Walling (1976)提出感觉–语义模型认为,相对于单词,图片具有独特的视觉特征,这使得图片比单词具有更强的感觉编码,使得图片的可记忆性比单词的可记忆性强得多,即使只存储了一种编码形式,图片也比单词具有更好的记忆效果。特别是,识别一幅图片需要一个人认识到哪些特征是诊断其身份的图片。例如,猫头鹰的翅膀是其鸟类身份的诊断,但其大眼睛将其与其他鸟类区分开来。因此,根据物理独特性的解释,PSE是物理可变性的函数,越可变的刺激类别产生的记忆力越好。
3.3. 概念独特性理论
相比之下,概念独特性理论将图片优势效应(PSE)归因于认知过程中用于识别刺激的不同方式,并假定这种处理方式会导致比文字处理更为深入的图像加工。Weldon & Roediger (1987)提出,在语义处理方面,图片相较于词语更为高效,他们归因于图片在概念加工层面上的优越性导致了所谓的图片优势效应。而在Embree & Budson (2012)等人进行的实验中,参与者被要求在有限的时间内对图片和词语进行分类,实验结果揭示出参与者对图片的反应速度更快,这进一步印证了图片相较于单词更倾向于在概念层次上进行加工的观点。Hamilton & Geraci (2006)所报告的两个实验进一步支持了概念独特性的观点。在这两项研究中,研究对象被展示了一份包含图片或单词的学习清单。随后,受试者参与了一项看似与学习内容无关的常识测试,但实际上其中一半的问题可以通过学习过的项目来回答。实验1中的问题旨在探究刺激的物理特征信息,这些信息能够明确识别刺激的身份(例如,“哪种水果是蛋形的?”答案是“柠檬”);而实验2中的问题则探索与刺激外观无关的语义信息(例如,“二手车有时被称为什么?”答案也巧妙地利用了“柠檬”一词的引申义)。研究结果发现,尽管在知觉加工和概念加工中都存在图片优势效应,但仅在实验1中观察到了显著的PSE,这表明在概念加工过程中,图片的优势效应相较于知觉加工过程更为显著。
4. 图片优势效应的普遍性和稳定性
大量研究发现,图片优势效应在不同年龄和被试群体的记忆中都有所表现,具有普遍性。早期关于图片优势效应的研究,大部分选取在校大学生为被试并在大学生群体中发现了图片优势效应的存在(Stewart, 2001)。Hayes & Stewart (2016)重复了之前的发现,大学生对图片的记忆要多于对文字的记忆。此外,该实验还发现图片比文字更早被记忆。
后来,Fink和Goodwin等人(2012)选取80名从童年中期到青春期的被试进行实验,结果发现,从童年中期到青春期,图片优势效应始终存在,并且,图片优势效应的大小随着年龄的增加而增大。
Guez & Lev (2016)的研究聚焦于图片优势效应,他们选取了年龄在45至59岁的中年人、60至89岁的老年人以及90至97岁的高龄老人作为被试群体。在学习阶段,这些被试被要求记忆图片或单词;而在测验阶段,则通过自由回忆和再认测验来评估他们的记忆效果。研究结果显示,无论是在自由回忆还是再认测试中,图片的记忆成绩均优于单词,这表明图片优势效应在老年人群中同样显著存在。此外,Higdon等人(2024)的研究旨在探讨年轻人和老年人在识记图片和文字时脑电活动的差异。他选取了400个能够有效命名的具体事物及其名称,并根据学习–测试的材料将其设置为文字–文字、文字–图片、图片–文字、图片–图片四种条件,这些条件在被试间随机分配。每种条件下包含50个学习材料和100个(其中50个为新项目,50个为旧项目)再认测试材料。所有项目均逐项呈现,每屏展示2秒,要求被试判断自己是否喜欢该项目并按键反应。在随后的测试阶段,被试需要尽可能准确地完成再认测试,同时在学习阶段收集ERP数据。实验结束时,被试会被告知他们再认正确的个数。通过对比两种匹配条件(文字–文字、图片–图片)下的数据,研究发现无论是年轻人还是老年人,在再认正确率上都表现出了图片优势效应。另外,Ho, Lau, & Azman Afizan (2022)选用16名平均智商为52的智力低下患者为被试,学习阶段要求被试命名图片或读出单词,保证他们能够正确识别每个项目。测验阶段,对图片和单词进行自由回忆以及再认测验,结果发现,两种测验中,图片的记忆成绩都要高于单词的记忆成绩。说明智力低下的人与正常智力的人一样,也表现出了图片优势效应。
5. 联结记忆中的图片优势效应
几乎所有的PSE研究都涉及对单个事件的记忆或对项目信息的记忆的测试。Hockley (2008)扩展了图片优势效应(PSE)的研究范围,将其引入到了联结记忆领域。联结记忆与项目记忆共同构成了情景记忆的关键组成部分。具体来说,项目记忆主要关注个体对单一项目信息的记忆能力,而联结记忆则着重于记忆情景中各个项目之间,或是项目与背景之间的相互关系。这种记忆形式能够体现出多个项目之间,以及项目与背景在时间、空间和具体情景上的相互关联和表征(梁九清,郭春彦,2012;郑志伟等,2015)。在联想识别中,参与者通常研究随机配对的物品,并在测试中试图区分完整的或研究过的成对和重新排列的或新的成对。重新排列的测试对由两个在获取阶段没有一起呈现的研究项目组成。因此,联想识别中的区分不能基于对每个测试对中单个项目的记忆,因为完整的和重新排列的测试对都由被研究的项目组成。与涉及项目和关系信息记忆的配对联想或线索回忆不同,联想识别为研究中单个项目之间形成的联系提供了相对纯粹的记忆测试(Hawley, 2014)。
Geraci & Surian (2011)表明,对随机线条画的联想识别比对具体单词的联想识别更强。线条图易于命名,图片的文字标签以平衡的方式作为单词对。Geraci & Surian (2011)也表明,联想识别和项目识别的PSE具有重要的相似性。当测试探针由研究中显示的图片的语言名称组成时,仍然可以观察到项目识别的PSE (Paivio et al., 1975; Stenbert, Radeborg, & Hedman, 1995)。当测试对由研究中显示的图片的口头标签组成时,联想识别的PSE也仍然存在。
Hockley & Bancroft (2011)对Hockley (2008)的研究方法进行了改进,他们改变了策略,不再随机展示图片对和词语对,而是采用分块(Block)的方式分别呈现这两种类型的配对,旨在最大限度地降低不同类型配对在学习过程中的相互干扰。尽管如此,他们仍然观察到了图片优势效应的存在。为了更进一步地探索在联结记忆中,是否必须两个项目都是图片才能体现出图片优势效应,Hockley & Bancroft (2011)在实验设计中还引入了图片–词语对的组合作为研究材料。研究结果表明,在记忆内容为图片与词语的组合时,尽管图片优势效应的程度有所降低,但它仍然保持着显著性。这一发现进一步强化了图片在联结记忆任务中相较于词语具有更显著的优势,且这种优势具有累积效应。
近年来,众多研究者开始关注联结记忆中的图片优势效应在不同年龄群体中的表现。一项2016年研究表明,联结记忆中的图片记忆优势仅限于年轻人群体,而老年人在记忆图片对和词语对时的联结能力均呈现出年龄相关的下降趋势。然而,后来的研究却发现,在联结记忆中的图片优势效应上,儿童和成年人的表现并无显著差异。
郭若宇(2020)运用联结再认范式,系统地探究了感知觉水平和概念加工程度对联结记忆中图片优势效应的具体影响。其研究揭示,当感知觉水平降低时,联结记忆中的图片优势效应会随之消失;然而,如果对模糊的项目对进行深度的概念加工,那么仍然可以在联结记忆中观察到图片优势效应的存在。有学者采用“some or none”模型来解释上述研究结果。该模型指出,个体在进行联结再认判断时,必须同时依赖于项目和联结信息。依据这一阐释,由于图片表征能够经历更为深入的概念加工,因此图片能够强化对项目及其配对的编码过程,并促进个体利用熟悉性机制来进行信息的提取(Geraci & Surian, 2011)。
6. 外语学习中的图片优势效应
现有研究发现,图片对理解文字材料有促进作用(Robey, 2019)。但在一些应用型研究中,对于图片是否能够促进单词的学习和记忆,现有研究的结果并不一致。Cattaneo等人(2007)的研究,让母语为德语的被试阅读英语文章,并以图片、视频或文字的形式对一些词汇进行注释。结果发现,在测试阶段,给出德语词汇后,要求被试从答案中选出对应的英文拼写,图片注释组的成绩显著最优。(Mayer, 2015)等人的研究,通过手势、图片或文字注释的方式让母语为德语的被试连续8天学习Vimmi词汇,在学习完后进行线索回忆测试,发现三种呈现方式之间的记忆表现没有显著差异,但在2个月后和6个月后的延迟测试中手势组和图片组的表现优于文字组;而对于自由回忆测试,三组没有显著差异。
Williams等人的研究同样发现当测验方式为自由回忆时,以手势或图片的方式呈现词汇,其学习效果优于文字呈现的方式(Williams, Zax, Reichelson, Patalano, & Barth, 2020)。Kornell等人的研究,让母语为西班牙语的被试学习人造语言Vimmi,采用四种测验方式,分别是词汇决策任务(lexical-decision task)、图片命名任务(picture-naming task)、线索回忆任务(translation task)和句子加工任务(sentence processing task),发现辅以图片方式学习Vimmi的被试相比于利用母语翻译学习Vimmi的被试,表现出了学习优势(Kornell, Bjork, & Garcia, 2011)。
然而,Rizzo, Elenbaas, Cooley, & Killen (2016)之后的研究发现,图片与德语单词共同呈现的方式相比于英语翻译与德语单词共同呈现的方式,其语义的记忆效果要差一点,但未达显著。Sigelman (2013)等人的研究发现,以荷兰语为母语的被试,让他们学习意大利语单词,辅以图片或荷兰语翻译进行记忆,在线索回忆时两组的记忆表现没有显著差异。Sigelman (2013)等研究选取以广东话作为母语的被试,一组辅以图片学习英语单词,另一组辅以母语翻译学习英语单词,利用四选一的再认测试,结果发现两组的结果没有显著差异。
在刘文慧(2011)的研究中,招募了大学生作为被试,结果显示,相较于纯文本呈现,使用图片结合书面文本的呈现方式在评估单词的语义和拼写总成绩时,并未展现出显著的记忆优势。刘凌,秦晓晴(2014)则采用了词汇表、图片/动画/视频以及附带语境三种不同的呈现方式进行研究,他们发现这三种方式在记忆表现上并未呈现出明显的差异。类似地,张秀娟(2019)的研究选取初中生作为实验对象,发现直观呈现方式与语境呈现方式在短时记忆上的表现相当,没有显著差异;然而,在延时测试中,语境呈现方式的记忆效果明显优于直观呈现方式。刘佐楚(2018)的研究发现,在线索回忆语义和拼写时,语境呈现方式、图片呈现方式和词汇表方式三种呈现方式没有显著差异。伍佳(2019)的研究中,选用初中生为被试,发现图片呈现方式的记忆效果与词汇表的呈现方式的记忆效果无显著差异。
7. 总结与展望
本研究回顾了图片优势效应的三种理论解释,双重编码理论,概念加工优势和语义加工优势。分别讨论了这三种解释的应用范围。综合以往的研究,本文首先归纳了从小学生、初中生、高中生、大学生乃至老年人当中的图片优势效应。其次,探讨项目记忆和联结记忆中的图片优势效应,着重于联结记忆中PSE的应用与发展,讨论了年轻人与老年人在联结记忆中的表现。最后总结了在外语学习当中PSE的促进作用,这在我们英语学习中有相当的借鉴作用。
尽管如此,仍然存在很多问题需要我们去探索。目前很少有研究试图将PSE扩展到非视觉领域。在记忆测试中呈现多种嗅觉刺激存在程序上的挑战,这可能解释了研究数量少和结果不一致的原因。虽然在听觉中不存在同样的程序挑战,但很少有研究将单词和非单词的记忆进行比较。据我们所知,唯一一项对比声音和单词识别的研究是由Cohen, Horowitz, & Wolfe (2009)进行的。Cohen等人发现声音和单词之间没有区别;然而,刺激类型在受试者之间被操纵,每组只有12名受试者。因此,很难评估它们的零值是否反映了功率不足或缺乏听觉PSE。因此,在识别中是否存在听觉PSE仍然是一个悬而未决的问题。