英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料

使不可见的东西可见：是语音而非视觉线索增强视觉的探测

加里·卢平¹，迈克尔·J·斯皮维²

摘要

背景：听到一个词能改变一个人看到的东西吗？虽然我们已知可以通过注意目标的位置来增强视觉敏感性，但很难找到知觉增强是由于物体何种身份线索。在这里，我们证明了知觉敏感性是由语音而不是视觉线索增强的。

方法/主要发现：参与者完成了一项物体检测任务，在这项任务中，他们对简短呈现的字母做出了有或是无的判断。在检测任务之前听到字母名称提高了知觉敏感性(drsquo;)，而以一种预览待检测字母的视觉提示则没有提高其知觉敏感性。后续实验发现，听觉线索效应是特定于有效线索刺激的。线索效应的大小与心理表象的生动程度呈正相关；在刺激的位置引入不确定性并没有降低线索效应的大小，而是消除了与心理表象的相关性。

结论/意义：听到一个词可以让原本看不见的物体看得见。有趣的是，看到目标刺激的预览并没有同样地增强对目标的检测。这些结果与听觉语音标签调节低级视觉加工的说法是一致的。研究结果表明，以听到单词为形式的语言提示甚至可以影响最基本的视觉处理，并有助于我们理解语言是如何影响知觉的。

引言

高水平的认知期望能在多大程度上影响低水平的感觉加工？将视觉注意力分配到一个位置可以改善对出现在该位置的探针的反应时间(RTS)[1]。注意力的分散也受特定物体的影响：对物体进行暗示会加快对被暗示物体边界内探测的反应，例如[2，3]。

现在有越来越多的证据表明，更高层次的语义信息可以以一些令人惊讶的方式影响视觉感知。例如，与特定运动方向(如飞行、炸弹)相关的动词的听觉处理干扰了沿垂直轴的视觉辨别任务[4]，并增加了对随机点运动图中一致运动方向的敏感性[5]。此外，语言输入可以以递增和自动的方式引导视觉搜索[6，7]。使用语言标签将意义赋予不熟悉的形状可以提高对这些形状的视觉搜索效率[8]。事实上，简单地听到一个给目标贴上标签的单词可以提高搜索的速度和效率(与没有听到标签，但仍然知道目标的身份相比)。例如，当在5中搜索数字2时，当参与者在搜索试验[9]之前实际听到lsquo;rsquo;找到2lsquo;rsquo;时，他们找到目标的速度更快--即使他们知道2是目标，因为在整个试验块中都是如此。通过语言标签对视觉处理的这种促进被保持刺激的低级视觉特征但改变其与命名类别的关联(例如，通过镜像反转)的操作所破坏[10]。

虽然在视觉检测任务中，空间线索可以调节知觉敏感性(与决策偏差无关)[11-13]，但形状和颜色等非空间属性线索对知觉敏感性的有效性仍然存在争议，例如，[14]。外界视觉信息(例如，语言暗示)改变视觉敏感性的有效性更是鲜有人探讨。在目前的工作中，我们测试了听觉对象名称是否提高了参与者在检测单个短暂呈现的视觉对象的存在时的敏感性(drsquo;)-这是一项不需要搜索过程，也不需要明确识别或分类刺激的任务。

长期以来，知觉研究人员一直利用信号检测方法来区分对知觉刺激做出反应的两个假定阶段：1)感觉检测阶段，在这一阶段中，“噪声试验”和“信号 噪声试验”之间的物理相似性可以被确定为敏感性，或drsquo;；以及2)决策阶段，在这一阶段中，更高水平的解释和认知过程总是包括反应偏差，该偏差可以被确定为szlig; or c [15-17]的测量。在使用drsquo;作为依赖测量时，我们能够将敏感性的变化与反应/决策偏差的变化分离开来。参考[12]的演示了解为什么drsquo;的变化不能通过决策偏差的简单变化来产生。

许多先前关于视觉处理的注意力演示依赖于平均RTS作为从属度量，这使得很难或不可能将早期效果(例如，对象检测)与后期效果(例如，对象识别)区分开来。这并不是说不能使用RT度量来区分感受性和决断性。例如，Sigman和Dehaene[18]使用认知任务中反应时的分布分析来分别分析加工的知觉、决策和反应阶段[另见19]。例如，虽然公认的是，通过先前接触对象[20，21]可以改进识别对象的RTS，但这种平均RT测量不区分这种改进是来自决策过程(传统的启动效应)，还是通过感知过程的真正促进。[22，23]。因此，虽然有越来越多的证据表明语言对知觉任务的表现有影响，但目前还没有足够的证据来得出结论，认为听到言语标签会改变早期的视觉加工。

指导本工作的假设是，当两种不同的感觉形式为同一知觉类别提供非重叠形式的支持时，视觉加工的语言促进是由于不同来源的感觉证据之间的相互作用而产生的[24，25]。就统计证据的规范处理而言，两种感觉输入之间的相互作用(例如，视觉任务的听觉线索)实际上应该比当同一感觉通道提供两个非独立的感觉证据来源(例如，视觉任务的视觉线索)时更有效。本研究使用信号检测理论来测试听觉语言线索比视觉线索所赋予的视觉知觉敏感性的增强。我们发现，一致的听觉语言线索，而不是视觉线索，显著提高了感知敏感性(与决策偏见分开)，以检测视觉刺激的存在。然后，我们通过后续研究调查这些影响的程度。

结果和讨论

实验一

在第一个实验中，我们测试了我们的中心预测，即在简单的检测任务之前提供的线索，特别是语言线索将提高标记刺激的检测敏感性。在目前的实验中，决定是简单的“在”和“不在”。被检测(目标)刺激的身份，尽管偶尔会被有意识地察觉，但与任务无关。在线索试验中发现更大的drsquo;将构成言语线索改善基本视觉处理的证据。

参与者的任务是检测闪烁的大写字母的存在(图1概述了基本设计)。听觉提示条件下的参与者在50%的试验中听到了字母的名字，告诉他们目标字母的身份。视觉提示条件下的参与者看到了目标字母的视觉预览。在所有情况下，线索都不能预测目标的存在。

表1-5给出了所有实验的汇总统计数据。线索试验的击中率显著高于非线索试验的击中率，t(19)=3.68，p=0.002(表1)。我们通过从z变换的击中率中减去z变换的虚报率，以标准的方式计算出每种情况下的drsquo;。例如，线索试验的drsquo;由z(击中)-z(虚报)给出。对个体drsquo;值的配对t检验表明，听觉线索显著提高了敏感性，t(19)=2.37，p=0.028(图2-左)，但视觉线索(图2-右)t(20)lt;1。这种线索效率的差异反映在显著的线索-类型线索-存在交互作用中，t(40)=2.22，p=0.032。

除了drsquo;的听觉提示效应外，我们还观察到RTS从M=476ms减少到M=434ms，t(19)=3.01，p=0.007(RTS包括正确的反应；潜伏期超过2500 ms的试验(3.3%)被排除在外)。在视觉条件下，RTS没有相应的下降，Flt;1。考虑到参与者在掩蔽期有700毫秒的时间来准备他们的反应，听觉线索对RTS的影响有点令人惊讶。RT的降低可能反映了一种敏感性和反应偏差(例如，在线索试验中对反应的更大信心)。Drsquo;的差异表明，听到目标字母的名字显著提高了参与者在识别预期字母时的敏感性。个体的反应时差异与线索效应的个体大小无关，rlt;1。与drsquo;的差异相反，在本次或随后的实验中，通过自然对数和归一化c[17]测量的标准没有观察到差异(参见表1)。

这一结果首次证明了在对被提示对象的简单检测方面的改进。当然，有很多证据表明，提示简单的视觉属性，如颜色和运动方向，会导致对提示属性的更有效处理[26]。关于跨通道启动的文献发现了促进听觉提示后物体的视觉加工的混合证据。现有证据侧重于识别而不是检测任务[27，28]。然而，空间听觉线索对视觉处理有可靠的影响[29]。Stormer等人[30]表明，在出现侧向听觉提示后，视觉皮质的调制发生在目标出现后的100毫秒内。

也有证据表明，信息性线索可以加快对线索对象和非线索对象的视觉辨别[31]。例如，Iordanescu等人。[32]显示目标对象的声音特征，例如按键的叮当声，有助于在视觉搜索任务中对相关联的对象进行视觉搜索。本工作中使用的任务与上述研究中使用的相对复杂的任务形成对比。我们的简单检测任务既不需要识别、选择也不需要辨别目标刺激，尽管参与者确实需要将每个试验归类为“噪声”(只需掩码)或“信号 噪声”(掩码 字母)的实例。我们测量的是知觉敏感性，而不是反应时间(这可能反映了决策偏见的贡献)。因此，本工作首次表明听觉对象标签可以提高基本视觉过程的检测敏感性。

实验二

在有线索的试验中发现更高的检测敏感性受到几个混淆的影响。首先，仅仅通过听觉刺激引起的注意唤醒来提高检测能力是可能的。例如，可能是听觉上的声音通过提高警觉性产生短暂的性能改进，例如[33]，尽管这种效果通常需要同步呈现[34]。实验1的另一个限制是，线索总是有效地预测目标刺激。尽管线索不能预测刺激的存在，但线索和刺激在线索刺激呈现的试验中总是匹配的。因此，尚不清楚该提示是否需要有效以便于简单的检测。实验2的目的是通过对比有效线索(与目标刺激匹配的线索)和无效线索(与目标刺激不匹配的线索)来评估线索效应的特异性。和以前一样，这些信号并不能预测刺激的存在。

实验2在程序上与听觉条件实验1相同，只是有线索的刺激呈现试验平均分为线索有效试验和线索无效试验。在无效试验中，字母线索的身份与目标刺激不匹配。参与者被告知“线索有时会预测目标字母的身份。”

只有有效的提示才能提高检测敏感性(图3-右)。计划比较显示，有效试验的敏感性(drsquo;)显著高于无效试验，t(9)=2.41，p=0.039(表2)。对有效线索试验和非线索试验的比较再次显示了前者的显著优势，t(9)=3.10，p=0.013。无效试验与无线索试验之间差异无统计学意义，t(9)=1.65，p=0.13。与实验1一样，drsquo;的差异源于击中率的不同。击中率的配对t检验反映了drsquo;的分析。没有可靠的RT效果。

只有当听觉提示与待检测(目标)刺激相匹配时，检测敏感性才会提高(有效提示试验)。这一结果进一步支持了这一假说，即听觉言语标签对随后对匹配的单个物体的视觉检测具有促进作用。

实验3-4

听觉提示可能有助于物体检测的一种方式是鼓励参与者积极地想象命名的字母。已经证明，这种成像策略可以提高对轮廓与成像轮廓重叠的目标的检测性能[35]。因此，由心理表象引起的检测增强似乎高度依赖于位置。如果听觉线索通过鼓励外显的心理表象来促进物体检测，那么当目标的位置不确定时，线索效应可能会减弱或消失。或者，如果听觉线索的易化效应不依赖于显性表象，那么(假设心理表象是特定于位置的)，改变刺激位置不应该削弱线索效应。在实验3和实验4中，我们比较了在目标刺激位置确定的情况下和在刺激位置有一定不确定性的情况下，线索对简单检测的影响。为了进一步评估心理表象的贡献，我们从每个参与者那里获得了主观视觉表象的测量。

实验3和实验4的结果反映了实验1和实验2的结果。线索试验的检测性能高于非线索试验的检测性能(表1；图4)。与实验1-2一样，敏感性优势来自更高的击中率：在实验3中，听觉线索增加了击中率从.56到.66，t(19)=2.73，p=.013。实验4获得了更可靠的线索效应。线索试验在两种情况下都产生了显著更大的drsquo;(表3-4)。

平均表象得分为38.01分(SD=11.1)。这个分数在实验3和实验4，tlt;1之间没有变化，并且在任何一个实验的线索或非线索试验中，这个分数与击中率、错误警报或drsquo;没有显著的相关性(均为PSgt;.3)。然而，在实验3中，当刺激的位置固定在中心位置时，表象分数与线索效应的大小显著相关(drsquo;提示试次-drsquo;未提示试次)(图5-左)。得分视作有最生动意向的人(VVI得分最低)也是从听觉标签中受益最大的人，r(18)=2.490，p=0.033(由于实验者的错误，一个受试者的VVQ数据丢失)。与实验1一样，提示也促进了RTS，在实验3中，t(19)=3.00，p=0.007；在实验4中，提示也促进了RTS：32ms，t(19)=1.79，p=0.09。改变目标的位置(实验4)并没有减少听觉线索对物体检测的促进作用，但消除了图像和线索效应之间的相关性：R(19)=0.058(图5-右)。因此，一种已知的降低心理表象效能的操作似乎做到了这一点，这一点从表象个体差异对线索效应大小的影响消失可见一斑，但并没有降低当前线索效应的总体大小(图4，右；表1)。

实验5

这个最后的实验解决了一个潜在的担忧，即在实验1中，未能找到视觉线索的好处是由于视觉和听觉线索的时间进程的不同。例如，视觉线索也可能有助于简单的检测，但它们的影响在线索偏移后750ms(目前所有研究中使用的延迟)不再可测。实验5通过将线索到目标的延迟从750ms缩短到200ms来测试这种可能性。

gA重复测量方差分析表明，线索Flt;1不影响作业成绩。存在边际线索6目标存在交互作用，F(1，15)=2.45，p=0.14。随后的分析表明，视觉线索不显著地增加了击中率(表5)，t(15)=1.20，p=0.25，但也(不显著地)增加了虚报率，t(15)=1.57，p=0.14。检测敏感性(drsquo;)、tlt;1无显著差异。实验1的听觉线索效应与本实验中的线索效应的交叉实验比较发现，两者之间存在显著差异，t(34)=2.04，plt;0.05，表明实验1中的听觉线索比视觉线索更有利于简单的视觉探测。本实验的总体表现与实验1的视觉条件之间没有显著的差异。

这些结果表明，即使线索和目标之间的延迟显著减少(从750ms到200ms)，有效的视觉线索也不利于在简单的视觉检测任务中的表现。

讨论

被口头告知目标刺激的身份增强了命名项的检测敏感性。听觉刺激的非特定易化效应这种可能性被实验2和实验3排除了。实验2对比了有效线索和无效线索：有效线索促进了操作，而无效线索没有。有趣的是，线

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[590671]，资料为PDF文档或Word文档，PDF文档可免费转换为Word