看手势视频学词语，识别测试中表现更好

原作者：Iván Sánchez-Borges、Carlos J. Álvarez / Ciencia Cognitiva

例如，一个贴近耳朵的手势和一张电话图片，都能让人想到电话。观看手势或图片能否帮助人记住对应的词？如果可以，手势是否还有独特的作用？

交流中的信息不只来自词语。象似性手势通常用手部动作模仿所表达事物的形状或运动。许多研究发现，手势能帮助理解和说出语言，也可能帮助记住它。

此前的研究中，配合手势的句子有时记得更好；代表动作的手势也帮助过动词列表，以及新编造词语的学习。不过，单个词的记忆研究还相对少，手势与静态图片的直接比较也没有一致答案。

图片同样可以表达词义。如果手势的好处只是多了一份视觉意义，图片大概也能做到。若手势还带着动作、时间和变化，它也可能对记忆产生不同影响。

桑切斯－博尔赫斯与阿尔瓦雷斯进行了两项相似实验。参与者学习名词和动作动词，每个词处于三种条件之一：先看相关图片再看词，先看一个表达该词的手势短片再看词，或者只看词。

学习后，参与者做一段数学计算，打断对最后几个词的反复默念。然后，第一个实验要求自由回忆：尽可能写出刚才学过的词。

第二个实验采用识别任务。学过的词与没出现过的词混在一起，参与者判断哪些见过。研究者同时记录答对多少和反应多快。

【图1：图示手势视频或图片条件下的单词学习流程；只看词语的对照条件在注视点后500毫秒呈现目标词。学习阶段结束后进行数学干扰，再做记忆测试。图据原文重排。】

研究者先前已确认，图片和手势都能较好地表达目标词，图片的代表性评分甚至略高。因此，手势占优若出现，就很难简单归结为“手势更像那个意思”。

第一个实验的自由回忆中，参与者在手势视频与图片条件下回忆出的词数没有显著差别；这两种条件都优于只看词语。研究者报告，手势条件平均回忆出46%的词，图片条件为41%，只看词语为27%。

第二个实验则出现区别。先看过手势的词，更容易被正确识别，识别速度也更快。这个优势超过图片和只看词的条件，在动作动词中又比名词更明显。

【图2：三种条件下动作动词识别的反应时，柱内数字为正确识别的百分比。原图柱形与误差线保留，标签译为中文。】

作者把结果与双重编码理论联系起来：语言与非语言信息结合，为后来的处理留下不同的线索。但这次比较也提示，视觉信息的形式值得细分，动态手势与静态图像可能并不等效。

为什么动作动词更受益？手势的运动和时间信息，可能与动作词表达的意义更贴合。这个匹配关系，是作者提出的一种解释。

为什么自由回忆没有同样优势？自由回忆要求人在没有词语提示时自己找出内容；识别则把一个词摆到眼前，让人判断它是否出现在刚才学过的词里。两种任务涉及的过程不同，手势带来的线索可能更容易在后者发挥作用。

更广泛的语言学习研究发现：与含义相配的手势，曾在第二语言、儿童词语学习和成人概念学习中显示益处。但这一项研究最清楚的发现，是手势相对图片的优势出现在识别任务；自由回忆中，两者表现相近，都优于只看词语。

原文：La influencia de los gestos y de las imágenes en la memoria de palabras。

许可：CC BY 3.0。中文译编：16暗影；研究流程图按原图重排；数据图保留原始柱形、误差线与数值，标签译为中文。

相关研究：Sánchez-Borges与Álvarez（2023）。