1 引言
婴幼儿时期对情绪的感知是早期社会交流的基础，且对情绪表达及自我调节等社会适应能力的毕生发展影响深远(孟昭兰, 2005; 徐琴美, 何洁, 2006; Ruba et al., 2020)。目前对情绪感知发展的研究主要采用表情、动作等视觉材料，然而，在视觉尚未发育成熟的生命早期，听觉对于婴儿情绪感知可能具有更重要的作用(周玉, 张丹丹, 2017; Caron et al., 1988)。因此，研究语音、音乐等情绪性听觉刺激的感知是理解情绪感知早期发展的关键。
音乐是社会生活中传递情绪的重要听觉媒介，被誉为“情绪的语言”(language of the emotions)(Valentine, 1962)。成人对音乐所表达的基本情绪(后文简称音乐情绪)具有高度一致的判断，且常用音乐来表达情绪、唤起他人的情绪或调节自己的情绪(Swaminathan & Schellenberg, 2015)。对音乐情绪的感知看似并非生存所必需，但5岁幼儿对音乐情绪的识别已经能够达到和成人相似的水平(马谐 等, 2017)，这种能力对于生命早期有何意义？Juslin(2013)认为，这可能是反映对于不同的情绪刺激(音乐、表情、语言等)的感知共享一些通用的机制，例如对突然变化的警觉、对节律产生的生理共鸣、对情绪性表达的自动模仿(可能基于镜像神经元)等等。如果该假设成立，应该能观察到不同情绪刺激的感知发展具有一定的同步性，既然3岁以下的婴幼儿已经表现出区分表情和语音的基本情绪(周玉, 张丹丹, 2017; Ruba & Pollak, 2020)，那么他们很可能也能够区分音乐的基本情绪。
以往研究发现，3岁以下的婴幼儿能够对音乐刺激产生明显的反应(Moog, 1976; Zentner & Eerola, 2010)。人类胎儿在听到兴奋的音乐时心率会提高(Kisilevsky et al., 2004)。婴儿对富有音乐性的儿向语有明显的偏好，“游戏性(playful)”的儿向语一般声调更高，且声调变化更丰富，让婴儿更活跃；而“安抚性(soothing)”的儿向语一般声调更低，节奏更慢，让婴儿更安静(Bergeson & Trehub, 2007)。儿歌也有类似的特征(Nagy et al., 2022)。5～9个月的婴儿在音乐由快乐变为悲伤或悲伤变为快乐时，注视屏幕的时间变长(Flom et al., 2008; Flom & Pick, 2012)，说明婴儿能够觉察到不同情绪的音乐存在差异。总体上看，10个月以内的婴儿已经能区分音乐节奏、音调等基本声学特征，其是区分不同音乐情绪的基础。
然而，婴儿对音乐的反应可能是受到情绪的感染，也可能是对特定声学特征产生的节律性活动。单通道情绪感知的研究很难说明婴儿觉察到的只是声学特征的差异，还是情绪特征的差异。近年来，更多研究开始关注婴儿是否能匹配不同感觉通道(例如视觉和听觉)的情绪线索，这种觉察难以用感觉特征的差异来解释。例如，跨通道匹配范式用于测试婴儿是否认为不同通道情绪线索存在关联，通常给婴儿同时呈现两张不同情绪的表情图片，同时播放与其中一张表情情绪一致的声音，一般认为如果婴儿能够匹配视觉和听觉的情绪线索，他会更多地观看那张和声音情绪一致的表情图片。基于该范式的研究发现，婴儿在5～9个月左右就能够匹配语音和表情情绪(Ogren & Johnson, 2020; Vaillant-Molina et al., 2013)，但还无法匹配音乐和表情情绪(Nawrot, 2003)。预期违背范式(violation-of-expectation, VoE)用于测试婴儿是否认为特定事件和某种情绪存在关联，通常先给婴儿呈现某个典型的情绪事件(例如夺走玩具)，再呈现与情绪事件匹配或不匹配的表情，一般认为如果婴儿能够匹配情绪性事件和情绪线索，那么婴儿会预期情绪事件后应该出现与事件一致的表情，违背该预期会导致婴儿的注视时间增加。基于该范式的研究发现，婴儿在10～18个月间该匹配能力逐渐发展(Ruba et al., 2019, 2020; Siu & Cheung, 2017; Smith-Flores et al., 2024)。以上两种范式都有助于进一步厘清婴儿对于音乐情绪(而非仅声学)特征的感知，其中预期违背范式下情绪刺激为序列呈现，使得研究者能够结合注视时间、瞳孔反应等多个指标对情绪感知进行更全面的考察。
因此，本研究采用预期违背范式结合眼动技术进一步探究婴儿对音乐情绪的识别和情绪反应。研究者给婴儿播放快乐或悲伤的音乐后，呈现与音乐情绪一致或不一致的成人表情，观察与音乐情绪不一致的表情是否违背婴儿的预期。
本研究选取10～20个月婴儿作为研究对象。一方面，10个月的婴儿已经能感知到快乐和悲伤音乐存在差异且能产生差异化的反应(Flom et al., 2008; Nagy et al., 2022)，具备音乐情绪感知的基础；另一方面，10～20个月婴儿已经能区分成人表情的快乐和悲伤(孟昭兰, 2005; Ruba & Pollak, 2020)，且5～12个月期间，婴儿已经能够区分表情和语音(如笑脸和笑声)的情绪是否一致，说明该阶段婴儿能够匹配不同通道的情绪特征(Ruba & Pollak, 2020)。
本研究选取注视时长和瞳孔直径变化用于反映婴儿对音乐和表情情绪一致性的预期。当与预期相违背的事件出现，婴儿的注视时间通常更长(Reschke et al., 2017; Ruba et al., 2020)。瞳孔直径的变化不仅受光照强度的影响，也受神经系统激活程度的影响，常常用于反映认知负荷或情绪唤起程度的变化，唤起程度越高瞳孔扩张量越大(Zekveld et al., 2018)。近年来该指标越来越多地被用于观测婴儿的情绪反应，且能够通过非接触式的眼动仪直接测量，具有很高的客观性和时效性(Beatty & Lucero-Wagoner, 2000; Porter et al., 2007)。本研究通过眼动仪同时记录注视时长和瞳孔直径变化量两个指标，以同步测量情绪识别和情绪反应。如果婴儿对音乐播放后出现与音乐情绪一致的表情有所预期，那么当出现与音乐情绪不一致的表情时，婴儿会感到疑惑，注视表情的时间更长；而出现与音乐情绪一致的表情时，婴儿的情绪反应可能更强烈，唤起程度更高，瞳孔扩张程度更大。
2 研究方法
2.1 被试
为了确定样本量，一方面基于G*Power先验分析，评估2×2重复测量方差分析的中等大小的效应量(f=0.25; Cohen, 1992)，并设置α的值为0.05，统计检验力为0.8，计算得到的样本量为24人。另一方面，基于以往相似领域研究(Fawcett & Kreutz, 2021; Flom et al., 2008; Nawrot, 2003; Siu & Cheung, 2017)，得到参考的样本量为20～40人。最后，28名10～20个月的婴儿被试(平均月龄13.90±3.05，13名女婴)参与研究，其中4名被试由于注视时长不足2秒而未进行后续分析。婴儿家庭来自线下招募，抚养者通过问卷进行报名。所有婴儿被试无明显发展迟缓、视力障碍或听力障碍，一方面抚养者报告婴儿在近期的体检中视力、听力表现正常，另一方面根据主试在现场观察，婴儿能够达到年龄与阶段问卷(Ages and Stages Questionnaires, ASQ; Squires & Bricker, 2009)的基本发展要求，包括能完成对视觉要求较高的精细动作任务，且对声音产生转头、眨眼、停止活动等反应。实验前，婴儿监护人被告知研究的目的和内容，均签署知情同意书，并且被告知在实验过程中可以随时退出。实验方案获得了浙江大学伦理委员会的批准。
2.2 实验设备与材料
婴儿由抚养者抱坐在实验室的显示器前，听到不同情绪类型的音乐后，观看与音乐情绪一致或不一致的成人表情图片。实验中的视觉刺激呈现在19英寸的显示器上，距离被试约60 cm。显示器的屏幕分辨率为1920×1080像素，刷新率为60 Hz。婴儿的眼动数据使用Tobii Spectrum 600进行采集，实际采样率120 Hz，空间分辨率0.1度。瞳孔直径的变化受到环境光影响，因此保持房间亮度不变。实验过程中，抚养者佩戴播放随机音乐的耳机，闭上双眼且尽量不和婴儿互动，以避免观察到的婴儿反应是抚养者反应介导的。
实验所用的音乐材料(见表1 )选自芬兰国际标准音乐情绪库Soundtrack(Eerola & Vuoskoski, 2011)。该情绪库共包含360段音乐，是目前变量控制最为标准化，情绪诱发效果较为理想的音乐库(马谐 等, 2017)。
表1 音乐材料基本信息及其情绪评分 |
| 序号 | 专辑名称 | 曲目 | 快乐程度评分 | 悲伤程度评分 |
| 1 | Shallow Grave | 6 | 7.33 | 1.00 |
| 3 | The Rainmaker | 3 | 7.17 | 1.00 |
| 6 | The Rainmaker | 5 | 7.00 | 1.00 |
| 36 | Running Scared | 15 | 1.17 | 7.00 |
| 32 | The English Patient | 18 | 1.17 | 7.50 |
| 31 | The Four Feathers | 10 | 1.00 | 7.67 |
表情材料(见表2 )选自中国化面孔情绪图片库(龚栩 等, 2011)，为减少亮度变化对瞳孔直径的影响，制作了与每张表情图片等亮度的随机点图片作为背景图片，表情图片出现的第一秒为从背景图渐变的过渡效果。
表2 表情材料基本信息及其情绪评分 |
| 图片编号 | 性别 | 类型 | 认同度 | 强度 |
| HF61 | 女 | 愉快 | 100.00 | 7.30 |
| HF8 | 女 | 愉快 | 100.00 | 7.01 |
| HF15 | 女 | 愉快 | 100.00 | 6.92 |
| SAF16 | 女 | 悲伤 | 97.98 | 6.79 |
| SAF36 | 女 | 悲伤 | 97.98 | 5.88 |
| SAF15 | 女 | 悲伤 | 96.97 | 5.75 |
2.3 实验设计与过程
采用2(音乐情绪：快乐、悲伤)×2(音乐与表情情绪一致性：一致、不一致)的被试内设计。因变量为婴儿听音乐时对表情图片的注视时长及瞳孔直径变化量。
实验前，研究者会与婴儿及其监护人在游戏室玩耍，使其尽快熟悉实验室环境，同时采集人口学信息、婴儿基本发育情况等(约15～20分钟)。
实验开始前采用5点视线追踪校正，当校正结果显示达到良好水平后，开始正式实验。正式实验流程参考经典的预期违背范式(Luo, 2011; Siu & Cheung, 2017)，由熟悉阶段和测试阶段组成(见图1 )。熟悉阶段包含“快乐”和“悲伤”两种类型的试次，在一个“快乐”的试次中，屏幕上首先出现一张随机点图，2秒后开始播放快乐音乐，10秒后音乐继续播放，屏幕上的图片变为成人的快乐表情，继续播放15秒或在婴儿视线离开2秒后结束。在一个“悲伤”的试次中，流程完全相同，只是采用悲伤音乐和悲伤表情材料。共进行3个熟悉试次，遵循“快乐/悲伤/快乐”或者“悲伤/快乐/悲伤”的顺序，在被试间平衡。熟悉阶段所有试次中音乐和表情的情绪都是一致的。
测试阶段包含两个情绪一致的试次和两个情绪不一致的试次。每个试次的流程和熟悉阶段一样，但表情的情绪可能和音乐情绪一致或不一致。四个试次播放的音乐分别为“快乐/快乐/悲伤/悲伤”或“悲伤/悲伤/快乐/快乐”(顺序在被试间平衡)，而后播放的表情与音乐的关系分别为“一致/不一致/一致/不一致”或“不一致/一致/不一致/一致”(顺序在被试间平衡)。表情出现后音乐播放的时间为15秒，不论婴儿是否观看都不跳过。在测试阶段使用的音乐和表情材料都不同于熟悉阶段。
2.4 数据采集与处理
注视时长。眼动仪全程记录被试视线落在屏幕区域内的位置和时间数据。注视时长为图片显示期间，被试视线在兴趣区(表情图片所在区域及其外延1 cm的区域)停留的时间。分开计算测试阶段一致条件与不一致条件下注视时长的均值。参考Siu和Cheung(2017)的注视时长数据剔除标准，注视时长均值小于2秒的结果被认为不可靠，以其他被试的均值补齐，因此有4名被试的数据未纳入后续分析。
瞳孔直径变化量。眼动仪全程记录被试的瞳孔直径数据。首先，参考Geangu等(2011)的预处理方法，对每位被试测试阶段的瞳孔数据进行预处理。为了去除瞳孔数据浮动的局部噪声，对每位被试的瞳孔数据进行低通滤波(阈限12.5 Hz)。单眼数据缺失时用另一只眼睛的数据补足，双眼数据都缺失的点用空缺前后数据的线性插值进行补足。双眼数据的平均值用于后续分析。其次，对瞳孔数据进行基线校正。以每个试次表情出现前5秒的瞳孔直径均值为基线，该阶段被试看到的背景图是与随后出现的表情等亮度的随机点图，以避免图片亮度变化对瞳孔直径产生影响，该阶段数据有效率(非空值占比)低于10%，则认为该记录不可靠，以其他试次基线的均值补齐，如果基线有效的试次不足50%，则排除该被试该阶段的数据，不纳入后续分析，因此4名被试的数据未纳入后续分析。最后，对校正后的瞳孔数据进行分组平均，得到一致、不一致条件下瞳孔直径变化量均值。
3 结果
3.1 注视时长
婴儿被试在各条件下听到音乐后对表情的注视时长如图2 所示。可以看出当音乐与表情情绪不一致的情况下，婴儿的注视时长更长。为了检验这种差异的统计显著性，采用重复测量多因素方差分析检验音乐情绪(快乐、悲伤)及音乐与表情情绪一致性(一致、不一致)对表情注视时长的影响，发现音乐情绪的主效应不显著[F(1, 23)=0.003, p=0.956]，音乐与表情情绪一致性主效应显著[F(1, 23)=8.41, p=0.008, η$ _{\mathrm{p}}^{2} $ =0.27]，两者的交互效应不显著[F(1, 23)=1.47, p=0.237]。也就是说，当婴儿听到音乐后观察到与音乐情绪不一致的表情时，对表情的注视时长更长。
3.2 瞳孔直径变化量
婴儿被试在各条件下听到音乐后对表情的瞳孔直径变化量如图3 所示。可以看出当音乐与表情情绪一致的情况下，婴儿的瞳孔扩张程度更大。为了检验这种差异的统计显著性，采用重复测量多因素方差分析检验音乐情绪(快乐、悲伤)及音乐与表情情绪一致性(一致、不一致)对注视表情时瞳孔直径变化量的影响，发现音乐情绪的主效应不显著[F(1, 23)=1.11, p=0.304]，音乐与表情情绪一致性主效应显著[F(1, 23)=7.44, p=0.012, η$_{\mathrm{p}}^{2} $ =0.24]，两者的交互效应不显著[F(1, 23)=0.05, p=0.834]。也就是说，当婴儿听到的音乐和看到的表情情绪一致时，婴儿的唤起程度更高。
4 讨论
本研究的目的是探讨10～20个月的婴儿能否感知音乐快乐与悲伤的情绪，结果发现，音乐与表情的情绪一致性会影响婴儿的注视时长和瞳孔反应。具体表现为，婴儿在观看与音乐情绪不一致的表情时，注视时长更长，可能说明不一致的表情违背了婴儿的预期；在观看与音乐情绪一致的表情时，瞳孔直径扩张量更大，可能说明音乐与表情一致时婴儿的情绪唤起程度更高。总体上看，10～20个月的婴儿已经能够感知快乐和悲伤的音乐情绪，并形成情绪预期，用于后续的表情加工。
本研究为音乐情绪识别和情绪反应及其同步性提供了更早期的研究证据。音乐情绪感知可以分为对音乐的情绪反应以及对音乐情绪的识别两方面(Deutsch, 2013)。情绪反应通常测量的是听者对音乐的情绪反应，而情绪识别通常测量的是听者对音乐蕴含情绪的判断，这两者既可能同时发生，也具有一定的独立性。目前对音乐情绪识别早期发展的研究证据集中在3～6岁，该年龄段的幼儿可以理解简单的实验任务，因此更容易收集其主观报告的识别结果。前人发现，3岁幼儿已经可以初步识别音乐的基本情绪，到5岁左右达到成人的分类水平(马谐 等, 2017; Nawrot, 2003)。对音乐情绪反应研究证据集中在新生儿阶段。1～3天的新生儿在听西方音乐时表现出皮质下边缘系统中右侧岛叶和杏仁核−海马复合体的激活，这表明音乐会引起新生儿感官层面的情绪反应(Perani et al., 2010)。Plate等(2024)通过大规模线上调研进一步发现，5～6岁幼儿对悲伤音乐的情绪识别和情绪反应具有明显的关联，且没有发现调控这种关联性显著的个体差异。本研究在10～20个月婴儿中发现了类似的关联，婴儿能识别音乐与表情的情绪是否一致，同时其情绪唤起程度在音乐和表情情绪一致时更大。此外，在音乐和表情情绪一致的情况下，听悲伤音乐比听快乐音乐时瞳孔直径扩张程度更大(虽然没有达到统计显著)，这与前人发现的负性偏向是一致的，即婴儿的瞳孔在感知消极情绪时扩张得更大(Fawcett & Kreutz, 2021; Geangu et al., 2011; Silk et al., 2007)。
本研究的结果为情绪感知发展的规律带来了新的启示。传统的情绪发育理论认为，新生儿的情绪主要表现为兴奋和疼痛，而在出生后3～6周，他们可以在看到人脸或听到语音时展现出社会性微笑。到了3～4个月的时候，他们开始经历与疼痛不同的悲伤和痛苦情感，而在6～7个月时，他们逐渐表现出更多种类的负面情绪(孟昭兰, 2005)。在语言发展之前，情绪性韵律(emotional prosody)是婴儿感知声音情绪的重要来源(Brady et al., 2024; Walker-Andrews & Grolnick, 1983)。抚养者会对婴儿使用音乐性更强的儿向语及儿歌，用于提高和婴儿之间的情感同步性(Nakata & Trehub, 2004; Trehub, 2003)。人们主要是通过声音中的音调、强度等特征整合出其中包含的情绪状态(Sauter et al., 2013)。前人研究认为，音乐情绪线索的加工和语音相比可能具有滞后性，并猜想这种区别可能是来自对语音和音乐经验的差异(周玉, 张丹丹, 2017)，例如，3个月大的婴儿已经能够检测到人声从悲伤到快乐的变化，但还无法检测到音乐情绪的变化(Flom et al., 2008)；5～9个月的婴儿已经能区分表情和语音情绪不一致的情况(Walker-Andrews & Grolnick, 1983)，而无法区分表情和音乐情绪的一致性(Nawrot, 2003)。但本研究发现，10～20个月的婴儿已经能够根据音乐对成人的表情产生预期，此时似乎与语音情绪加工的发展趋于同步(Ruba & Pollak, 2020)。如果10个月以前音乐和语音的发展差异是经验的差异造成的，则应该能够观察到10～20个月期间婴儿的音乐经验显著增加的情况，研究人员在实验后与抚养者进行的访谈中，初步发现婴儿与抚养者在音乐中的交互水平(交流的丰富性和频率)随着年龄增长有显著的提升，同时交互水平越高的婴儿对音乐情绪识别的敏感度越高。此外，另一种猜想是，10个月左右开始，语音的加工经验开始向音乐迁移，与情绪关联的声音特征变得更加抽象，未来可以通过研究更多不同声音刺激(如动物声等)对这一猜想进行检验。
本研究对于养育方式有一定启发，在养育过程中，抚养者常常能观察到婴儿随着欢快的音乐舞蹈，而对悲伤的音乐没有明显的反应，因此很少给婴儿播放悲伤的音乐。但结合本研究的证据来看，10～20个月的婴儿已经能对悲伤音乐产生情绪预期，只是能够观察到的动作较少。此外，幼儿对快乐、悲伤表情的感受在表情与音乐情绪一致时更强烈，抚养者将不同情感的音乐融入到幼儿的阅读、艺术欣赏等活动中，可能有助于幼儿更好地理解和体验不同的情绪。
本研究通过眼动仪测量婴儿注视时长和瞳孔直径变化量，具有一定优势的同时也存在一定的局限性。注视时长是用于反映婴儿认知的经典指标(Ruba & Pollak, 2020)，用眼动仪测量注视时长能够降低人工计量的时间成本和主观性影响，但眼动仪的检测范围相对固定，有时难以照顾到无法安坐的婴儿被试，可能造成一定的取样偏差。瞳孔直径变化量近年来也越来越多地被用于观测婴儿的情绪反应(Beatty & Lucero-Wagoner, 2000)，但目前对瞳孔数据的解读最好能够结合其他的指标，例如瞳孔扩张究竟反映的是认知负荷还是情绪唤起，需要结合其他认知或情绪指标解读更为准确。在本研究中对瞳孔数据的解读结合了注视时长这一认知指标，未来的研究还可以进一步结合婴儿表情、动作等行为指标，以及心率、皮肤电等生理指标，通过更多的汇聚性证据理解婴儿的情绪反应。此外，预期违背范式的单个试次耗时较长，导致在婴儿能够坚持的时间内进行的重复测量较少，未来可以尝试缩短单个试次的时长或分阶段测量的方式增加试次数，以提高数据的有效率及结果的稳定性。
本研究为婴儿音乐情绪感知早期发展提供了重要证据，进一步揭示了婴儿音乐情绪感知的研究对一般情绪感知发展研究的价值，并探索了一套同步测量情绪识别和情绪反应的新方法。
5 结论
音乐与表情的情绪是否一致会影响婴儿的注视时长和瞳孔反应。婴儿在观看与音乐情绪不一致的表情时，注视时长更长；在观看与音乐情绪一致的表情时，瞳孔直径扩张量更大。根据该结果推测，10～20个月的婴儿已经能够感知快乐和悲伤的音乐情绪，并形成情绪预期，用于后续的表情加工。