改良色词实验的信度及效度评价

首页> 期刊杂志> 2022> 2022年第一期

改良色词实验的信度及效度评价

日期：2023-11-22

摘要

目的: 评价基于智能手机程序改良斯特鲁普色词测验（C-Stroop）的信度及效度研究。方法: 在空军第九八六医院神经内科门诊就诊患者中征集自愿受试者,均完成传统Stroop测试及改良Stroop测试,对不同测试组之间进行耗时和正确数的比较,评价C-Stroop的信度及效度。结果: 效度分析结果显示测试耗时的KMO（kaisermeyer olkin）值为0.860,正确数的KMO值为0.768;信度分析测试耗时的克隆巴赫Alpha系数为0.981,正确数的克隆巴赫Alpha系数为0.886;相关性分析显示用时和正确数相关系数及 p 值均差异有统计学意义,C-Stroop可替代传统模式。结论: C-Stroop信度、效度评价良好,以便捷、准确、快速的优势推荐用于执行功能的筛查。

Abstract

Objective: To evaluate the reliability and validity of modified C-Stroop test based on smart phone program. Methods: Voluntary subjects were recruited from the outpatient department of Neurology in 986 Hospital of air Force. All subjects completed the traditional Stroop test and the modified Stroop test, and the time and correct number were compared between different test groups to evaluate the reliability and validity of C-Stroop. Results: The kronbach Alpha coefficient of reliability analysis test time was 0.981, the kronBach Alpha coefficient of correct number was 0.886, and the correlation coefficients of homogeneity test time and correct number were > 0.8 and > 0.7, respectively. The KMO (Kaiser Meyer Olkin, KMO) value of the test time is 0.860, and the KMO value of the correct number is 0.768. Conclusions: C-Stroop has good reliability and validity evaluation, and is recommended for executive function screening with advantages of convenience, accuracy and rapidity.

关键词

认知功能 / 执行功能 / 色词实验 / Stroop / C-Stroop

Key words

cognitive function / Executive function / Color word experiment / Stroop / C-Stroop

引用本文

白秋菊 , 张彦海 , 潘波 , 李丹 , 赵静 , 王会会 , 迟丽屹. 改良色词实验的信度及效度评价. 阿尔茨海默病及相关病杂志. 2022, 5(1): 22-26 https://doi.org/10.3969/j.issn.2096-5516.2022.01.004

BAI Qiu-ju , ZHANG Yan-hai , PAN Bo , LI Dan , ZHAO Jing , WANG Hui-hui , CHI Li-yi. Reliability and validity evaluation of modified color word experiment. Chinese Journal of Alzheimer's Disease and Related Disorders. 2022, 5(1): 22-26 https://doi.org/10.3969/j.issn.2096-5516.2022.01.004

随着5G时代的来临,计算机技术、大数据等信息化的普及,使我国移动医疗进入高速发展阶段,同时也为远程医疗发展带来不竭动力。人们智能终端（手机）的普及,层出不穷的移动医疗App运用于医疗服务中。调查研究显示,我国现有移动医疗用户规模已达到 2800万人,呈明显增长趋势[1]。基于智能手机的移动医疗服务在便捷、快速的同时,更利于就诊记录的保存和医疗数据分析。因此,结合我国医疗卫生事业发展具体情况,推进相应的医疗信息化建设,将新的信息化技术逐步应用到医疗卫生行业,促进医疗质量、医疗服务及社会满意度提高是医疗发展的必然途径。本研究将Stroop色词测验方法改良为基于智能手机程序的Stroop色词测验,并进行了详细介绍,同时对该改良方法的信度及效度进行评估。为表述方便,本研究将移动版Stroop色词测验命名为C-Stroop色词测验。

1 资料与方法

1.1 一般资料

于2019年12月至2020年2月在空军第九八六医院神经内科门诊就诊者中征集自愿受试者,随机选取其中30名进行C-Stroop测验,并进行信度及效度评价。纳入标准①无色盲色弱、无认知障碍;②自愿参加;③MoCA评分>26分。30名受试者年龄25~58岁,平均年龄43.8岁;其中男性16名,女性14名。本研究通过空军第九八六医院伦理委员会的审批（批件号：2020001）,被纳入的所有受试者在入组时均获得本人和（或）法定监护人的知情同意,并签署了知情同意书。

1.2 方法

1.2.1 研究设计

1.2.1.1 传统Stroop色词测验

参照文献[2]完成测试（图1）。测试时用华为荣耀V20自带秒表计时,受试者按照顺序依次完成任务A、任务B、任务C。评价指标为完成任务A、任务B、任务C的耗时及正确数。

图1 传统Stroop色词测验示意图

Fig.1 Schematic diagram of traditional Stroop color word test

Full size|PPT slide

1.2.1.2 C-Stroop色词测验程序

整个C-Stroop色词测验基于网络模块成型,分为测试端和管理端,测试端以微信小程序的形式展现,实现信息收集、数据采集及即时反馈等功能;管理端在浏览器内实现,可对所有受试者信息进行记录、导出及简单统计。程序设计如下：① 4种颜色（红、绿、黄、蓝）随机出现,在24次中每个颜色至少出现1次以上;② 每次测试时间精确到0.001 s（包括色块或汉字出现到受试者执行完成时）;③ 每个色块/字体在屏幕飘过时间为2.4 s;每个任务合计57.6 s;④ 字体大小设定为60像素,色块大小为60像素;⑤ 程序中确切颜色红色代码为：#FF0000,绿：#00FF00,黄：#FFFF00,蓝：#0000FF。

1.2.1.3 C-Stroop色词测验任务设计

共包括3个任务,每项任务随机呈现 24次检查：进入小程序后,将进入初始界面,第一步是采集被试的姓名、年龄、性别、教育年限、联系方式等个人信息,填写完成后退出到初始界面;然后点击“开始测试”,进入任务界面,根据任务A、B、C的3个任务界面,任务界面将会描述每个任务的操作要求,要求每个受试者读出每次任务相对应的操作要求,以确保受试者了解任务;受试者理解任务需求后,点击“开始”按钮,进入操作界面。操作界面底部有4个选择按钮,分别为红、黄、蓝、绿（图2）。每个任务有24个颜色块依次在操作界面上均匀移动,根据不同的操作要求,要求被试者识别飘过屏幕的的色块,并点击底部按钮做出正确的选择,且选择只在相应的色块在操作界面上移动的时间内有效,而且每个色块只有1次选择机会。

图2 操作界面示意图

Fig.2 Schematic diagram of operation interface

Operation interface: Each task has a different interface.Participants need to find the right correspondence and click the right select button.The purple bi-directional arrows show the correct correspondence.

Full size|PPT slide

完成所有任务后,即可进入结束画面,在次界面中统计每个任务的响应结果、反应时（reaction,RT）、时间干扰量和正确干扰量（图3）。

图3 结束界面示意图

Fig.3 Schematic diagram of end interface

End interface：Data collection results and recommendations,All 72 responses correctly showed: Excellent;There is an error response display: good;The number of wrong responses is greater than or equal to 2 times: continue to work hard;The number of false responses is greater than or equal to 5 times: Find doctor quickly.

Full size|PPT slide

1.2.2 采集结果

①每次应答情况,包括应答正确与否、有无应答;②应答时间,所有正确应答的应答时间的平均值即为反应时;③时间干扰量 =C 组的平均反应时—A 组的平均反应时;④正确数干扰量=C 组的正确数—A 组的正确数。对所有受试者信息、测验数据等按时间进行排序,可作为统计分析的原始数据库。

1.3 分组及测试

①专业检查组：由在我院神经内科工作3年以上、能熟练掌握传统Stroop色词测验并经操作考核合格的专业医师采用传统的Stroop方法测试受试者;②非专业检查组：由在我院神经内科工作3年以上、但未经过Stroop色词测验培训的医师采用传统的Stroop方法测试受试者;③ C-Stroop1组：受试者用C-Stroop色词测验自测;④ Stroop2组：受试者用C-Stroop色词测验自测。30名受试者均按照C-Stroop1组-专业检查-非专业检查-stroop2组的顺序完成测试,同时每组受试者完成任务A、B、C,由此得到A1~A4、B1~B4、C1~C4共计12组数据结果,最后对每组耗时或正确数进行分别统计。

1.4 统计学方法

用EXCEL建立数据库后,核对检查数据,确保数据的完整性和合理性,用SPSS 24.0统计软件对数据进行分析。效度因子分析采用KMO检验（kaiser meyer olkin,KMO）和巴特利特检验;信度分析采用克隆巴赫 Alpha系数分析,并对各项结果之间进行皮尔逊相关分析。以P< 0.05 为差异有统计学意义。

2 结果

2.1 效度因子分析结果

改良后的Stroop测试耗时KMO为0.860、正确数KMO为0.768,表明C-Stroop色词测验效度高,且良好,见表1。

表1 效度分析

Tab.1 Validity analysis

指标	耗时（s）	正确数
KMO	0.860	0.768
巴特利特球形度检验	762.941	289.137
P值	0.000	0.000

2.2 信度结果

改良后的Stroop测试耗时的克隆巴赫 Alpha系数为0.981、正确数的克隆巴赫 Alpha系数为0.886,表明信度好,测量误差小,见表2。

表2 信度分析

Tab. 2 Reliability analysis

指标	耗时（s）	正确数
克隆巴赫 Alpha	0.976	0.867
基于标准化项的克隆巴赫 Alpha	0.981	0.886

2.3 相关性

对改良前后Stroop测试进行同质性检验,测试耗时之间相关系数均> 0.7,表明存在显著相关;对改良前后Stroop测试进行同质性检验,结果正确数的题项与因子存在显著相关。见表3、表4。

表3 耗时相关性

Tab.3 Correlation of time consumption

r	A1	A2	A3	A4	B1	B2	B3	B4	C1	C2	C3	C4
A1	1.000	0.841①	0.907①	0.884①	0.956①	0.827①	0.899①	0.857①	0.943①	0.799①	0.912①	0.849①
A2	0.841①	1.000	0.811①	0.942①	0.789①	0.893①	0.821①	0.926①	0.832①	0.841①	0.845①	0.854①
A3	0.907①	0.811①	1.000	0.844①	0.905①	0.752①	0.990①	0.791①	0.919①	0.725①	0.956①	0.746①
A4	0.884①	0.942①	0.844①	1.000	0.833①	0.869①	0.847①	0.950①	0.883①	0.822①	0.858①	0.860①
B1	0.956①	0.789①	0.905①	0.833①	1.000	0.810①	0.908①	0.828①	0.966①	0.761①	0.887①	0.809①
B2	0.827①	0.893①	0.752①	0.869①	0.810①	1.000	0.765①	0.909①	0.831①	0.881①	0.774①	0.879①
B3	0.899①	0.821①	0.990①	0.847①	0.908①	0.765①	1.000	0.812①	0.924①	0.711①	0.969①	0.732①
B4	0.857①	0.926①	0.791①	0.950①	0.828①	0.909①	0.812①	1.000	0.855①	0.826①	0.839①	0.880①
C1	0.943①	0.832①	0.919①	0.883①	0.966①	0.831①	0.924①	0.855①	1.000	0.777①	0.894①	0.824①
C2	0.799①	0.841①	0.725①	0.822①	0.761①	0.881①	0.711①	0.826①	0.777①	1.000	0.764①	0.965①
C3	0.912①	0.845①	0.956①	0.858①	0.887①	0.774①	0.969①	0.839①	0.894①	0.764①	1.000	0.788①
C4	0.849①	0.854①	0.746①	0.860①	0.809①	0.879①	0.732①	0.880①	0.824①	0.965①	0.788①	1.000

Note: ①. At 0.01 level (two-tailed), the correlation was significant.

表4 正确数相关性

Tab.4 Correlation of correct numbers

r	A1	A2	A3	A4	B1	B2	B3	B4	C1	C2	C3	C4
A1	1.000	0.781②	0.684②	0.649②	0.431①	0.314	0.368①	0.220	0.583②	0.490②	0.505②	0.582②
A2	0.781②	1.000	0.789②	0.644②	0.399①	0.299	0.468②	0.077	0.715②	0.706②	0.686②	0.719②
A3	0.684②	0.789②	1.000	0.534②	0.313	0.212	0.348	0.076	0.593②	0.573②	0.655②	0.579②
A4	0.649②	0.644②	0.534②	1.000	0.254	0.285	0.329	0.501②	0.788②	0.696②	0.672②	0.701②
B1	0.431①	0.399①	0.313	0.254	1.000	0.482②	0.575②	0.180	0.417①	0.163	0.137	0.228
B2	0.314	0.299	0.212	0.285	0.482②	1.000	0.097	0.404①	0.354	0.362①	0.135	0.505②
B3	0.368①	0.468②	0.348	0.329	0.575②	0.097	1.000	0.104	0.355	0.268	0.222	0.160
B4	0.220	0.077	0.076	0.501②	0.180	0.404①	0.104	1.000	0.209	0.357	0.135	0.474②
C1	0.583②	0.715②	0.593②	0.788②	0.417①	0.354	0.355	0.209	1.000	0.695②	0.803②	0.691②
C2	0.490②	0.706②	0.573②	0.696②	0.163	0.362①	0.268	0.357	0.695②	1.000	0.694②	0.825②
C3	0.505②	0.686②	0.655②	0.672②	0.137	0.135	0.222	0.135	0.803②	0.694②	1.000	0.633②
C4	0.582②	0.719②	0.579②	0.701②	0.228	0.505②	0.160	0.474②	0.691②	0.825②	0.633②	1.000

Note: ①. At level 0.05 (two-tailed), the correlation was significant.②. At 0.01 level (two-tailed), the correlation was significant.

3 讨论

3.1 C-Stroop色词测验的效度分析

①表面效度及内容效度：Stroop色词测试自1935年推出至今,广泛用于神经科、精神科及心理科的认知及执行功能评价,C-Stroop色词测验内容未产生改变,且在其基础上编程改良,将精度控制在0.001s,其表面效度及内容效度和传统Stroop色词测验保持一致。② 结构效度：用KMO检验及Bartlett测定因子分析的可行性,将改良前后测试耗时、正确数进行比较得到：耗时KMO为0.860,说明C-Stroop色词测验效度高;正确数KMO为0.768,说明C-Stroop色词测验效度良好。③校标效度：同质性检验方面,测试耗时和正确数的题项与因子对应关系分析显示,呈现高度显著关系（见表3、表4）。效度测试结果显示KMO达标、题项与因子对应关系显著,因此说明效度良好。

3.2 C-Stroop色词测验的信度分析

测试耗时的克隆巴赫 Alpha系数为0.981,正确数的克隆巴赫 Alpha系数为0.886,说明信度好,测量误差小。

3.3 C-Stroop测验应用价值

执行功能(executive functions, EFs)包括了人类高阶认知能力,如工作记忆、抑制控制、认知灵活性、规划、推理和解决问题的能力[3]。简易精神状态检查（MMSE）及蒙特利尔认知评估量表（MoCA）是国内外应用最多的认知筛查量表[4]。EFs使人类能够实现目标,适应新的日常生活情况,并完成社交互动等一系列生活[3]。抑制控制能力作为执行功能中的核心症状,与工作记忆和认知控制相互作用,保留或抑制无关反应(如go/no-go任务)或抑制从记忆中无关信息(如定向遗忘),几乎参与所有的决策执行行为,在临床中注意及干扰评估的能力的评估推荐常用研究范式为Stroop任务[4]。

Stroop效应[5 ⇓⇓-8]广泛应用于知觉、认知学领域和临床心理、社会心理、人格测评、神经心理以及老龄化等各种研究。但由于不同检查者反应速度的差别,对Stroop色词测验结果的可信度出现干扰,即便受过专业训练的同一检查者在不同时间、不同身体状态下也会出现差异,这样便导致了该测试方法不能广泛推广。而临床广泛使用的MMSE和MoCA量表,对于轻度认知功能障碍(mild cognitive impairment, MCI)的检出率较差,而Stroop色词测验能够辨别出MCI,并且有一定的敏感性[8]。改良后的C-Stroop色词测验比传统的Stroop色词测验耗时少,此是摒弃了检查者操作时间,所有操作由受试者完成。专业检查者比非专业检查者在传统Stroop色词测验时耗时少,是因为专业检查者接受了严格培训,多次正规测试后对整个测试的流程及周围环境的要求熟练掌握,并尽可能的减少自身带来的误差。C-Stroop色词测验效度、信度耗时和正确数相关系数及P值均具有统计学意义,C-Stroop色词程序可替代传统模式。两次C-Stroop色词程序测试结果稳定,耗时和正确数的相关系数及P值均具有统计学意义,因此,可重复测试。

在测试工具可靠的基础上,患者体会到移动医疗带来的便利等好处时,会将移动医疗作为就医方式的优先选择;同时网络平台可作为数据记录、汇总的一种很好的方式,对后期大数据汇总分析提供依据,截至本平台目前已完成近千例数据收集。目前所有移动医疗的接受率及使用率均存在一定的年龄相关性[9],本研究前期测试中也发现对于测试软件结果的可靠性也存在年龄、文化程度的相关性,对于老年患者的首次接触可能存在操作失误等误差,可通过前期教学尽可能消除误差。

综上所述,C-Stroop色词程序具有以下优势：①信度效度良好,可推广使用;②智能手机等便携设备的普及利于该测验方法的推广使用;③便于患者使用、操作;④可作为联网数据库收集大数据;⑤将测试时间精确到0.001s,避免了不同检查者之间带来的误差,使受试者成为唯一变量,能够真实反应受试者的执行控制水平,可在临床中推而广之。同时应当在数据样本扩大的基础上尽快完善其正常值范围区间,应用于执行功能评定、疾病鉴别等方面。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序

[1]	比达咨询. 中国移动医疗APP产品监测报告2018[Z]. 2018. 本文引用 [1]

[2]	郭起浩, 洪震, 吕传真, 等. Stroop色词测验在早期识别阿尔茨海默病中的作用[J]. 中华神经医学杂志, 2005, 4(7): 701-704. 本文引用 [1]

[3]	Cristofori I, Cohen-Zimerman S, Grafman J. Executive functions[J]. Handb Clin Neurol, 2019, 163: 197-219. https://doi.org/B978-0-12-804281-6.00011-2 https://www.ncbi.nlm.nih.gov/pubmed/31590731 本文引用 [2] 摘要

[4]	中国痴呆与认知障碍诊治指南写作组, 中国医师协会神经内科医师分会认知障碍疾病专业委员会. 2018中国痴呆与认知障碍诊治指南(三):痴呆的认知和功能评估[J]. 中华医学杂志, 2018(15):1125-1129. 本文引用 [2]

[5]	Stroop JR. Studies of interference in serial verbal reactions[J]. journal of experimental psychology general, 1935, 121(1): 15-23. https://doi.org/10.1037/0096-3445.121.1.15 http://doi.apa.org/getdoi.cfm?doi=10.1037/0096-3445.121.1.15 本文引用 [1]

[6]	郭起浩, 洪震. 神经心理评估[M]. 第2版. 上海: 上海科学技术出版社, 2016. 本文引用 [1]

[7]	陈俊, 刘海燕, 张积家. Stroop效应研究的新进展--理论、范式及影响因素[J]. 心理科学, 2007, 30(2):415-418. 本文引用 [1]

[8]	朱敏敏, 孙中武. Stroop色词测验在识别主观认知功能障碍中的作用[J]. 安徽医科大学学报, 2015, 50(9):114-117. 本文引用 [2]

[9]	徐丽君, 顾进华. 国内外移动互联网医疗应用现状及未来发展趋势探讨[J]. 信息与电脑, 2020, 32(6):169-171. 本文引用 [1]