最后,使用Winsteps3.74做Rasch分析,包括单维性检验、项目难度、信度以及项目功能差异检验。其中,(1)单维结构的检验主要通过对残差进行主成分分析,只要首对残差的特征值之比不超过2.0(
Raîche, 2005),即可认为单维结构成立。另外,单维性检验还涉及到残差均方(outfit mean-square, Outfit MNSQ)、加权残差均方(infit mean-square, Infit MNSQ)和点测量相关系数。根据Wright和Linacre(
1994)的建议:凡是MNSQ>1.4或<0.6时,即可以认为该项目的拟合效果较差。Li等人(
2018)表明点测量相关系数大于0.3表明项目测量的是同一个结构。(2)Rasch分析中会给出项目信度、被试信度、项目分离指数以及被试分离指数。项目信度和被试信度类似于最小值为0、最大值为1的Cronbach’s α系数,被试信度指的是被试所拥有的潜在特质的内在一致性程度,项目信度指的是项目与潜在特质的内在一致性。被试分离指数是以logit为单位估计的,指的是在测量相同潜在特质的前提条件下,不会改变被试在潜在特质水平上的相对位置,即相应的高低顺序不会发生变化,并以此了解到这种排序的稳定程度有多大;项目分离指数指的是能有效区分开被试在潜在特质水平上的统计差异(
Wright & Stone, 1999)。Malec等人(
2007)表明项目和被试的信度指标遵循以下临界值:项目信度≥0.90,被试信度≥0.80,被试分离指数≥2.0,以及项目分离指数≥4.0。Fisher(
2007)的评定量表工具质量标准认为被试的信度在0.70以上是可接受的,Duncan等人(
2003)认为被试分离指数大于1.5小于2.0也是可以接受的。(3)为了确保测验的公平性,探索了数字推理能力测验在不同性别学生上的项目功能差异(differential item functioning, DIF)。采用显著性检验和效应量相结合的方法来进行鉴定:效应量需要大于0.64并且经Mantel-Haenzel卡方检验法之后存在统计显著性(
p<0.05),即认为该项目存在中等到大的项目功能差异,若只有
p<0.05,但是项目功能差异差值小于0.64,亦可认为不存在项目功能差异(
Boone et al., 2014)。