锚题比例与年级离散度对垂直等值的影响
黎光明,梁正妍
【摘 要】摘要：采用锚题设计,选择年级1作为参照基准,通过蒙特卡洛模拟方法,考察锚题比例与年级离散度对垂直等值的影响.研究结果表明:与基准年级的距离影响垂直等值效果,越靠近基准年级,估计精度越好;从整体而言,垂直等值锚题比例设为30%,等值效果最好;垂直等值锚题比例的设定受年级离散度影响,2者存在交互作用,锚题比例设为“变”值更好. 【期刊名称】江西师范大学学报（自然科学版） 【年(卷),期】2019(043)001 【总页数】7
【关键词】锚题比例;年级离散度;垂直等值;测验等值;项目反应理论
基金项目：国家自然科学基金(31470050),教育部人文社会科学研究规划基金(18YJA190006),广东省哲学社会科学“十三五”规划一般课题(GD17CXL01),广东省2015年度高等教育教学改革课题(粤教高函〔2015〕173号)和广州市哲学社会科学“十三五”规划一般课题(2017GZYB111)资助项目.
0 引言
大型测验经常需要将某一测验配备多个版本,以供多次施测,并最终使参与不同测验版本的被试成绩可以进行比较.对于测验编制者而言,最希望看到的是不同版本的测验在同一批被试上所得的测验分数是可以相互比较的.但是,如果不同版本的测验分数之间存在差异,这就会引起评价的不公正.为了避免这种不公正,一种方法就是找到不同版本测验分数之间的转换关系,将不同版本测验的分数转换到同一量尺上.在测量学上,这种方法被称为测验等值(Test equating)[1].
通常来说,在2种情况下需要进行等值转换:(i)测验难度与被试能力水平大体相同的情况,如将考生在高考A、B卷上得分数进行转换,这种等值转换被称为“水平等值”(Horizontal scale);(ii)测验难度与被试能力水平均有较大差异,如想了解不同年级学生的知识水平之间的情况,这种等值转换被称为“垂直等值”(Vertical scaling)[2-3].在“水平等值”中,待等值测验的难度近似相同,且学生在他们得分分布假设可比,适用于对一个测验的多个题本进行等值;而在“垂直等值”中,待等值测验的难度不同,且学生在他们得分分布假设不可比,适用于对来自不同水平(比如不同年级)的学生进行分数比较.
一般地,水平等值只能实现针对同一特质且各版本试卷难度相差不大情况下考生测验分数的等值转换,但无法实现不同年级水平学生测验分数的比较,这是因为测验所涉及的知识内容、测验难度和测验对象的能力水平均存在较大差异.然而,对于学校以及家长们来说,他们有时更希望了解学生在整个学习和成长过程中,随着年级的增长、知识的掌握,其能力究竟是怎样的一个发展趋势[4].这对于国家而言,可以根据其客观的发展趋势更好地制定教育改革的方针政策.垂直等值能解决这一问题.垂直等值可以将各个不同水平测验分数转换到同一分数量尺上,使其能够相互比较[5-6].为了说明学生随着时间变化在学业上的发展或进步程度,可以使用垂直等值技术将各个不同年级水平的测验分数进行链接[7].
为了将各个年级学生的学业水平进行垂直等值,锚题设计(Common item design)是最常用的等值设计.锚题设计的一个示例如图1所示[8-9].
在图1的锚题设计示例中,年级4有部分题与年级3相同,有部分题与年级5相同,这就是“锚题”(Anchor item).“锚题”作为等值的关键一环,是整个测验的“微缩版”.通常,图1中联系年级3与年级5的纽带——年级4锚题,若占整个
测验的百分比越大,则所求的等值系数越准确.然而,在实际应用和题库的建设中,锚题使用的越多,会出现以下2个问题:(i)锚题使用得越多,题库的整体题量也就要求越大,从而使得题库建设的成本增加;(ii)锚题使用得越多,曝光的锚题比例就越多,测验的安全性和保密性就越低.因此,年级跨度怎样“设定”一个合适范围内的锚题比例,对垂直等值的结果解释是有意义的.然而,就目前有关垂直等值锚题比例相关的研究文献,还存在以下问题:
(i)年级之间测验等值的锚题比例到底应该定为多少才是合适的呢?仍缺乏相关依据.目前,大多数有关锚题比例的研究文献多集中于“水平等值”文献[3,10].例如,蔡艳等[10]在水平等值中发现,在强调等值系数的返真性时,锚题比例可选择≥18.33%;在强调测验分数系统或能力参数系统的等值精度时,锚题比例可选择≥16.67%,甚至是≥14.29%.通常地,PISA、NAEP和TIMSS等国际大规模教育评估项目的锚题比例至少是20%,由“锚题”所构成的子测验是有代表性的,几乎是整个测验的“微缩”.然而,有关年级之间垂直等值锚题比例到底应该定为多少才是合适的呢?仍缺乏相对成熟的研究文献给出一个基本定论.
(ii)年级之间垂直等值的锚题比例是否随年级的增长而发生一定的改变?仍不得而知.由于相邻年级测验难度与被试能力分布更为相似,测验之间重叠的知识内容较多,2者之间的链接能够提供更多的信息.但是,随着年级跨度的增大,测验的难度和被试的能力差异变大,测验间重叠的内容变少,使得年级之间的链接“强度”减小[11-12].依此看来,年级之间垂直等值的锚题比例设定可能会随着年级的增长而发生改变,即年级之间垂直等值的锚题比例可能不是一成不变的,可能会与年级离散度一同影响垂直等值.年级离散度是指不同年级学生能力之间的相异程度,年级离散度越大,不同年级学生能力之间相异越大,反之亦然.
锚题比例与年级离散度对垂直等值的影响
