心理与教育测量第十章.pptx

《心理与教育测量第十章.pptx》由会员分享，可在线阅读，更多相关《心理与教育测量第十章.pptx（45页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第十章 目标参照测验目标参照测验概述目标参照测验的项目分析目标参照测验的信度与效度目标参照测验分数分界点的确定第1页/共45页第一节 目标参照测验概述目标参照测验的产生1、产生于实际需要：西方国家发展测验初期只关心个别差异，到20世纪中叶发现这是片面的。我们还需要关心个体在测验内容上掌握的绝对水平。如学科结业考试，就是评价个体能否达到基本要求；如很吃香执业资格考试，又如帮助学生达到掌握水平的诊断困难与缺限的诊断测验等。第2页/共45页2、发展的原因是常模参照测验无法胜任这一任务。因为这种测验要有掌握标准的确定界值，或称合格分数线，而常模测验没有，用于常模参照测验的一整套理论和技术都不适用于目标

2、参照测验。3、目标参照测验应用广泛，且负作用较小，有利于素质教育，有利于教育大面积丰收。第3页/共45页目标参照测验的定义有许多定义，但R.Glaser（1971）的定义较广泛地被接受。“标准参照测验是根据某一明确界定的内容范围而缜密编制的测验，并且被试在测验上所得结果，也是根据某一明确界定的行为标准直接进行解释的。”理解：强调“内容范围”和“行为标准”两词第4页/共45页内容范围：内容范围在测验编制之前就必须明确界定，给予严格的操作性定义。内容范围包括知识内容范围和能力目标范围两个方面。测验试题应在内容范围之内，并且是所有属此内容范围内试题的一个有充分代表性的样本，否则评价是不准确的。行为标

3、准：“行为标准”是一客观的、稳定的，被指为“已掌握这一内容范围”的最低标准。“行为”标准从统计上说就是一条合格分数线，也称“分界点”。第5页/共45页目标参照测验的应用如果一门学科的难度水平呈递增趋势，学生需要达到一定的熟练水平才能进行更高阶段的学习。例如，学生要学会把句号放在一句话的结尾处这个规则，必须先知道什么是句子。在必须掌握的领域，要使用标准参照测验。例如，乘法表的知识就可以用标准参照测验的方法来测验。第6页/共45页在诊断性的工作中，标准参照反馈比常模参照反馈更有用。例如，知道一个学生在特定的内容方面学习有困难（还没达到熟练水平）要比知道这个学生在班级中属于中等水平更重要。第7页/共

4、45页第二节 目标参照测验的项目分析内容范围的确定内容范围确定的意义 目标参照测验本身的要求，要有明确的内容范围。项目分析的需要以至测验总体的评价都要以内容的界定作前提。第8页/共45页内容范围的特点 内容范围有边界：边界有大，有小，须界定。内容范围中的内容可以分类、分层。每一类每一层有其相对地位，划分清楚类层及地位，如此构成内容的结构。明确了内容范围的边界和其内部结构，则认为内容范围得到了明确的界定。第9页/共45页内容范围界定的依据和方法特定测验目的是界定的依据。(A)如某专业资格测验，可以通过该工作分析来界定，测验内容范围。(B)教学测验可通过教材、大纲来界定，测验内容范围。形式就是测验

5、双向细目表。由三个要素组成：一是考查目标；考查内容；每一类内容和每一种目标相结合后在整个内容范围中所占的比重（即重要性）。如下表：第10页/共45页第11页/共45页测验项目的内容效度分析1、分析目的：检验所命试题的内容是否与测验内容范围所规定的内容一致。2、分析方法：专家评定法。请专家对测题所测内容与测题编制者宣称要测量的目标内容间的一致性进行评价。具体方法见内容效度这一章节，我们已经讲过。第12页/共45页测验项目的难度和区分度分析测验的预测测验项目的难度分析测验项目的区分度分析第13页/共45页（一）测验的预测数据收集方法 前测后测法：含义：同一项目对同一组被试在学习之前之后分别测试一次

6、。图解：学过组非学过组法：含义：同一项目对学过组和非学过组被试各测一次。图解：第14页/共45页 对照组法，掌握组非掌握组法：含义：同一项目对两组被试各施测一次。图解：第种方法被认为是对、两法的改进，但分组依赖于都是的经验判断。第15页/共45页（二）测验项目的难度分析1、目标参照测验的难度计算与常模测验的难度计算采用同一种方法。2、有人认为，目标参照测验中属内容范围中不可缺少题目并不在乎它是难还是易，都要测。3、计算目的：分析区分度的基础。第16页/共45页（三）测验项目的区分度分析难度差值指标：掌握组非掌握组鉴别指数(D)。计算公式：D=PA-PB，其中PA为掌握组的得分率，PB为非掌握组

7、的得分率。D值范围在-1，1之间，D值越大，区分度越高。个人获得指数(DIG)一般应用在前测-后测方法中。计算方法为：前测中错误回答某项目而在后测中能够正确回答的被试人数比例。范围在0，1之间。局限：未考虑前测中通过而后测中失败的被试。第17页/共45页举例：请用前述两种方法计算表中项目的区分度第18页/共45页相关系数法方法同常模参照测验。但区分度大小的评价标准不同。相关系数为负值，应检查题目问题所在，予以删除或修改。相关系数为正值，其值越大，越具有区分力。项目越有效。相关系数接近0，一般不予保留，但应视该项目所测内容在内容范围中的重要性而决定其取舍。第19页/共45页第三节 目标参照测验的

8、信度与效度信度及其估计定义：与常模参照测验的信度定义一致。计算：不能采用相关系数法求取信度，原因：相关系数信度高低与被试团体的特质水平分布有关，被试异质性越强，信度越高，目标参照测验不在于鉴别被试差异，因而分数分布相对集中，即使测验可靠稳定，其相关也不高，因此相关系数不适用于目标参照测验。方法：分类一致性信度(P0)；荷伊特信度第20页/共45页1、分类一致性信度原因 目标参照测验关心的是对被试合格与否的分类是否一致，分类一致性指标成为目标测验的信度是顺理成章的。方法:测试采用复测法或复本法；统计以合格线为界分别进行。计算在两次测试中分数一致人数(两次均及格或两次均不及格人数)在总人数中之比。

9、校正。第21页/共45页分类一致性信度的求取及其校正第22页/共45页评价：越大，信度越高，意义明确，计算简单。但再测、复本的测试缺陷存在。依赖于合格分数线的准确划分。第23页/共45页举例若有一个60人的团体，采用某测验前后施测两次，两次测试中均及格的人数为21人，均不及格的人格为12人，请计算分类一致性信度。第24页/共45页2、荷伊特信度计算公式：评价：由于此式不受被试分布及测验目标影响，可用于目标参照测验，又因为不涉及合格线，因此优于分类一致性信度。第25页/共45页效度及其估计内容效度效标关联效度第26页/共45页1、内容效度目标参照测验要求有明确的内容范围，要求试题严格限制在内容范

10、围之内，且有最充分代表性，因此，内容效度是对目标参照性测验关心的重点。评估计方法与常模测验方法相同。第27页/共45页2、效标关联效度考查效标关联效度的原因目标参照测验的目的在于鉴别人的合格与否，某测验的鉴别结果是否准确应以客观评价为准，因此，目标参照测验的效标关联效度成为测验评价与客观评价一致性程度指标。评估方法不适合采用测验分数与效标成绩的相关系数评估目标参照测验的效度。可用两次评价一致的人数在总人数中的比作为效度，也称为“决策效度”。第28页/共45页举例：计算测验决策效度第29页/共45页第四节 分数分界点的确定分界点确定的意义1、知识的掌握是一个程度问题，理论上不存在一个非常明确的合

11、格点。2、实际中都非常需要对被试的某种技能、技术、专业知识能力作出合格与否的界定。3、上述两点的结果是需要确定分界点，但确又非常困难，现有方法很多，但各有缺点。第30页/共45页确定分界点的方法专家判定法效标组预测法实证法第31页/共45页一、专家判定法理论依据：根据临界水平被试在各项目上正确作答的可能性，进而推断整卷的合格分数线，即临界点。其中“临界水平被试”是虚拟的，正确作答可能性是据专家经验推测的。具体方法Nedelsky方法只适用于多重选择题Angoff方法适用于所有题型Ebel方法修正的Angoff方法第32页/共45页 判断临界水平被试在每一试题上的正确作答概率，方法是先判断其可排

12、除几个错误选项，然后再作概率估计。如选四选一，若能排除一个错误选项，则正确作答概率为0.33，若能排除两个错误选项，正确作答概率为0.5。在每一题的正确作答概率都确定后，将每一题的正确作答概率以题分加权求和，即可得整卷分界点，即 若能由多位专家分别评定则以各位专家评定分数的均数为最终分界点。（一）Nedelsky方法第33页/共45页（二）Angoff方法Angoff方法省却专家判断被试可排除的选项的步骤，直接判断正答概率。然后用 求分界点。此法适用于任何题型，专家评定较自由，因而此法更受欢迎，但专家评定正答概率的先验依据也就较少了。第34页/共45页举例第35页/共45页（三）Ebel方法步

13、骤首先请评判者把题目的难度区分为若干等级。然后依据题目的代表性程度将题目分成若干等级。再由专家估计临界被试答对某一代表性程度、某一困难等级题目的百分比。计算划界分数。如果有多个专家参加，则划界分数为所有评估者的 平均值。第36页/共45页举例第37页/共45页（四）AngoffAngoff修正法修正法这种方法划分了与Ebel方法不同的两个维度，一个维度为被试完成测题所需要的能力（如记忆和理解等），另一个维度是每题的测量目标（如词汇、语法和阅读理解等）。然后计算划界分数与Ebel方法的过程就一样了。第38页/共45页二、效标组预测方法1、临界组法：将测验施测于一批临界水平被试，用平均值作为合格分

14、数线。困难是临界水平被试较难界定，要找一批更加困难。第39页/共45页2、对照组法临界水平被试难以界定，改用对照组法，即用专家界定出掌握组与未掌握组两组被试，将测验用于这些被试，然后将两组成绩绘制两分布曲线，其交点即为合格分数线。如下图所示。第40页/共45页第41页/共45页此法被试较临界组法易找，但同样依据于经验，被试选择会影响分界点的确定，改善方法：多找一些对照组用其交点均值；找教学与否组代替掌握与否组，但被认为更不准确；由于依赖专家，因此多找专家，综合各方的意见，更稳妥一些。第42页/共45页目标参照测验的分数解释注意被试在所测内容领域的绝对掌握水平，并常根据实际需要而将被试在分数分界点上分为“合格”或“不合格”两类。常模式解释可以同时用于目标参照测验，特别是既对被试绝对水平感兴趣，又对其相对水平感兴趣时，更可以配合使用，如标准分数，百分等级等。第43页/共45页三、实证法Glass（1978）将9年级学生测验成绩的中位数作为一所中学毕业证书考试的最低标准；有人采取低于团体平均水平一个标准差的方法确定截点；Block（1972）提出一种“教育效果法”，试图建立测验分数与学习效果的函数关系，他提出存在一条S型的学习曲线，分界分数在曲线的拐点周围；还有人提出，当通过率与达标比率一致时，可以采用通过率确定及格线的参考标准。第44页/共45页感谢您的观看！第45页/共45页