精品文档
第二章 实验设计与数据统计分析
?实验设计的基本问题
– 变量的选择与控制 – 实验中的效度 ?真实验设计
– 完全随机设计 – 多因素实验设计 – 随机化区组设计 ?准实验设计和非实验设计 一、实验设计的基本问题 （一）变量的选择与控制 1、变量的选择
2、实验设计中的控制 – –
何谓控制？ 控制的应用
对变量的控制：随机化 使用控制组
3、实验误差
–是存在于实验单元内作同样处理所得观测数据间的变差的度量。
–实验误差的来源：内在变差；环境和操作的不一致；重复实验的误差。或S;G;R型误差。 （二）实验中的效度 何谓实验效度？
– 一项实验所能揭示的事物本质规律的有效性程度。
自从1966年科贝尔(Campbell)和斯大理(Stanly)提出内在效度(InternaI Validity)和外在效度(ExternalVa1idity)这一概念描述研究效度以来，很多学者对影响效度的因素作过认真的研究，提出很多方面的因素。1979年库克(Cook)和科柏尔(Campbell)认为这一划分方法不够完整，后又从内在效度中抽出一部分命名为统计结论效度(Statistical Conc1usion Validity)，由外在效度中提出一部分命名为构想效度(Construct Validity)。 1、内部效度及影响因素
含义：实验处理被精确估计的程度。
?影响内部效度的因素
–历史：在实验中，与实验变量同时发生，并对实验结果产生影响的特定事件。 –成熟或自然发展的影响： –选择： –测验：
–被试的亡失： –统计回归： –仪器的使用：
–选择和成熟的交互作用及其他。 2、外部效度及影响因素
含义：实验结果能被概括到实验情境条件以外的程度。
?影响外部效度的因素：
–测验的反作用效果 精品文档
精品文档
–选择偏差和实验变量的交互作用 –实验安排的反作用效果 –重复实验处理的干扰 3、统计结论效度
含义：统计方法的适切性所引起的结论有效性程度，它主要反映统计量与总体参数之间的关系。内在效度是总体参数（真值）与有系统偏差的实验总体参数之间的关系问题，如没有系统误差，两个总体参数之间应该无差异。而统计结论效度所指的统计量，是用不同方法计算的统计量，二者是不同的。例如：一个按几何级数变化的数据，如用几何平均数计算统计量，就可能较好地反映总体参数情况，如用算术平均数作为代表值，就不适切就不能很好的代表总体参数，据此所得的统计结论，其效度当然就存在一定的问题。
统计结论效度是关于研究的数据分析处理程序的效度检验，或者说，它是检验研究结果的数据分析程序与方法的有效性的指标。统计结论效度的基本问题是研究误差、变异来源与如何适当地运用统计显著性检验，它不涉及系统性偏差的来源问题，而是研究误差变异情况和如何适当运用统计显著性检验的问题。例如，采用小样本的研究数据时，由于样本成份与测量数据都波动比较大，稳定性差，如果依赖统计显著性水平做出推论是不可靠的。在这种情况下，应该运用功效分析（power analysis），看看一定的样本范围、变异程度和α水平上能够检验出多大的效应。这就是统计结论效度所考虑的问题。
?影响统计结论效度的因素：
–统计检验力低（power of statistical tests）：样本大小——样本小，统计检验力低；显著性水平α的大小， α越小，β错误就越大，统计检验力就降低；因变量的误差变异（标准差）的大小，标准差越大，标准误也越大，达到显著水平时， β错误增加。
–统计方法依据的假设条件的满足程度（是否违反统计方法的使用条件）
–多重比较和误差变异。如果实验误差太大，标准误也增大，实验处理的层次增加，摒弃虚无假设的可能性增加， α错误也增加。
–测量工具的信度
–实验处理执行的信度，即实施实验时遵守设计要求的程度。 –实验环境内，无定性非相关事故的影响。 –被试者的随机变异。
?统计结论效度的条件
–研究的统计结论效度主要取决于两个方面的条件：
一是数据的质量，数据分析程序的效度是以数据的质量作为基础的，数据质量差的研究是谈不上统计结论效度的；
二是统计检验方法，数据分析中所采用的各种统计方法，都有其明确的统计检验条件的要求，一项研究中统计检验条件不明确或者被违反，就会显著降低统计结论效度。 4、构思效度
含义：关于关系变量及变量之间关系构想的准确性，以及实验变量在实验时的操作定义与推论时的定义一致性程度。换句话，所研究的特质在理论上构想的全面性。
–研究的构思效度是指理论构思或假设的合理性、科学性，及其转换为研究目标的恰当程度和可操作性。它涉及建立研究方案和测量指标的理论构思（或观察指标的理论设想）及其操作化等方面的问题，即理论构思及其转换的有效性。为了使研究具有较高的构思效度，研究的理论构思首先要结构严谨、层次分明，形成某种“构思网络”，其次对研究内容做出严格的抽象与操作性定义（如针对研究构思的特点，给予明确的操作定义）。
?影响因素：
–操作化前对概念的分析是否完整
–单一操作的偏差 –单一方法的偏差
–被试在执行实验时对假设的猜测，称作“要求特征”。 –被试对被评价的不安感 –实验者的期望效应
–混淆的构想和构思层次。如：学校可分为：重点和非重点两个间断性层次，而年级是连续变量。如果精品文档
精品文档
只依据一类学校得出年级与教学方法的效果之间存在线性关系，推论可就会出现问题。
–不同处理的交互影响，导致混淆难辨。控制方法，让被试只接收一种实验处理，或将不同实验处理加以控制，以便作个别分析。
?构思效度的条件
（1）理论构思要结构严谨、符合逻辑、层次分明，形成某种“构思网络”。例如，将儿童的自我意识发展分为自我认识、自我体验和自我控制三方面，而自我认识进一步细分为对生理自我的认识、对心理自我的认识和对社会自我的认识。这样的理论构思，就比较严谨、完整，有层次，并且形成一种“网络”，便于理解和研究。
（2）清晰、准确的界定研究的环境条件和变量。例如，“小学五年级学生发散思维问题研究”这样一个课题，对研究被试的年龄段，生理智力发展，学习、生活、社会环境等需要明确界定范围，用文字和语言两种形式完整、准确地表述研究变量。
（3）对研究变量做出准确、严格的操作定义，并选择相应客观的观测指标。
（4）避免采用单一方法或单一指标去代表或分析多维的、多层次的、多侧面的事物和活动，尽可能采用多种方法、多种指标，从不同角度分析研究相同的理论构思。
实验设计
?心理学实验设计的逻辑分析
?数理统计是心理学实验的逻辑基础
研究设计是基于统计的，不会统计就不会设计 统计检验的基本思想
宗旨：确定以事实支持的概率。 研究假说与统计假说相同吗？
研究假说是备择假说
统计假说包括：虚无假说和备择假说，统计检验的是虚无假说
方差分析的基本思想
同时检验两个或多个平均数之间的差异，并且可以解释几个因素之间的交互作用 把平均数之间是否存在差异的检验转化为变异是否存在差异的检验
?控制是心理学实验的基本手段 ?实验中各种变异的控制
?实验设计最重要的功能是控制变异 ?变异包括：
系统变异（因变量的变异中可以有研究者操作的实验变量解释的那一部分变异，是研究者理论上期望获得的）
无关变异（研究者不感兴趣，但对因变量有影响的变量所引起的变异） 误差变异（实验中的随机波动，如被试误差、测量误差）
实验设计的功能是使系统变异的效应最大，控制无关变异，使误差变异最小。
?如何使系统变异的效应最大？
–选取适当的自变量水平。
–提高测量的辨别力，即选择对自变量的变化敏感的因变量。
–例如：研究阅读课文的长度对阅读成绩的影响。阅读课文的长度500字、550字、1000字；所有被试的测分在90-95。
?如何控制无关变异？
–Randomization
实验单元或被试是从一个更大的、研究者感兴趣的总体中随机选择的；（对实验结果的概括力最重要） 实验单元或被试是随机分配给各个处理条件的。（对实验的内部效度是关键的：原因——随机分配的随机化，在理论上可以认为实验中各个处理组在各个方面上是统计上没有差异的） –Elimination
尽可能选择在某个维度上同质的单元，以使无关变量消除。如：性别、智力 这种方法是通过消除变量本身来控制无关变量。 精品文档
精品文档
缺点：实验结果的概括力受到影响。实际上是一种非实验设计的控制方法。 –Matching
对被试在某个与因变量有关的变量上进行匹配
如研究两种教学方法对学生学习成绩的影响，应如何进行设计？ 匹配的困难：多因实验中很难找到满意的被试 –Additional IDV
有时研究者可以考虑不从实验中消除某个变量，而是把它包括进实验设计，这是目前实验设计的一种趋势。
例如：研究教学方法对学习分数的影响，可以把智力看作是一个变量。 –Statistical control
无关变异还可以通过各种实验设计和统计分析的帮助得到控制。
如：随机区组实验设计，事先分区组，组内同质，组间异质，利用方差分析把区组引起的变异从总变异中区分开来。
?如何使误差变异最小？
何谓误差变异？
–误差变异指实验中所有未控制的变异，来自实验中的随机波动。接受试验处理的实验单元或被试内在差异；测量误差
使之最小的方法：
–重复测量设计可以有效地把由个体差异引起的变异从总体变异中区分出来，从而使误差变异减少。 –增加测量的可靠性来减少测量误差。如：仪器、被试情绪、偶然的注意力涣散等。 【例】
假设有一个研究者想要比较游泳和跑步的减肥效果。他找来两个肥胖的人作被试，首先用一架最大量程为300磅的台秤称他们的体重，发现两个被试的体重正好都是300磅。然后，这两个被试开始减肥计划，一个通过跑步减肥，另一个游泳。几个月后，两个人又一次用同一架台秤称体重，结果发现两个人的体重都是250磅。研究者认为两个人都减重50磅，因此断定跑步和游泳的减肥效果一样好。请问该研究可能存在什么问题？
该研究潜在的主要问题在于测量体重时采用的测量工具，台秤的量程是0到300磅，这样在起初所获得的二人的体重可能并不准确。有可能发生天花板效应，也就是说两个人可能体重都在300磅以上，或者一个刚好300磅另一个在300磅以上，由于量程狭窄的限制，两个人都获得了量程上的最高分数，而这个分数并没有反映出被试真正的体重。这样我们也就无法确信他们最初的体重减去250磅就是他们减肥减掉的重量。这样最后得出的跑步和游泳减肥效果的结论也因为量程限制而不可信。
二、真实验设计
（一）完全随机化设计
含义：也称简单随机化设计，是指用随机化方法将被试随机分为几组，然后依据实验的目的对各组被试实施不同的处理。
完全随机化设计的类型
1、随机实验组控制组前测后测设计
?设计模式：R O1 X O2
R O3 O4
R表示随机化； X 研究者操纵的实验处理；
?设计的评价：
1）、实验的内部效度较好。原因：采用随机化处理；设立对照组。 2）、前测可能导致实验外部效度的下降。
?设计的统计检验：利用增值分数进行统计分析；协方差分析。
2、随机实验组控制组后测设计
?设计的模式： R X O1
R O2
?设计的评价：内部效度较好；原因：实验组控制组设计；实验条件相同，无前测。
精品文档
精品文档
?设计的显著性检验：T检验；U检验或中位数检验 ?设计的实例分析（p23） 3、随机多组后测设计
?设计模式： R X1 O1
R X2 O2 R X3 O3
?实验结果检验：单因素方差分析，N-K检验
（二）多因素实验处理
?什么是多因素实验设计？
实验中包括两个或两个以上因素（自变量），并且每个因素都包括两个或以上水平，各水平相互结合构成实验处理，该设计又称为完全随机析因设计。
?完全随机析因设计的类型：p X q X…… ?完全随机双因素析因设计举例p26-32
【实验分析】
杨治良等（1981）的实验
目的：了解年龄和材料对再认能力的影响
第一个自变量是年龄，选取初中生年龄组和大学生年龄组。第二个自变量是实验材料，具体实物图形和词组。因变量：再认能力d‘作指标。
这个实验的方法是采用再认法，把被试者识记过的材料和没有识记过的材料混在一起，要求被试者把两种材料区分开来。
如果让你开展这个研究，该具体如何进行？ （三）随机化区组设计
Block Randomization： the most common technique for carrying out random assignment in the random groups design; each block includes a random order of the conditions and there are as many blocks as there are subjects in each condition of the experiment.
The example:p32
?随机区组设计的目的：使区组内的被试差异尽量缩小，而对区组之间的差异依据设计要求而定。 ?随机区组设计的原则：同一区组内的被试尽量“同质”，每一区组内被试的人数有三种情况：
1. 1名被试一个区组，每名被试均接受全部处理，在接受处理的顺序上要采用随机化的方法。
2. 每个区组内被试的人数是实验处理数目的整倍数；
3. 区组内的基本单元不是一名被试或几名被试，而是以一个团体为单元。 随机化区组单因素设计
?随机区组设计（Block Randomization）举例(1)
Sackheim，Gur和Saucy（1978）使用组内设计研究人的两侧面孔在情绪表达强度上的差异。早期的研究者发现，被试能够准确地区分呈现给他们的人类的6种基本情绪（快乐、惊奇、恐惧、悲伤、愤怒、和厌恶）的照片。Sackheim和他的合作者利用一个人的一侧面孔和其镜像重新构成一张完整的面孔的照片。上图为三种实验材料。
Sackheim，Gur和Saucy（1978）使用组内设计研究人的两侧面孔在情绪表达强度上的差异。早期的研究者发现，被试能够准确地区分呈现给他们的人类的6种基本情绪（快乐、惊奇、恐惧、悲伤、愤怒、和厌恶）的照片。Sackheim和他的合作者利用一个人的一侧面孔和其镜像重新构成一张完整的面孔的照片。上图为三种实验材料。
?随机区组设计（Block Randomization）举例(2)
给被试呈现如图所示的照片制成的幻灯片，要求被试利用7点量表评价每一张幻灯片的情绪的强度。每次呈现一张幻灯片，每张呈现10秒钟，然后给被试35秒钟进行评定。实验中的自变量为照片的形式（左侧构成，原始照片，和右侧构成），每位被试评价54张幻灯片：18张左侧构成照片，18张原始照片和18张右侧构成照片。
?随机区组设计（Block Randomization）举例(3) ?随机区组设计（Block Randomization）举例(4)
精品文档
实验设计与数据统计分析说课材料
