调查问卷的信度与效度课件

调查问卷的设计调查问卷的设计 1ppt 调查问卷的设计 1ppt2ppt2ppt询问目标应答者的信息问卷访问实施数据采集和录入数据处理数据分析调研结果建议问卷的作用问卷的作用在需要对受访人进行询问的市场调研中：提供了标准化和统一化的数据收集程序保证每个受访者看到或听到相同的文字和问题保证访问人员的问题询问一致问卷在询问调研过程中起到了非常重要的翻译作用，是关键工具。3ppt问卷的定义与作用询问目标应答者的信息问卷访问实施数据采集和录问题的顺序问题的编码问卷版面布局要收集的信息问题的类型问题的内容问题的语言问卷设计问卷内容问卷形式预调研修改及定稿4ppt如何进行问卷设计问题的顺序问题的编码问卷版面布局要收集的信息5ppt5ppt实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排确定问卷的流程和编排确定问题的用词确定问题回答形式确定数据收集方法确定调研目的、来源和局限确定调研目的、来源和局限调研需求一般来自市场部经理、品牌经理或新产品开发部门，因为在决策过程中所需信息不足而发起。调研目的要提供委托方的所需的市场信息，帮助他们解答市场疑惑。因此，前期的沟通要充分、问题确认清晰。调研目标确认后，要考虑从谁那里获得数据。也就是要明确访问的对象，不同的访问对象回答哪些不同的问题。调研局限包括来自被访者、访问员、预算、时间等。6ppt实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排确定问卷的流程和编排确定问题的用词确定问题回答形式确定数据收集方法确定调研目的、来源和局限确定调研目的、来源和局限调研需求一般来自市场部经理、品牌经理或新产品开发部门，因为在决策过程中所需信息不足而发起。调研目的要提供委托方的所需的市场信息，帮助他们解答市场疑惑。因此，前期的沟通要充分、问题确认清晰。调研目标确认后，要考虑从谁那里获得数据。也就是要明确访问的对象，不同的访问对象回答哪些不同的问题。调研局限包括来自被访者、访问员、预算、时间等。7ppt实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排确定问卷的流程和编排确定问题的用词确定问题回答形式确定数据收集方法确定数据收集方法确定调研目的、来源和局限面访面访电话访问电话访问街头拦截街头拦截定点拦截定点拦截入户访问入户访问深度访问深度访问神秘顾客访问神秘顾客访问不同类型的访不同类型的访问方法对应的问方法对应的问卷形式有很问卷形式有很大差异大差异8ppt实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排确定问卷的流程和编排确定问题的用词确定问题回答形式确定问题回答形式确定数据收集方法确定调研目的、来源和局限开放题开放式问题的作用询问原因描述感受补充开放式问题的提问规范追问（三次）逐字记录归类和编码封闭题封闭题的作用了解不同类型的分布找到主要特征量化程度和评价封闭题的提问规范避免引导选项要尽量全面描述简单清晰单选和多选的设计要慎重优点：信息丰富封闭题的补充了解受访者的真实反应缺点：不容易处理编码费时费力容易受访问人员的影响容易忽略内向的受访者优点：操作方便，便于数据处理无倾向，不受被访问人的性格影响不受访问人员的影响缺点：必须进行预先的研究选项范围的确定容易产生次序误差访问程序要规范必须对访问人员培训9ppt实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排确定问卷的流程和编排确定问题的用词确定问题的用词确定问题回答形式确定数据收集方法确定调研目的、来源和局限1.用词必须清楚说明调查描述清晰，统一的基准和指代，不要使被访问人的回答建立在他自己的理解之上避免专业词汇每个受访问人代表独立的参考构架避免一个句子中出现两种以上的问题2.避免引导式的问题3.考虑被访问人的回答能力认知和感受的关联记忆内容和时间效应4.考虑被访问人的回答意愿第三人称方式提问对等误差表达10ppt实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排确定问卷的流程和编排确定问卷的流程和编排确定问题的用词确定问题回答形式确定数据收集方法确定调研目的、来源和局限1.甄别部分2.以非敏感、并能引起兴趣的问题开始3.先问一般问题4.需要思考的问题放中间5.敏感问题放在主体问卷的后面6.人口统计学信息主体问卷逻辑关系不同类型用户的区分跳转提示11ppt实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排评价问卷和编排确定问卷的流程和编排确定问题的用词确定问题回答形式确定数据收集方法确定调研目的、来源和局限1.问卷时间是否过长面访控制在30分钟以内电话访问控制在15分钟以内深度访问控制在1小时左右2.是否回答了研究目标所需的问题，问题是否必要3.不同类型问卷的形式和外观面访：提示卡电话访问：访问员注意事项和CATI用问卷的形式要强调跳转关系深度访问中问卷的样式不重要，对于访问人员的要求很高4.敏感问题放在主体问卷的后面4.问卷样式要统一公司标志，封面统一的格式字体字号的一致选择项不要跨两个页面着重标志12ppt实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排评价问卷和编排确定问卷的流程和编排确定问题的用词确定问题回答形式确定数据收集方法确定调研目的、来源和局限13ppt实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排评价问卷和编排确定问卷的流程和编排确定问题的用词确定问题回答形式确定数据收集方法确定调研目的、来源和局限14ppt实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排评价问卷和编排确定问卷的流程和编排确定问题的用词确定问题回答形式确定数据收集方法确定调研目的、来源和局限15ppt实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排实施准备问卷预先测试及修订预先测试及修订获得各相关方面的认可获得各相关方面的认可评价问卷和编排确定问卷的流程和编排确定问题的用词确定问题回答形式确定数据收集方法确定调研目的、来源和局限内部确认，获得其他同事的意见和建议委托方确认，获得客户的反馈，必要的时候进行讲解试访和修订研究员亲自试访问，获得亲身体会执行人员对于陌生受访者的访问，获得现场实施方面的反馈意见时间和预算允许的范围内，最好进行预调研，了解全面实施后的总体情况16ppt实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排实施实施准备问卷准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排确定问卷的流程和编排确定问题的用词确定问题回答形式确定数据收集方法确定调研目的、来源和局限问卷的印刷或编程调研实施调研说明：给代理公司明确的项目调研目的，配额，时间，访问条件，抽样说明，访问要求等文字化的说明访问员培训说明：访谈要点，接触方式，配额，工作记录表（接触情况，复核情况）通话记录培训可能会占用你一些的时间和精力，但是想要调研的准确和真实，对于访问实施相关方面的培训必不可少！17ppt实施准备问卷预先测试及修订获得各相关方面的认可评价问卷和编排18ppt18ppt 一、一、Questionnaire Validity 二、二、Example of Validity 三、三、Questionnaire Reliability 四、四、Example of Reliability 五、五、The correlation between Reliability and Validity19ppt 一、Questionnaire Validity M 误差(error)是指对事物某一特征的度量值偏离真实值的部分，即测定值与真实值之差，样本统计量与总体参数之差。没有一项研究推论能够达到百分之百的真实。No study is free of errors,the inferences are never perfectly valid.误差公理：实验结果都会有误差，误差自始至终存在于一切科学实验的过程之中。20ppt1.误差公理 误差(error)是指对事物某一特征的度量l （1 1）随机误差（）随机误差（random errorrandom error）l 随随机机误误差差是是由由不不确确定定原原因因引引起起的的，不不可可避避免免和和消消除除。其其偏偏离离总总体体的的方方向向不不能能确确定定。包包括随机测量误差和抽样误差。括随机测量误差和抽样误差。l 21ppt2.误差的种类(types of error)（1）随 随机测量误差（random measurement error）：没有固定的倾向，可使多次观测结果有大有小。抽样误差（sample error）：由于抽样造成的样本指标与总体指标之间的差别。22ppt 随机测量误差（random measurement e（2 2）系统误差系统误差（SYSTEMATIC ERRORSYSTEMATIC ERROR）是由于偏倚（使研究结果按照一个方向偏离总体，bias）产生的错误结果，可，可校正和消除。校正和消除。l(3)过失误差（gross error)是由于科研设计错误，或实验者的主观片面、粗心大意引起的误差。必须避免和剔除！必须避免和剔除！23ppt（2）系统误差（systematic error）是 问卷测验中测量误差通常来源于两个方面：一是产生于问卷测验过程中的误差，称为测量误差（measurement Error），也称为随机误差（random error）；二是由问卷的结构质量造成的误差，称为系统误差（system Error）。measurementErrorreliabilitysystemErrorvalidity 24ppt 问卷测验中测量误差通常来源于两个方面：24pptThevalidityofaquestionnaire25ppt一、调查问卷的效度The validity of a The question of validity is how far can we be sure that a measure really does reflect the concept to which it is supposed to be referring.26pptThe validity of measuresThe qu 效度（validity）通常是指问卷的有效性和正确性，亦即问卷能够测量出其所欲测量特性的程度。对于一个标准测验来说，效度比信度更为重要。27ppt 效度（validity）通常是指问卷的有效性和正确性1.1.效度分析的意义效度分析的意义 效度是问卷调查研究中最重要的特征，问卷调查的目的就是要获得高效度的测量与结论，效度越高表示该问卷测验的结果所能代表要测验的行为的真实度越高，越能够达到问卷测验目的，该问卷才正确而有效。问卷的准确性或称为有效性是用问卷的效度加以刻划的，它反映了对问卷的系统误差的控制程度。28ppt1.效度分析的意义 效度是问卷调查研究中最重要的特征，效度是指问卷测验的准确性，即测验能够反映所要测量特性的程度.其包括两个方面的含义：一是问卷测验的目的；二是问卷对测量目标的测量精确度和真实性。效度是一个具有相对性、连续性、间接性的概念。29ppt2、效度的定义 效度是指问卷测验的准确性，即测验 在测量理论中，效度被定义为在一系列测量中，与测量目的有关的真变异数(即有效变异)与总变异数之比：r2xy 表示测量的效度系数，Sv2 代表有效变异数，Sx2 代表总变异数。30ppt 在测量理论中，效度被定义为在一系列测量中，与测量目的 确定一个问卷效度的方法，通常是以答卷者的问卷得分和另一个效度标准求相关，以其相关系数的大小来表示效度。如果相关系数高，则该问卷的效度就高。一般常用的效度指标有内容效度、结构效度。31ppt 3.常用的效度指标 确定一个问卷效度的方 内容效度是指问卷内容的贴切性（relevance）和代表性（representativeness）,即问卷内容能否反应所要测量的特质，能否达到测验目的，较好地代表所欲测量的内容和引起预期反应的程度。内容效度常以题目分布的合理性来判断，属于命题的逻辑分析，所以，内容效度也称为“逻辑效度”(logical validity)、“内在效度（intrinsic Validity）”、“循环效度（circular validity）”。32ppt(1)内容效度(content validity)内容效度的评价主要通过经验判断进行，通常考虑3方面的问题：其一是项目所测量的是否真属于应测量的领域；其二是测验所包含的项目是否覆盖了应测领域的各个方面；其三是测验题目的构成比例是否恰当。33ppt 33ppt 常用的内容效度的评价方法有两种：一是专家法，即请有关专家对问卷题目与原来的内容范围是否符合进行分析,作出判断，看问卷题目是否较好地代表了原来的内容。二是统计分析法，即从同一内容总体中抽取两套问卷，分别对同一组答卷者进行测验,两种问卷的相关系数就可用来估计问卷的内容效度。计算某个问题与去掉此问题后总得分的相关性情况，分析是否需要被剔除（敏感性分析）。34ppt 常用的内容效度的评价方法有两种：34ppt 结构效度又称构想效度，是指问卷结构效度又称构想效度，是指问卷对某一理论概念或特质测量的程度，即对某一理论概念或特质测量的程度，即某问卷测验的实际得分能解释某一特质某问卷测验的实际得分能解释某一特质的程度。如果我们根据理论的假设结构，的程度。如果我们根据理论的假设结构，通过问卷测验得到答卷者实际分数，经通过问卷测验得到答卷者实际分数，经统计检验，结果表明问卷能有效解释答统计检验，结果表明问卷能有效解释答卷者该项特质，则说此问卷具有良好的卷者该项特质，则说此问卷具有良好的结构效度。结构效度。35ppt(2)结构效度(ConstructValidity)常用的确定结构效度的方法有：常用的确定结构效度的方法有：(1)根据文献、前人研究结果、实际经验等建 立假设性理论建构；(2)对问卷题目进行分析。主要是分析问卷的 内容，答卷者对题目所作的反应，问卷题 目的同质性以及分项目之间的关系来判断 问卷的结构效度；(3)根据建构的假设性理论编制适当的问卷；(4)计算与同类权威问卷的相关;(5)以统计检验的实证方法去考查问卷是否能 有效解释所欲建构的特质。36ppt常用的确定结构效度的方法有：(1)根据文献、前人研究结果、实 效标效度也称为准则关联效度（Criterion-Related Validity）、经验效度（Empirical Validity）、统计效度（Statistical Validity）。效标效度是说明问卷得分与某种外部准则（效标）间的关联程度，用问卷测量得分与效度准则之间的相关系数表示。37ppt3效标效度（Criterion Validity）一般估计效标效度的主要方法有：一般估计效标效度的主要方法有：（1）相关法，即求某问卷分数与效标间的相关，所得结果即效标效度。（2）区分法，即看问卷分数是否可以区分由效标所划分的团体。可以运用t检验对先后两次问卷结果平均分数进行差异性检验。若差异有统计学意义，说明问卷是有效的；若差异无统计学意义，说明问卷是无效的。38ppt一般估计效标效度的主要方法有：（1）相关法，即求某问卷分数与判别效标也称为辨别效标，是指运用相同的问卷测定不同特质和内涵，测量结果之间不应有太大的相关性。39ppt(4)判别效度（Discriminant Validity）聚合效度也称为收敛效度，是指运用不同测量方法测定同一特质所得结果的相似程度，即对同一特质的两种或多种测定方法间应有较高的相关性。40ppt(5)聚合效度（Convergent Validity）6.6.效度的评价效度的评价 Spitzer认为如果满足以下5个条件就可以认为问卷由效：.（1）问卷有内容效度和结构效度；（2）在问卷制定阶段应当请有关人员提出意见，供修正和提高内容效度；（3）问卷经过反复使用证明了其可靠性；（4）如果有金标准存在，应以金标准为准；（5）无金标准时可由判别效度代替。41ppt6.效度的评价 Spitzer认为如果满足以下5个条件就（1）理论正确，解释清楚。问卷内容要适合问卷测验的目的，题目要清楚明了，易于理解，问卷的排列要由易到难，题目的难度和区分度要合适；（2）操作规范以减少误差；（3）控制系统误差。它主要包括仪器不准，题目和指导语有暗示性，答案安排不当(被试可以猜测)等,控制这些因素可以降低系统误差,提高效度；42ppt7.提高问卷效度的方法（1）理论正确，解释清楚。问卷内容要适（4）样本适宜且要预防流失。重视问卷调查的回收率。样本容量一般不应低于30；（5）适当增加问卷的长度。增加问卷的长度既可提高问卷的信度，也可以提高问卷的效度，但增加问卷的长度对信度的影响大于对效度的影响；（6）排除无关因素干扰。认清并排除足以混淆或威胁结论的无关干扰变量。43ppt（4）样本适宜且要预防流失。重视问卷调查的回收率。样本容量一二、效度分析实例二、效度分析实例(example)(example)44ppt二、效度分析实例(example)44ppt例2 对例1中的问卷测验结果进行效度分析 45ppt例2 对例1中的问卷测验结果进行效度分析 45ppt（1）操作过程从菜单选择Analyze Scale Reliability Analysis Item（输入问卷的各条目或各因子包含的条目）单击“Statistics”按钮，弹出信度分析统计量对话框 Descriptives for:Scale if item deleted OK 46ppt1问卷的敏感性（可靠性）分析（1）操作过程46ppt47ppt47ppt48ppt48pptScale if item deleted:去掉当前题目整个问卷的描述统计量，即敏感性分析，包括以下内容：Scale Mean if Item Deleted:去掉当前题目问卷合计分的均数；Scale Variance if Item Deleted:去掉当前题目问卷合计分的方差；Corrected Item-Total Correlation:当前题目得分与去掉当前题目问卷合计分的Pearson相关系数；Squared Multiple Correlation:以当前题目为因变量，其它所有题目为自变量求得的决定系数R2；Alpha if Item Deleted:去掉当前题目后问卷的Cronbach 系数。49pptScale if item deleted:去掉当前题目整个SCL90各条目的敏感性分析各条目的敏感性分析结果果:Item Scale Scale Corrected Mean Variance Item-Alpha if Item if Item Total if Item Deleted Deleted Correlation DeletedA1 31.7250 1272.7173 0.6397 0.9736E2 31.7500 1253.6282 0.8027 0.9732B3 31.8250 1261.0712 0.7408 0.9734A4 31.7500 1259.7821 0.7557 0.9733D5 31.7000 1278.2667 0.3872 0.9740C6 31.8250 1300.0455 0.0596 0.9745I7 31.9000 1279.0667 0.5320 0.9737H8 31.5750 1255.1224 0.7590 0.9733B9 31.2750 1259.2301 0.6572 0.9735.E86 31.1750 1272.8147 0.3764 0.9742I87 31.9250 1277.1481 0.6231 0.9736I88 32.0500 1282.9718 0.6057 0.9737J89 32.2000 1304.1641 0.0000 0.9741I90 32.1750 1302.7122 0.1250 0.974150ppt（2）输出结果50ppt 一般地，在做问卷的敏感性分析时，可以将“Alpha if Item Deleted”值，作为调整题目的一个重要参考依据。如果“Alpha if Item Deleted”值越大，其相对应的题目越应是首先考虑调整的题目。从本次问卷结果敏感性分析可以看出，量表的各个题目的“Alpha if Item Deleted”值均在0.97左右变化，且变化的幅度很小。所以，就“Alpha if Item Deleted”值这项指标看量表各题目均可以保留，无需调整。这个结果可能与研究者所采用的SCL-90辆标是一个经典量表有关。51ppt 一般地，在做问卷的敏感性分析时，可以将“Alph52ppt52ppt53ppt53ppt摘摘 要要 目的目的：探讨调查问卷的可靠性。方法方法：对武警十五支队201名战士，作心理卫生自评90项调查问卷资料，利用SAS软件编程，计算Alpha可靠性系数，进行可靠性分析。结果结果：有6项被剔除达到要求后，=0.973569，当使用标准化数据时，=0.974102。结论结论：利用可靠性分析，可以从调查问卷表的数据中，提取真实的、可靠性的成分。54ppt摘 要 目的：探讨调查问卷的可靠性。方法：对武警十五支 问卷的结构效度的评价较为复杂，可用各个题目与量表各银子的相关分析和因子分析方法来反映。（1）利用相关分析评价问卷的结构效度55ppt2问卷的结构效度的分析 问卷的结构效度的评价较为复 从菜单选择Analyze Scale Reliability AnalysisItem(输入问卷的各条目或各因子包含的条目)Statistics弹出信度分析统计量对话框 Inter-Item Correlations OK56ppt56ppt 因子分析不仅能够评价量表结构的相合性，还可以用共性变异（共性方差）与总变异之比作为结构效度的衡量指标。结构效度的分析最好使用证实性因子分析，它较探索性因子分析更能说明问题。57ppt（2）利用因子分析评价问卷的结构效度 因子分析不仅能够执行Analyze Data Reduction Factor ,弹出“Factor Analysis”对话框:单击Descriptives Statistics Initial Solution Correlation Matrix KMO and Bartletts test of sphericity Continue58ppt执行Analyze Data Reduction F 三、调查问卷的信度 Questionnaire Reliability 59ppt 三、调查问卷的信度 Questionnaire Rel 信度主要是指问卷是否精准(precision)。信度分析涉及了问卷测验结果的一致性和稳定性，其目的是如何控制和减少随机误差。60ppt1.信度分析的意义 信度主要是指问卷是否精准(precThe reliability of measureslThequestionofreliabilityistowhatextentdoesanindicatormeasurethesamethingconsistently:i.e.willpeopleanswerthesamequestioninthesamewayondifferentoccasion?l61pptThe reliability of measures 一是相同的个体在不同时间，以相同的问卷测验，或以复本测验，或在不同的情景下测验，是否能得到相同的结果，即问卷测验结果是否随时间和地点等因素而变化；二是能否减少随机误差对问卷测验结果的影响，从而能够反映问卷所要测量的真实情况，即问卷测验结果是否具有稳定性、可靠性和可预测性。一个好的问卷必须是稳定可靠的，且多次问卷测验结果应前后一致。62ppt调查问卷的信度包含两层含义：一是相同的个体在不同时间，信度是用估计测量误差大小的尺度，来说明问卷测验结果中测量误差所占的比率。信度可定义为真实分数(true score)的方差与测验实得分数(observed score)的方差之比，当实得分数变异可以全部由真实分数的变异解释时，测验误差就是0，这时问卷测验的信度为1。63ppt2.信度的定义 信度是用估计测量误差大小的尺度，来说明若用表示问卷测验的信度，理论应有 或 式中 表示真实分数的方差；表示实得分数的方差；表示误差的方差。64ppt若用表示问卷测验的信度，理论应有64ppt3.3.信度的分类信度的分类 信度研究的是问卷测验结果的可靠性与稳定性，可以从不同的角度来评价：（1）在相同条件下所得问卷测验结果的一致程度；（2）不同研究者用同一种问卷同时测验所得结果的一致程度；（3）同一研究者用同一种问卷在不同时间内测验所得结果的一致程度。65ppt3.信度的分类 信度研究的是问卷测验结果的可靠性与稳定（1 1）重测信度）重测信度(test-retest reliability)假定短时间内一批对象的状况并没有改变，对每个对象用同一个问卷先后测验两次，两次测验得分的相关系数就称为重测信度。重测信度是用皮尔逊积差相关系数r公式计算的。66ppt4.常用的信度系数（1）重测信度(test-retest r67ppt67ppt 间隔时间长，环境影响；如果间隔时间短，记忆影响。68ppt重测信度也存在着局限性：间隔时间长，环境影响；68ppt 复本通常是根据相同的设计说明分别独立编制的两个平行问卷，即题目不同但是内容相似的两份问卷。复本信度也叫等值性系数（coefficient of equivalence）。两个复本间隔一定时间或同时施于同一答卷者所得分数的相关系数就是复本信度。69ppt(2)复本信度（alternate form reliabi 缺点：如复本编制不容易，易出现顺序效应，受练习的影响；复本信度只能反应问卷内容所造成的误差，无法反应答卷者本身所造成的误差等。70ppt 缺点：70ppt(3)(3)分半信度分半信度(SPLIT-HALF SPLIT-HALF RELIABILITYRELIABILITY)当测验没有复本且测验不可避免地受到时间的影响，只适合用于一次测验时，可用分半信度。分半的方法很多，一般是将奇数题和偶数题各作为一半，而非前后分半，目的是避免顺序效应。分半信度也叫折半信度，其计算方法是将问卷的题目分成对等的两半，分别求出两半题目的总分，再计算两部分总分的相关系数。71ppt(3)分半信度(split-half reliability 使用分半信度时要注意两个问题：一是问卷题目所测的应是同一种特质；二是两半题目应是等值的。对问卷题目进行分半会造成了对整个问卷信度的低估，为此需要对分半信度进行校正，其校正公式为斯皮尔曼-布朗(Spearman Brown)公式：72ppt 使用分半信度时要注意两个问题：72ppt为分半信度 表示两半题目各自得分和之相关系数，n为原问卷相对于变化后问卷长度的倍数，计算分半信度时n=2。73ppt为分半信度 表示两半题目各自得分和之相关系数，n为原Spearman Brown公式要求两个分半表的信度和方差均满足齐性；Guttman:Guttman分半信度，可不满 足上述要求74pptSpearman Brown公式要求两个分半表的信度和方库德-理查森信度适用于计算“对或错”的是非题的同质性信度，其是计算所有可能的分半信度的平均数。最有代表性的计算公式是库德-理查森公式:式中n为问卷包含的题目数.为问卷测验总得分的方差，pi表示答对该题的人数占总答卷人数的比例，pi可视为该题的难度，qi=1-pi。75ppt(4)库得理查森信度(Kuder Richardso(5)(5)克隆巴赫信度系数克隆巴赫信度系数 (CRONBACH(CRONBACH S S)Cronbachs 系数是Cronbach于1951年创立的，用于评价问卷的内部一致性。系数取值在0到1之间，系数越高，信度越高，问卷的内部一致性越好。Cronbachs 系数不仅适用于两级记分的问卷，还适用于多级计分的问卷。76ppt(5)克隆巴赫信度系数(cronbachs)Cronbach,L.J.(1951).Coefficientalphaandtheinternalstructureoftests.Psychometrika.16,297-334.Itisameasureofsquaredcorrelationbetweenobservedscoresandtruescores.Putanotherway,reliabilityismeasuredintermsoftheratiooftruescorevariancetoobservedscorevariance.77pptCronbachs 信度Cronbach,L.J.式中n为问卷包含的题目数，为答卷者在第i题得分的方差，为答卷者问卷测验总得分的方差。78ppt其计算公式为：式中n为问卷包含的题目数，为答卷者在第i题得系数有以下性质：（1）系数是所有可能的分半信度的平均值；（2）系数是估计信度的最低限度；（3）当问卷计分为二分名义变量时，即答案为0或1，系数与KR20值相同，即库德-理查森信度公式是克隆巴赫的系数的一个特例。79ppt系数有以下性质：79ppt 低信度：0.35,中信度：0.350.70,高信度：0.70 一般地，问卷的系数在0.8以上该问卷才具有使用价值。Cronbachs 值皆达0.85以上，表明问卷信度良好。80ppt 低信度：0.35,中信度：0.350.*考察评分者信度的方法为，随机抽取相当份数的问卷，由两位评分者按记分规则分别给分；然后根据每份问卷的分数计算相关系数，就得到评分者信度。评分者信度也可以是一位评分者两次评分的相关系数。如果是多个评分者或一位评分者两次以上的评分，可采用肯德尔和谐系数和Kappa系数。肯德尔和谐系数用于等级资料，Kappa系数用于定性资料。81ppt(6)评分者信度（inter-scorer reliabil信度系数类型：重测信度复本信度分半信度（Spearman Brown；Guttman）库德-理查森系数克隆巴赫系数评分者信度*82ppt信度系数类型：82ppt 问卷的信度越高，受到人、时、地、物的干扰就越低，其所能反应事实或让人相信的程度越高，因此在问卷实施前如何有效提高信度是问卷测验成败的关键。通常提高问卷信度的方法为：83ppt5.提高信度的方法 问卷的信度越高，受到人、时 问卷题目较多，其在一定程度上排除了偶然因素的影响，从而提高了问卷的信度。但是问卷长度的增加与问卷的信度的增加并不总是成正比的，当信度系数较小时，延长问卷长度，问卷的信度系数增加较大；而当信度系数较大时，延长问卷长度对信度系数的影响就较小。84ppt（1）适当延长问卷的长度 问卷题目较多，其在一 当问卷题目难度太大时，问卷得分普遍过低；当问卷题目难度太小时，问卷得分普遍较高。问卷题目太难或太易都会使问卷得分差异减小，使实得分数方差减小，从而降低了问卷的信度。85ppt（2）问卷的难度适中 当问卷题目难度太大时，问卷得分 内容同质的问卷，要求答卷者具有相同的能力、知识和技能。因而为了提高问卷的信度，问卷的内容应尽量保持同质。86ppt（3）问卷的内容尽量同质 内容同质的问卷，要求答卷者 一份问卷应保证绝大多数答卷者在规定的时间内能完成测验。当答卷者不能从容地回答所有题目时，问卷的得分就不能反映答卷者的真实情况。87ppt（4）测验的时间要充分 一份问卷应保证绝大多数答卷者 问卷题目要统一，指导语、回答问题的方式、分收试卷的方法和问卷测验的时间等都要统一，这些是问卷有较高信度的基本保证。88ppt（5）测验的程序要统一 问卷题目要统一，指导语、回答问四、信度分析实例四、信度分析实例 （example）89ppt四、信度分析实例 （example）89ppt例1 某人在新入学的大学生中随机抽取40人，组织症状自评量表（SCL-90）测验，以了解新生心理健康的水平，及有针对性地进行心理教育和疏导，避免意外事件的发生。试就量表测验结果，对此次测验的可靠性进行分析 90ppt例1 某人在新入学的大学生中随机抽取40人，组织症状自评量 SCL-90量表，包含90个题目，由受试者根据自己在最近一周以内的实际感受，在：没有、很轻、中等、偏重、严重各选项中选择一个答案，每个选项分别计为0，1，2，3，4分。SCL-90分为9个因子，分别为躯体化、强迫症状、人际关系敏感、忧郁、焦虑、敌对性、恐怖、偏执和精神病性。分析对象为答卷者所选的五项答案得分，计算各因子得分和问卷总分。求各因子的各种信度系数和问卷总的信度系数。91ppt SCL-90量表，包含90个题目，由受试者根据自己在最表11-2各因子描述统计量92ppt表11-2 各因子描述统计量92ppt93ppt93ppt在“Model:”选项中，SPSS提供5种信度分析模型:Alpha:Cronbach 系数Split-half:分半信度，又称 Spearman-Brown系数,其应用的前提 条件是两个分半表的信度和方差均满 足齐性。Guttman:Guttman分半信度，可不满 足上述要求Parallel:平行模型Strict Parallel:严格平行模型94ppt在“Model:”选项中，SPSS提供5种信度分析模型:94 从菜单选择Analyze Scale Reliability AnalysisItem:a1/b2/c3/a4/j89/i90(共90个变量)Model:Alpha List item labels OK 95ppt量表的cronbach 系数 从菜单选择Analyze Reliability CoefficientsN of Cases=40.0 N of Items=90Alpha=0.9740量表有90个题目，量表总的Cronbach 系数为0.9740，信度较高。96pptReliability Coefficients96ppt操作过程从菜单选择Analyze Scale Reliability AnalysisItem:输入各因子的条目数a1/a4/a12/a27/a40/a42/a48/a49/a52/a53/a56/a58(躯体化因子，共12个变量)Model:Alpha OK 97ppt各因子的Cronbach 系数操作过程97ppt量表的9个因子的Cronbach 系数分别为：躯体化0.8740；强迫0.8600；人际关系敏感0.7483；忧郁0.9445；焦虑0.8517；敌对性0.6009；恐怖0.9218；偏执0.7210；精神病性0.6461。忧郁、恐怖、躯体化、强迫、焦虑因子的信度较高；人际关系敏感和偏执因子的信度尚可；但是敌对性和精神病性的信度偏低。从结果中我们还可以看出各项因子的Cronbach 系数小于问卷总的Cronbach 系数。98ppt量表的9个因子的Cronbach 系数分别为：躯体化0.8操作过程：从菜单选择Analyze Scale Reliability AnalysisModel：Split-halfok99ppt分半信度操作过程：99ppt总量表分半信度计算结果:Reliability Coefficients 90 itemsCorrelation between forms=0.9147 Equal-length Spearman-Brown=0.9554Guttman Split-half=0.9133 Unequal-length Spearman-Brown=0.9554Alpha for part 1=0.9613 Alpha for part 2=0.935845 items in part 1 45 items in part 2100ppt总量表的分半信度总量表分半信度计算结果:100ppt总量表的分半信度在0.90以上。各因子分半信度中忧郁因子与恐怖因子的分半信度在0.90以上；焦虑因子、强迫因子和躯体化因子的分半信度在0.80以上；人际关系敏感因子的分半信度0.70以上；其余几个因子得分半信度在0.70以下。101ppt总量表的分半信度在0.90以上。101ppt五、效度和信度的关系五、效度和信度的关系102ppt五、效度和信度的关系102ppt103ppt103pptThevalidityofaquestionnairereliesfirstandforemostonreliability.Ifthequestionnairecannotbeshowntobereliable,thereisnodiscussionofvalidity.104pptThe validity of a questionnairl 1.信度和效度的共同点都是以相关系数来表示其大小的。都是整个运用问卷调查技术进行科研工作的可靠性保证。105ppt 1.信度和效度的共同点都是以相关系数来表示其大小的。2.不同点主要是：（1）研究的对象不同 信度：答卷者 效度：组卷人 （2）研究的角度不同 信度：测量的质量 效度：问卷的质量 106ppt 2.不同点主要是：106ppt（3）涉及的误差不同 信度仅考虑随机误差占测验总变异的比例；效度则还包括与测验无关但稳定的测量误差。两者存在着必然的联系，问卷的信度是效度的必要而非充分条件，信度越高，效度不一定越高，即如果问卷是完全可信的，那么问卷可能达到完全有效，也可能达不到，这种现象产生的原因是测量误差的存在。107ppt（3）涉及的误差不同107ppt （4）数值大小不同 可以证明，问卷的效度为问卷信度所制约，且效度不会大于信度，测量理论研究发现，效度的最大值小于或等于信度的平方根。效度高的测验，信度必定高，但信度高的测验，效度未必高。108ppt （4）数值大小不同 108ppt 从理论的角度来看，一份好的问卷应具有足够的效度和信度。但是，从实践的观点来看，一份好的问卷还应该具有实用性，即问卷的经济性、便利性和可解释性。109ppt 109ppt 适当增加问卷的长度。增加问卷的长度既可提高问卷的信度，也可以提高问卷的效度，但增加问卷的长度对信度的影响大于对效度的影响。但是按经验以使答卷者在30分钟之内完成较佳。110ppt 适当增加问卷的长度。增加问卷的长度既可提高问卷的信度提高问卷信度的方法：提高问卷信度的方法：（1）适当延长问卷的长度（2 2）问卷的难度适中）问卷的难度适中（3 3）问卷的内容尽量同质）问卷的内容尽量同质（4 4）测验的时间要充分）测验的时间要充分（5 5）测验的程序要统一）测验的程序要统一111ppt提高问卷信度的方法：（1）适当延长问卷的长度111ppt（1）理论正确，解释清楚（2）操作规范以减少误差（3）控制系统误差（4）样本适宜且要预防流失（5）适当增加问卷的长度（6）排除无关因素干扰。112ppt提高问卷效度的方法（1）理论正确，解释清楚112ppt按要求把握好各个环节！按要求把握好各个环节！113ppt按要求把握好各个环节！113ppt