【摘 要】对开放教育试点项目毕业生进行追踪调查，采用量表形式从不同方面了解用人单位和毕业生的评价意见，其调查结果不仅是我们科学认识试点项目改革成果的重要依据，也是对开放教育进行深入研究的第一手材料。因此，对调查数据的整理与分析就成为整个调查工作的核心。河北电大运用多种统计方法及相应的计算机应用软件完成了对调查数据的信度分析、效度分析、加权平均数分析、频数分析、差异性方差分析、配对t检验、相关性分析等多项统计分析。

【关键词】 追踪调查；数据整理；统计分析



　　 为客观认识“中央广播电视大学人才培养模式改革和开放教育试点”项目实施六年来取得的成果，中央电大决定从2004年7月开始，采用抽样调查方式在全国范围内对开放教育试点项目的毕业生进行追踪调查。调查由中央电大统一部署，各省级电大负责组织实施具体调查工作，并对调查结果进行分析。目前，实地调查工作已基本结束，问卷的整理与分析以及报告的撰写工作正在进行当中。本次调查利用《毕业生质量评价》、《电大人才培养方式评价》和《学习效果评价》三个问卷（问卷由中央电大和北京师范大学心理研究所联合设计，并已通过教育部专家鉴定）从不同方面了解用人单位和毕业生的评价意见，调查结果不仅是我们科学认识试点项目改革成果的重要依据，也是对开放教育进行深入研究的第一手材料。本次调查问卷采用量表形式，即用人单位和毕业生对电大开放教育质量诸多方面的评价都是通过问卷中各项目的选项序号来反映的，因此，数据就是我们科学评价开放教育质量的重要依据，数据的整理与统计分析工作也就成为这次追踪调查工作的核心部分。为此，河北电大专门成立了由数学教师、统计学教师、计算机教师、学籍管理人员、远研人员等组成的数据统计分析工作组。分析过程中，既注重多种统计方法（如：信度分析、效度分析、加权平均数分析、频数分析、差异性方差分析、配对t检验、相关性分析等）的综合应用，又注意分析软件（中央电大评估软件， EXCEL，SPSS，VF，AMOS等）的正确使用。小组成员分工协作，充分发挥团队优势，在较短时间内完成了多项统计分析，为全面客观评价调查结果提供了强有力的依据。实际上，这次调查获得的数据是十分丰富的，充分利用这些数据并采用相应的统计方法可以做出非常多的统计分析。

一、回收问卷的审查与数据的整理

　　 数据的真实性直接影响着整个调查工作的质量，将回收问卷进行仔细的审查和数据的有效整理是统计分析能够科学、准确地反映开放教育教育质量的前提。因此，问卷回收后，我们首先做了以下几项工作：

　　 1. 果断剔除无效问卷。我们从几个不同方面判断回收问卷的无效性，比如：某项重要信息未填，或某一问卷的所有项目选择同一序号，或按照某一规律进行选项，我们都将其视为无效问卷，并将其剔除。

　　 2. 涂卡时再次审查。将问卷涂卡时，要求每一位涂卡人员认真对待，一方面是为了尽量减少涂卡工作误差；另一方面也是为了检查问卷的填写结果是否存在矛盾项。如：学号、专业、地区、性别、毕业年限等是否与要求相符，一旦发现问题及时予以纠正或剔除。

　　 3. 使用读卡机将问卷的各种信息读入计算机，自动生成EXCEL或VF数据库。对机读卡过程中产生的误差，也要及时修正。

　　 4. 在EXCEL或VF数据库中通过设置一些命令进一步剔除无效数据。

　　 经问卷的审查和数据筛选整理后，最终确定有效问卷463份，我们对这些问卷进行了统计分析。

二、问卷结构设计的信度分析、效度分析

　　 这次追踪调查的目的是让用人单位和毕业生对电大开放教育质量做出客观的评价。能否实现这一目标，在很大程度上取决于问卷的设计是否科学、合理。只有问卷的信度和效度在研究范围内可以接受时，其统计分析结果才是可靠、准确的。因此，在进行统计分析之前，先对问卷的结构设计进行信度分析和效度分析是十分必要的。

　　 1. 信度分析

　　 信度分析是测量综合评价体系是否具有一定稳定性和可靠性的有效分析方法。这次调查的评价体系，即问卷，采用了量表形式，编制的合理性决定着评价结果的可用性和可信性。问卷的信度分析包括内在信度分析和外在信度分析。内在信度重在考察一组评价项目是否测量同一个概念，这些项目之间是否具有较高的内在一致性。一致性程度高，相应地评价项目有意义，其评价结果可信。外在信度是指在不同时间对同批被调查者实施重复调查时，评价结果是否具有一致性。如果两次评价结果相关性较强，说明项目的概念和内容是清晰的，因而评价的结果是可信的。信度分析的方法有多种，有Alpha法和分半信度等，都是通过不同的方法计算信度系数，再对信度系数进行分析。信度系数在0~1之间。一般情况下，信度系数在0.9以上，则认为评价体系很好；信度系数在0.8~0.9之间，则认为评价体系可接受；信度系数在0.7~0.8之间，则认为需进行较大修订，但仍不失其价值；信度系数在0.7以下，则须弃之。

　　 我们利用SPSS统计软件提供的信度分析功能，采用Alpha信度系数测量问卷的内在信度，分别计算了《毕业生质量评价》和《学习效果评价》问卷的总体Alpha信度系数和各问卷各维度的Alpha信度系数。计算结果显示，两个问卷的总体Alpha信度系数都在0.9以上，说明问卷整体设计的可信度较高。两个问卷各维度的Alpha信度系数值均在0.8以上或接近0.8，说明各项目基本上能够较好地反映所在维度。由此我们认为，这两个问卷都有较好的可信度，依此调查得到的数据是可信的，对问卷进行的数据分析也是比较可靠的。

　　 2. 效度分析

　　 效度分析是衡量综合评价体系是否能够准确反映评价目的和要求的一种分析方法。进行效度分析是对问卷的准确性，即有效性进行研究，也就是检验问卷是否能够既简洁又准确地描述抽样数据的属性和特征以及它们之间的复杂关系。我们应用验证性因素分析方法对问卷的结构进行拟合检验，并根据结果对各问卷的有效性程度做出了具体评价。

　　 首先，对各项目能否准确反映其所在维度的情况进行验证性分析。通过计算各项目与其所在维度的相关系数，即因素载荷，来反映该项目与相应维度的相关程度。因素载荷的取值范围为[-1，1]，其绝对值愈接近于1，表明维度与项目之间的相关性愈高，说明该项目愈能较好地反映其所在的维度。然后，通过计算和分析问卷中各维度两两之间的相关系数对各维度的相关性进行验证性分析。相关系数的绝对值越高，即越接近于1，表明各维度之间的相关程度越高，说明调查问卷的总体结构越合理有效。最后，通过计算拟合指数对整个问卷的结构设计进行验证性分析。在验证性因素分析方法中可用于评价理论模型拟合效果的拟合指数有多种，我们主要选择了其中的四种：CMIN，即卡方值，是检验模型拟合效果的一个绝对拟合指数，也是计算其他拟合指数的基础指标。该指数的最小值为0，但没有上限。对于一个较好的模型，卡方值应该较小。但卡方值与样本容量有直接的关系，样本容量足够大时，几乎所有建议的模型都会被拒绝。卡方值除以自由度的比值（CMIN/DF）也只是消除了自由度的影响，而没有消除样本容量的影响，它的大小也不能准确反映模型的拟合效果，因此，CMIN以及CMIN/DF只是作为参考指数。RMSEA，即近似方差均方根，也是一种绝对拟合指数。通常认为RMSEA值低于0.1表示模型拟合效果可以接受，低于0.05表示模型拟合较好，低于0.01表示模型拟合非常出色（Steiger，1990）。尽管该指数仍受样本容量的影响，但它对错误模型比较敏感，被视为较理想的绝对拟合指数。CFI和TLI是两种相对拟合指数，即消除了样本容量影响的指数。其中CFI（Bentler，1990）称为比较拟合指数，取值范围是[0，1]。TLI（Bentler & Bonett，1980；Tucker & Lewis，1973）也称非范拟合指数，取值范围可能超出[0，1]。一般认为CFI值和TLI值大于0.9表示模型可以接受，大于0.95表示模型拟合较好。

　　 我们利用AMOS分析软件，采用极大似然估计方法分别对《毕业生质量评价》和《学习效果评价》问卷进行了效度分析。结果显示，《毕业生质量评价》问卷的因素载荷大都在0.7以上，四个维度之间的相关系数都在0.65以上，除CMIN以外的各项拟合指数都有较理想的取值，其中相对拟合指数CFI和TLI的值都在0.9以上，绝对拟合指数RMSEA的值为0.071，表明问卷对样本数据的拟合效果基本符合要求，问卷可以接受。《学习效果评价》问卷的因素载荷大都在0.65以上，三个维度之间的相关系数都在0.8以上，用于检验问卷整体拟合效果的各项拟合指数除CMIN外都有较为理想的取值，其中CFI为0.916，大于0.9，TLI为0.899，接近0.9，绝对拟合指数RMSEA的值为0.079，表明问卷拟合效果可以接受。效度分析的结果表明《毕业生质量评价》和《学习效果评价》两个问卷对河北电大的抽样数据拟合效果基本符合要求，说明这两个问卷的结构设计是合理有效的，此次调查数据能够较好地反映其调查目的和要求，基于两个问卷的统计分析也是准确的、可靠的。

　　 根据以上分析，我们认为《毕业生质量评价》和《学习效果评价》均有较好的信度和效度，在两个问卷基础上进行各项统计分析是可行的，其评价结果是可信的、有效的。由于《电大人才培养方式》问卷中个别项目重复使用，其结构设计具有一定的特殊性，我们没有用上述方法对它进行信度和效度检验。

三、各问卷的统计分析

　　 1. 抽样基本情况的统计分析

　　 将数据导入中央电大提供的评估软件直接得到下面两项统计结果：

　　 （1）各问卷回收情况统计表。

　　 （2）抽样毕业生基本信息统计表。

　　 2. 各问卷各项目的加权统计分析

　　 使用中央电大评估软件直接得到以下三项结果：

　　 （1）《毕业生质量评价》各项目的得分及各维度的加权得分。

　　 （2）《电大人才培养方式》各项目的得分及各维度的加权得分。

　　 （3）《学习效果评价》各项目的得分及各维度的加权得分。

　　 结果显示，用人单位对电大毕业生质量的评价为84.89分，毕业生自评得分为83.41，用人单位和毕业生两方对毕业生质量的综合评价为84.36分，毕业生对电大人才培养方式的综合评价为80.69分。

　　 3. 各问卷各项目得分的频数统计分析

　　 利用SPSS统计软件我们得到以下统计分析结果：

　　 （1）《毕业生质量评价》各项目得分的频数分布表。

　　 （2）《电大学习效果评价》各项目得分的频数分布表。

　　 （3）《人才培养方式评价》各项目得分的频数分布表。

　　 我们利用频数分布表找出各项目得分的集中趋势，以确定被调查者对某些项目评价的倾向性意见。《毕业生质量评价》中，在思想品德维度上，55%以上的用人单位对其中的4个项目选择了5分，说明用人单位对毕业生思想品德的评价很高；几乎在知识、能力、业绩的所有项目上，都有50%以上的用人单位选择了4分，说明用人单位对毕业生知识、能力、业绩的评价是比较好的。特别是用人单位对毕业生的综合素质评价中，好的占62.2%，较好的占36.0%，表明用人单位对毕业生的满意率达到了98.2%。《学习效果评价》中，各个项目都在4分上超过45%的频率，表明毕业生对开放教育的教学效果是比较满意的。《电大人才培养方式评价》中，各项目在4分的选项上都有比较高的频率，说明毕业生对电大人才培养方式的总体评价是较好的。但是，其中6个项目在3分及3分以下的选项上有超过三分之一的频率，包括课程结构比例、课程资源、实验室、心理咨询等内容，说明毕业生对这些方面的评价较低，须引起我们的重视。

　　 4. 各问卷各维度得分的差异性分析

　　 以上统计分析是对调查数据的一个简单描述，在其基础上做进一步的差异性分析将更有利于全面认识数据的基本特征及内在规律。对问卷中不同专业、不同性别、不同地区的评价结果进行差异性分析有助于我们科学认识调查结果，客观对待分析结论。进行差异性分析需要依据概率统计的思想和方法，利用统计软件进行更深入的统计计算，并对结果进行统计意义上的分析，最后做出科学、合理的判断。

　　 对问卷中不同专业、不同地区之间各维度的得分进行差异性分析，就是对这些维度得分的均值进行差异显著性假设检验，即单因素方差分析。差异显著性分析的各总体均服从正态分布或近似服从正态分布，所以一般要求是大样本，即样本数大于30。做多总体均值的差异性方差分析就是在“零假设”——“假设这些总体均值都是相等的”成立的前提下，应用概率统计知识检验零假设成立与否。这里方差分析应用的统计量服从F分布，根据一次抽样得到的数据，利用SPPS统计软件的单因素方差分析的功能，计算出F值和概率p值，将p值与事先确定的显著性水平值进行比较。一般?琢=0.05或?琢=0.01。如果计算出的p值大于?琢=0.05，说明各总体均值无显著性差异；如果计算出的p值小于?琢=0.05，说明各总体均值有显著性差异；如果计算出的p值小于?琢=0.01，说明各总体均值有特别显著性差异。依据显著性水平?琢根据一次抽样得到的数据做出的判断，其把握性是1-?琢 ，犯错误的概率是?琢。当?琢=0.05时，做出判断的把握性是95%，犯错误的概率是5%。

　　 当检验总体均值有显著性差异后，还须进一步进行差异来源分析。差异来源分析就是对这些总体均值进行两两假设检验，即对两总体均值的差是否为0进行双边假设检验（t检验）。应用SPSS软件，对方差具有齐性的各总体采用LSD方法进行差异来源分析；对方差不具有齐性的总体采用Tamhane`s T2方法进行差异来源分析。根据计算结果判断两总体均值是否有显著性差异。在有显著性差异的情况下，还可以通过比较总体均值的大小来判断哪个总体得到的评价较高，总体均值大，相应地得到的评价就高，总体均值小，相应地得到的评价就低，最终依据判断结果对各总体进行排队。

　　 两个总体均值差异性方差分析实际上就是两个总体均值差异的t检验。不同性别的毕业生对同一问题评价的差异性分析采用两个总体均值差异性的t检验。

　　 利用SPSS统计软件，河北电大分别对三个问卷各个维度得分情况进行了多组单因素方差分析，并对有显著性差异的因素进行差异来源分析，得到的主要结果有：

　　 （1）《毕业生质量评价》不同专业间各维度得分比较及方差分析。

　　 （2）《电大人才培养方式评价》不同专业间各维度得分比较及方差分析。

　　 （3）《电大人才培养方式评价》不同专业间各维度得分的差异来源分析。

　　 （4）《学习效果评价》不同专业间各维度得分比较及方差分析。

　　 （5）《学习效果评价》不同专业间各维度得分的差异来源分析。

　　 统计结果显示，《毕业生质量评价》中，用人单位对法学、会计学、金融三个不同专业的毕业生在思想品德、知识、能力、业绩四个方面上的评价均没有显著差异；《电大人才培养方式评价》中，法学、会计学、金融三个不同专业的毕业生在教学效果方面的评价没有显著差异，而分别在课程设置、课程资源、教学组织形式、教学支持服务四个方面的评价有特别显著的差异。经进一步的差异来源分析，发现金融专业毕业生在这四个方面上的评价都显著高于法学和会计学专业的毕业生，法学专业毕业生在教学组织形式、教学支持服务两个方面的评价均显著高于会计学专业毕业生；《学习效果评价》中，法学、会计学、金融三个专业的毕业生在知识、能力、业绩各方面的评价均没有显著差异。

　　 （6）《毕业生质量评价》不同性别各维度得分比较及差异的显著性检验。

　　 （7）《电大人才培养方式评价》不同性别间各维度得分比较及差异的显著性检验。

　　 （8）《学习效果评价》不同性别间各维度得分比较及差异的显著性检验。

　　 统计结果显示，《毕业生质量评价》中，用人单位对不同性别的毕业生在思想品德、知识、能力、业绩四个方面的评价没有显著差异；《电大人才培养方式评价》中，不同性别的毕业生对课程设置、课程资源、教学组织形式、教学效果四个方面的评价均没有显著差异；而对教学支持服务的评价，不同性别毕业生之间存在显著差异，且男性高于女性；《学习效果评价》中，不同性别的毕业生在知识和能力方面的评价没有显著差异，但在业绩方面的评价，不同性别的毕业生有显著差异，且男性高于女性。

　　 （9）《毕业生质量评价》不同地区间各维度得分比较及方差分析。

　　 （10）《毕业生质量评价》不同地区间各维度得分的差异来源分析。

　　 （11）《电大人才培养方式评价》不同地区间各维度得分比较及方差分析。

　　 （12）《电大人才培养方式评价》不同地区间各维度得分的差异来源分析。

　　 （13）《学习效果评价》不同地区间各维度得分比较及方差分析。

　　 （14）《学习效果评价》不同地区间各维度得分的差异来源分析。

　　 由于单因素方差分析要求各总体服从或近似服从正态分布，我们根据各地区抽样人数在问卷各维度上的分布情况，选择样本数大于30或接近30的地区进行了地区间差异性分析。统计结果显示，《毕业生质量评价》中，不同地区的用人单位对毕业生思想品德、知识、能力、业绩四个方面的评价有特别显著的差异，其差异主要来源于某个地区显著地高于其他地区；《电大人才培养方式评价》中，不同地区的毕业生对课程设置、课程资源、组织形式、支持服务、教学效果5个方面的评价都有特别显著的差异，其差异来源于某个地区与其他各地区的显著差异以及其他地区之间的一般差异；《学习效果评价》中，不同地区的毕业生在知识、能力、业绩三个方面的评价都有特别显著的差异，其差异来源于某个地区与其他各地区的显著差异以及其他地区之间的一般差异。

　　 （15）《毕业生质量评价》和《学习效果评价》各对应维度得分的差异性分析。

　　 我们将用人单位和毕业生对同一问题的评价进行配对t检验，统计结果显示：用人单位对电大毕业生知识方面的评价特别显著地低于毕业生对自己的评价；用人单位对电大毕业生业绩方面的评价特别显著地高于毕业生对自己的评价；用人单位对电大毕业生能力方面的评价与毕业生对自己的评价无显著性差异。

　　 5. 问卷的相关分析

　　 相关分析是研究客观事物或现象之间相互关系的一种统计分析方法。通过相关分析，确定事物内部是否存在一定的相关关系以及相关程度的大小，可以为某些判断或进一步的分析提供依据或佐证。我们主要做了如下分析：

　　 （1）通过计算Kendall`s tau_b等级相关系数，分别对三个问卷各维度之间的线性相关程度进行分析。结果显示，《毕业生质量评价》和《学习效果评价》的各维度之间均存在显著的正相关关系，表明这两个问卷的总体结构设计比较合理，这进一步验证了问卷效度分析的结果。同时也可以推断两个问卷的调查数据是比较客观的。《电大人才培养方式评价》问卷的各维度之间有显著的正相关关系，且教学组织形式与教学支持服务之间相关系数的取值较高，表明问卷可能存在高级相关关系。

　　 （2）通过计算Pearson简单相关系数对《毕业生质量评价》和《学习效果评价》的对应维度的线性相关程度进行分析。结果显示，两个问卷的对应维度之间均存在显著的正相关关系，表明用人单位与毕业生对相同项目的评价结果趋于一致，也可以认为两个问卷的调查数据是客观的、可信的。

　　 以上分析结果都是基于本次调查进行的定量分析，再结合相应的定性分析，即可得到社会用人单位和毕业生对电大开放教育质量的比较客观的综合评价。

参考文献]

[1] 侯杰泰等. 结构方程模型及其应用[M]. 北京：教育科学出版社，2004.

[2] 孟庆茂. LISEL、AMOS、MPLUS、HLM、Mlwin操作手册，北京师范大学心理学院心理学应用研究室.

[3] 杨晓明. SPSS在教育统计中的应用[M]. 北京：高等教育出版社，2004.

[4] 张文彤. SPSS统计分析高级教程[M]. 北京：高等教育出版社，2004.

[5] 张厚粲等. 现代心理与教育统计学[M]. 北京：北京师范大学出版社，2003.

[6] 邵志芳. 心理与教育统计学[M]. 上海：上海科学普及出版社，2004.

[7] 孟庆茂等. 新世纪心理与教育测量展望[M]. 上海：上海教育出版社，2003.



作者简介：张淑莲，胡晶，乔海英，河北广播电视大学（050071）。

《中国远程教育（综合）》2005年第4期