1、如何对市场调研问卷的数据进行预处理纪浩然学习导航通过学习本课程，你将能够： 完成市场调研问卷的信度检验； 剔除市场调研问卷中的废卷； 做好市场调研问卷的数据管理和转换。 如何对市场调研问卷的数据进行预处理市场调研问卷数据的预处理是整个市场调研工作的重要环节，如果预处理做得不好，就会使有问题的问卷进入后面的数据分析环节，对最终结果产生严重影响。一、信度检验1.信度分析简介信度，即信任度，是指问卷数据的可信任程度。信度是保 证问卷质量的重要手段，严谨的问卷分析通常会采用信度分析筛选部分数据。值 是信度分析中的一个重要指标，它代指 01 的某个数 值，如果 值小于 0.7，该批次问卷就应当剔除或是进
2、行处理；如果大于 0.9，则说明信度很高，可以用于数据分析；如果位于0.70.9， 则要根据具体情况 进行判定。如表 1 所示。 表 1 信度的判定表 值 意 义0.9 信度非常好0.8 信度可以接受0.7 需要重大修订但是可以接受0.7 放弃2.信度分析示例操作过程下面介绍的是一个信度分析的案例，其操作过程为：首先打开信度分析文件，可以看到该文件的结构很简单，一共包含 10 个题目， 问卷的份数是 102 份。然后 进入 SPSS 的“ 分析”模块，找到“度量”下面的“可靠性分析”，将这十个题目都 选进去。在接下来的统计量中，首先看平均值、方差和 协方差等，为了消除这些变量的扰动，可以选择要
3、或者不要这些相关的量，另外 ANOVA（单音数方差分析）是分析两个变量之间有无关系的重要指标，一般选择要，但在这里可以不要，其他一些生僻的量 值一般不要。描述性在多数情况下需要保留，因为模型的 输出结果会有一些描述，因此应当选中项、度量和描述性，然后 “确定”，这时 SPSS 输出的结 果就会比较清楚。结果解读案例处理汇总后，SPSS 输出的结果如图 1 所示。 图 1 信度分析结果 由图 1 可知，案例中调查问卷的有效数据是 102，已排除数是 0，说明数据都是有效的，在这里如果某个问卷有缺失值，就会被模型自动删除，然后显示出已排除的问卷数。在信度分析中，可以看到 Alpha 值是 0.88
4、1，根据前文的判定标准，这一数值接近 0.9，可以通过。在图右下方部分有均值、方差、相关性等多个项目，这主要看最后的 “项已删除的 Alpha 值” ，该项目表示的是删除相应项目后整个问卷数据信度的变动情况，可以看出题目 1、题目 2 和题目 6 对应的数值高于 0.881，表明删除 这三个题目后整个问卷的 Alpha 值会上升，为了确保整个调查的严谨性，应 当将这三个题目删 除。 二、剔除废卷删除废卷大致有三种方法：根据缺失值剔除、根据重复选项剔除、根据逻辑关系剔除。1.根据缺失值剔除缺失值的成因在市场调查中，即使有非常严格的质量控制，在 问卷回收后仍然会出现缺项、漏 项，这种情况在涉及敏感
5、性问题的调查中尤其突出，缺失值的占比甚至会达到 10%以上。之所以会出现这种现象，主要有以下原因：一是受访者对于疾病、收入等隐私问题选择跳过不答，二是受 访者由于粗心大意而漏掉某些题目等。缺失值的处理在处理缺失值时，有些人会选择在 SPSS 或 Excel 中将其所在的行直接 删除。事实上，不能简单地删除缺失值所在的行，否则会影响整个问卷的质量。这是因为在该行中除了缺失的数据以外，其他数据仍旧是有效的，包含许多有用信息，将其全部删除就等于损失了这部分信息。在实际操作中，缺失值的处理主要有以下方式，如 图 2 所示。 图 2 缺失值的处理方式 缺失值的处理忽略。在处理缺失值时，可以在 “选项”中
6、直接忽略，这样可以保留其他数据进行之后的运算、建模和 输出。缺失值的处理填充。填充，指的是在缺失值的位置用各种技术手段和模型将值回填进去，比如用中间某段数据的平均 值填充等。一般来 说 ，主要有两种填充方式：第一，在“转换” 模块中，替 换缺失值；第二，在“ 分析” 模块中，采用 EM 模型或者回归模型进行填充， 这两种模型都可以有效地完成填充，相对来说 EM 模型更高效一些。缺失值处理示例填充值的回归。首先打开该文件，如 图 3 所示，发现 其中有三列数据，分别是体重组、年龄和胆固醇。可以看到，胆固醇的某些数据中有一些点，这就是 SPSS 设定的缺失值。对此第一种处理缺失值的方式是做一个回归
7、，操作过程为：进入 SPSS 的“回归” ，然后选择“线性回归”界面。这时需要分析的目标就是应变量，其他对应变量有影响的因素就是自变量，如示例中的胆固醇是应变量，而体重和年龄则是自变量，表示随着体重的上升和年龄的增长，总体来说胆固醇水平也会上升。因此要将胆固醇选为应变量，将体重和年龄选为自变量，其他因素选择默认，然后点击“确定”，系统就会输出相应的结果，如图 3 上方的表格所示。 图 3 缺失值的填充示例在输出结果中可以看到有一个“sig.”值，也就是前文讲过的检验 P 值，即检验概率值，如前所述，这 一概率值应当与 0.05（5%）进行对比，如果小于 0.05，说明这一模式的解释是可接受的，
8、反之则说明模型解释的结果不能接受。图中的检验 P 值有三个，分别对应常量、体重组和年龄，其中对常量的检验 P 值一般可以不予 计较，主要关注后两个项目对应的检验 P 值。在此可以用下面的回归方程进行分析：P 值常量（0.135）0.895体重0.094 年龄这一函数公式表示的是体重和年龄对胆固醇的影响大小，可以看出体重对胆固醇的影响系数接近 1，而年龄对胆固醇的影响系数则接近 0.1。因此，可以得出 结论：对胆固醇产生影响的最重要因素是体重，要想控制胆固醇水平，首先应当控制体重。有无缺失值的比较。这时再回到“回归”选项，选择“按照列表来排除个案” ，该选项的意思是系统在处理胆固醇的缺失值时跳过
9、去不做处理，接着再进行一遍之前的操作：“ 分析”“回归”“线性回归” 将胆固醇 选为应变 量，将体重和年龄选为自变量确定，可以看出输出的结果中（图 4 下方的表格）常量是 0.062，而体重组因为跳过缺失值，所以对胆固醇的影响系数变大为 1.137，相 应地年龄的影响系数 则减小为 0.081。这 就说明，直接跳 过缺失值会对分析结果产生较大影响。缺失值的“转换 ”处理。由上述分析可知，当数据有缺失值时应当进行相应的处理，SPSS 在“转换”模块中有一个专门 的“ 替换缺失值”模块，点 击进入后可以看到 SPSS 提供了五种填充值，包括序列均值、临近值的均 值、 临近值的中位数、 线 性插值和
10、线性趋势。根据专家的经验和建议，在进 行销售预测时一般 应选择“线性趋势”，这是因为当数据在上升或下降的过程中有缺失值时，“ 线性趋势” 会模拟销售数据上涨或下降的波动态势，能够最大限度地接近实际情况。点击线性趋势后，系统就会自动生成一个变量，将 这个变量填入缺失值的位置就可以完成数据的填充。EM 模型填充。“分析”模块是 SPSS 的精华和核心部分，大部分基本分析模型都在 这一模块，其中“缺失值分析”被当作一个独立模 块放在其中，这说明对缺失值的分析处理是一项非常重要的工作。点击进入这一模块 后，首先将胆固醇选到变 量中，然后在 “估计”中选 EM 模块， 选择“保存完成的数据”，点击“ 继
11、续 ”，然后点击“ 确定”， 这时 SPSS 就会生成一列新数据，这就是采用 EM 模块填充缺失值后的数据。回归模型填充。在运用回归模型填充缺失值时，有两种方式可供选择：一种是比较简单的回归法，即生成的填充值不再 变动；另一种是为生成的填充值加上一个残差，这个残差是一个任意值，随机性很强。然后在保存数据里面 选择“回归” ，点击“ 确定”，这时 SPSS 就会完成一个回归填充。EM 和回归模型的填充效果对比。图 4 是 EM 模型和回归模型的散点图对比，左侧是回归模型的填充效果，右侧是 EM 模型的填充效果。其中横轴表示胆固醇原值，而 纵轴则是两种填充方式的数值；蓝色的圆圈代表正常值，红色的圆
12、圈表示缺失值。可以看出，右侧 EM 的填充值与原值的差距较小，也就是 EM 模型的缺失值填充效果比回归模型的填充效果更好一些。 图 4 EM 和回归模型的填充效果对比 EM 和回归模型的回归效果对比。在图 5、图 6 和图 7 中分别显示了原值、 EM 填充以及回归填充的回归效果，可以看出 EM 填充的数值更接近于原值填充。 图 5 原值 图 6 EM 填充 图 7 回归填充 通过以上分析可以看出：第一，严谨的数据分析一定要有一个准确、完整的框架， 对于缺失值一定要进行科学处理，否 则可能会出现严重后果，许多大公司都非常注意这一点；第二，在 问卷数据量大，缺失数据较多 时，用 EM 模型填充的
13、效果比线性回归更好， EM 模型比回归模型处理起来更加精巧，可以直接使用 EM 模型填充。 要点提示缺失值处理的认识要点： 缺失值所在的数据行不能直接删除； 直接忽略缺失 值会影响最 终的分析结果； 缺失值一定要 进行科学的填充 处理； 缺失值较 多时优先选 用 EM 模型填充。 2.根据重复选项剔除一般来说，对于一定题量的问卷，很少有两份 问卷答得完全一样，因此有必要 标志重复值，将重复的选项剔除。在将几百份或者更多问卷数据录入后，只靠肉眼很难判断里面是否有重复值，这时 可以运用 SPSS 进行处理。例如，根据重复值删除个案示例，首先打开文件，在进入 SPSS 的“ 数据”模块后，双击“ 标
14、识重复个案”，并将所有的选项一并选中将其放到里面。这时不需要进行任何操作，在稍后创建的变量中如果某个数据是唯一的就会显示“1” ，如果有重复就是“0” ，然后勾选将重复的个案移动到文件的最上端，点击“确定”，输出结果。这时可以看到，整个文件有 27 行数据，其中重复的个案是 5 个，重复的比例是 18.5%。然后选择数据升序排列，将显 示“0”的全部放到前面，将这 5 行选中，点击鼠标右键选择“ 剪切”将重复项删除即可。3.根据逻辑关系剔除根据逻辑关系可以剔除一些个案，例如年龄小于或等于 23，而学历则选择为硕士或者博士，这些个案肯定是有问题的。再比如，受访者在前面选择没有使用某商品，后面却填
15、写商品的使用体验， 这显然不符合逻辑 。在具体的操作中，工作人 员可以根据自身的业务将其中不合逻辑的选项删除。根据逻辑关系剔除个案示例：首先打开文件，可以看到学历分为 6 档，分别是 1 初中、 2 高中、3 大学（包括专科）、4 大学专科以上、 5 硕士以上、6 博士级以上，然后通过“排列个案” 将年龄和学历的数据全部升序排列，点击“确定”，这时就可以通过年龄和学历的对比寻找其中的问题，比如其中某个个案的年 龄是 20，学 历却是 5 硕 士以上或 6 博士级以上，就 说明该个案有问题而应当剔除。如果问卷数据的数量太大，比如有 600 个数据， 这时用肉眼就很难辨别其中的问题个案，这时就可以
16、用 SPSS 进行有条件的数据甄选。首先可以通过点击“如果条件满足” 选择个案，点击进入后可以用 SPSS 的 计算器输入含义为“ 非（年龄 20 与学历 5 硕士以上）”的公式，然后点击“继续”并将选出的数据 输入新的数据集，也就是正常 值，然后点击“确定” 就能将正常值输出。这时为了确保删除的个案无误，可以回到另一个数据集中，检查删除的是否是有问题个案。通过以上操作可以看出，SPSS 计算器的功能非常强大，可以进行各种分析运算，在数据分析中的使用率很高，而且其中的公式与 Excel 的公式基本相同。因此，市 场调研数据分析人员应当注意 SPSS 计算器各 项功能的学习和使用。 三、数据管理
17、和转换数据管理与转换主要包括分割与合并文件、重新编码、排序与分组、分 类汇总、异常值检测等。如图 8 所示。 图 8 数据管理与转换 1.分割与合并文件在问卷回收后，有时由于份数很多，需要不同人 员进行录入， 这时就会形成多个文件，需要最后合并为一个大的文件， 为此 SPSS 提供了合并文件功能。具体操作：进入 SPSS 的“数据” 模块，在原有文件的基础上选择添加个案，将新文件添加进来， 统一变量的值，然后选择“确定” ，就可以将文件合并成功。2.重新编码重新编码是一项非常重要的功能，其中涉及一个“连续 性变量的离散化”理论。例如：在统计啤酒的饮用量时，不同受访者的饮用量不等，但是数据统计并
18、不关心单个受访者的具体饮用量，而是会设 定不同的量级，比如 1000 毫升以下为 1、10002000 为2、20003000 为 3 等依此 类推，然后将不同受 访者 归入相应的量级，也就是要将 连续性的变量转化为跳跃值，以便进行数据分析。具体操作：选择 “数据”模块中的“旧值与新值” ，然后做好饮用量分级，更改后点击“确定”完成整个操作。3.排序与分组排序与分组是数据分析过程中常用的功能，包括对各类数据的升序、降序排列，以及 对各类数据依据不同标准和需要进行分组等。4.分类汇总分类汇总是指，按照各种分类标准进行数据统计，以便进行相应的分析。5.异常值检测异常值检测是指，对数据中的某些异常值进行检测，应用到的是“ 标识异常个案”功能，比如将性别中的男性设定为 1，女性设定为 2，这时进 行标识异常个案操作，如果其中某行数据的性别误输入为 3，系统就会 显示有异常值并标识出来。
