1、第八章：旅游调查资料的评价1 旅游调查的评价一、引导案例：如何评价关于故宫游客的调查?2004年，北京某旅游研究机构，承接了HL旅游研究机构委托的一项调研工作，其目的是希望了解旅游“黄金周”期间，北京主要旅游景点(区)的游客拥挤状况。于是，北京某旅游研究机构在4月17日及5月1日两次对参观完故宫的游客做了随机的现场问卷调查。就这样一次调查活动，我们应当如何来评价呢?请看表7.1-1。首先，提问详尽、提问方式规范、备选项目周密性。但是，有以下问题需要注意：1. 提问量与调查方式的矛盾本次调查大小提问共计46个，以这样的一个提问量，是否适宜采用现场追踪填报的方式?由于提问过多，形成两页问卷，现场游
2、客在完全尽义务的状态下，可以不负责任地填写。比如，有确实证据发现一成以上的游客在答完首页问题后匆忙离去，调查员们不得不去找寻另外的游客接着填后面内容。这样就造成同一份问卷是由两位，甚至是三位游客分别完成的。从严格的意义上讲这份问卷是无效问卷。改进办法：一方面可以删除部分提问，使问卷长度缩短，而使游客乐于接受；另一方面可以改用非现场的调查方式。2. 某些提问内容与调查目的的关联性不紧密本次问卷调查的提问之多，还有另外一个原因，就是某些提问内容与调查目的的关联性不紧密。这在调查问卷的设计当中是一个突出而普遍存在的问题。根据我们多年的研究、观察与总结，“搭车”心理-是产生这一问题的根源所在，使一次性
3、的调查活动承载了过多的任务。改进办法：首先不能把所有的问题和希望了解的情况都寄希望于一次的现场问卷调查，这显然是不现实和不适宜的；其次就是将与调查目的的关联性不紧密的提问删除。二、旅游调查评价的途径旅游调查评价通常分为两类，一类评价是定性评价；另一类是定量评价。1. 定性评价定性评价是指对旅游调查全过程的评价，包括对旅游调查的策划、设计、组织、实施、总结与反馈等各环节分类的具体评价。如上述评价，即属于这一类评价。2. 定量评价定量评价是指对人们最为关注的旅游调查资料进行评价。主要包括反映调查信息真实准确程度的信度指标、反映调查信息有效程度的效度指标。2 旅游调查信息的评价众所周知，在问卷调查中
4、，市场调研人员最关心的问题是调查资料的可靠性与正确性。而调查资料可靠性与正确性的关键：一方面在于对调查误差的控制，称为事前控制；另一方面在于对实际调查所产生的误差的检测与调整，称为事后控制。在问卷调查中，不管怎样进行事前的调查误差控制，问卷调查的测度结果与市场真实数据总会存在些偏差与误差。因此，必须对问卷调查测度的可靠性与有效性进行研究。在这里，测度的可靠性是指测度多次，测度的结果是一致的；有效性则是指准确地测度了所要测度的对象。一、旅游调查信息的可信度1. 信度的概念信度是指对测度一致性程度的估计。对事物的任何一种测度总会存在或多或少的误差，误差越小，则信度越高、测度的可靠性越大；反之，误差
5、越大，则信度越低、测度的可靠性越小。测度的信度具有两层含义：其一，根据相同的测度手段，重复测度市场调研实务某事物的某项持久性的特征，是否获得相同的结果来判断该测度手段的稳定性、可靠性或可预测性。所谓“某事物的某项持久性的特征”，是指被测度的事物在其被测度的前后并不发生变化；但是，对于前后发生变化的事物的测度，测度的信度是指该测度及时反映出该事物这种变化的程度。其二，根据测度手段能否减少测度误差对测度结果的影响，进而使该测度能提供反映某事物的某项特征及个别差异程度的真实数据，以此来判断该测度结果的准确性。在此，我们所介绍的信度，也就是要探究调查的可靠性，就是指被调查者表达其意见的准确性，换一种说
6、法就是在一次调研中被调查者对相同或相近的问题采用的相同或相近的答案。实际上，利用度量表，通过访问、调查取得调查对象特征的真实值是有困难的。2. 信度的估计方法在进行测量时，误差是难免的，这就使得真实值和测量值之间不可能完全一致。我们可以这样来表示真实值和测量值之间的关系(详见公式7.2-1)： （公式7.2-1)表示真实值，表示偏差即系统误差，表示测量误差即随机误差。由于系统误差很难分解，因而有些书中的分解式将系统误差包括在真实值之中，因而可以简单地概括为(详见公式7.2-2)： （公式7.2-2)对于测量误差，一般假定它的期望值是0，与真实值相独立，在此假定下，可以证明(详见公式7.2-3)
7、： （公式7.2-3)实得分数和真分数的总体均值相等。实得分数的方差等于真分数的方差与误差方差之和(详见公式7.2-4)。 （公式7.2-4)对于上述误差，调研人员应运用所掌握的统计知识，分析它属于系统性误差还是属于随机误差。对于系统性误差，应尽量避免，因为它会使调查结果有误；对于随机误差，可以通过提高样本代表性，增大样本量来减少。信度一般规定是：真分数的方差在总体方差中所占的比重，即信度系数(详见公式7.2-5)： （公式7.2-5)信度系数越大，表明测量的可信程度越大。信度的估计方法有许多，比较易于使用的是相关系数的方法。即通过对同一被调查群体采用同一份调查问卷前后进行两次调查，然后再根据
8、被调查者两次填写所得分数计算其相关系数而得。也就是两次问卷的协方差与第一次、第二次问卷标准差乘积之比，详见7.3。3. 信度的类型在实际应用中，信度主要有以下几种类型：(1)再测信度这种方法通常是重复同样的测量来检验信度系数可以用相关系数来表示。假如我们第一次测量时的观测值是，第二次的观测值是，那么再测信度就等于与的相关系数。但重复测量时，我们要注意两次测量的时间间隔要恰当。如果时间间隔太久，可能会发生一些变故，影响到被调查者的态度，那么前后的测量就会有很大的差异。(2)复本信度复本是针对原本而言的，如果一套间卷有两个以上复本，则可以交替使用，根据一组被调查者接受两个复本测量的数值来计算相关系
9、数。(3)折半信度通常是在无复本且不准备重测的情况下，我们就用折半信度来计算信度系数。将被调查者的测量结果，按题目的单、双号分成两部分记录，再根据每个人的这两部分的测量数值计算相关系数。4. 信度的影响与运用对于信度-可靠性检验的运用，首先，在正式开展大规模调查前可以根据检验结果对度量表、问卷做进一步完善，使之更加科学，特别是问卷的长度一定要有所控制；其次，在不影响代表性的情况下把不可信的被访者的调查结果排除在最终分析之外；再次，还要注意两次问卷测量之间的时间间隔要适当。另外，也可以借助这些检验方法检验调研结果的可靠性。二、旅游调查信息的有效性1. 有效性效度效度是指对所要测度的对象测度到什么
10、程度的一种估计。测度的效度具有两方面的含义：第一，本测验是测度什么的?即测度所要研究目标的概念；第二，对所要研究的概念测度到什么程度?准确地测度这一概念。在实际测度过程中，往往只有第一层含义，而没有第二层含义。因为对所要研究的概念进行测度，是能够做到的；但是要准确地测度这一概念，却又较难做到。有效性与可靠性是不同的，有效性是指度量的精确性与事物的实际值相比，对精确性的评价，是我们试图要测量到的事物的真实指标状况。比如，当调查某入境旅游者的旅游花费时，他此次的花费也许低于1000美元，但他有可能说他花了20002500美元，或许是碍于面子，或许是与其他同行者攀比心理等。当然，撒谎并不是产生无效结
11、果的惟一原因，被访者可能有系统性记忆错误，导致概念不清，思维混乱，使其答案的系统性脱离现实。效度就是正确性程度，即测量工具在多大程度上反映了我们想要测量的概念的真实含义，效度越高，即表示测量结果越能显示出所要测量的对象的真正特征。如果一个测度的效度越高，说明该测度的结果越能反映测度对象的真实特性，也就越有效；反之，如果一种测度的效度很低，则说明该测度未能准确反映测度对象的真实特性，有效性也就越差。2. 效度的类型(1)内容效度考察内容效度旨在系统地检查测量内容的适当性，并根据我们对所研究概念的了解去鉴别测量内容是否反映了这一概念的基本内容。检验内容效度就是检验由概念到指标的经验推演是否符合逻辑
12、，是指问卷中的某些答案与问卷中另一些答案的逻辑相关程度是否有效。(2)准则效度准则效度是指被假设或定义为有效的测量标准，是指被访者的答案看起来是否在设计时所考虑的度量范围之内。对每一个问题，根据它的表面因素，都应该规定一个“大致”的范围。调研人员对问卷一般都可以客观地判断它的表面有效性。因此，设计每一个问题时都应该有表面有效性的假定。符合这种标准的测量工具是可以作为测量某一特定现象或概念的效标。当我们对同一现象或概念进行测量时，我们可以使用多种的测量工具，每种测量方式与效标的一致性就成为准则效度。(3)概念效度若测量在理论上相关的两个概念、，在经验层面上对的测量与对的测量亦相关；若有多于一个的
13、对的测量，亦应当与对的测量相关。为此，可以采用一些方法来检验度量的有效性。3. 效度的判定见P135。4. 度量有效性的检验(1)表面有效性表面有效性是指被访者的答案看起来是否在设计时所考虑的度量范围之内。对每一个问题，根据它的表面因素，都应该规定一个“大致”的范围。调研人员对问卷一般都可以客观地判断它的表面有效性。因此，设计每一个问题时都应该有表面有效性的假定。假如，A先生在回答他是否每年都出境旅游时，答：是；但问到他的月收入时，他却回答仅有600元，这显然不对。问卷的表面有效性必须经过调研人员的客观评价，让别的调研人员重新审查会更有助于提高其有效性。(2)预示有效性预示有效性是指问卷中的某
14、些答案与问卷中另一些答案的逻辑相关程度，如上例两个问题“是否每年出境游”和“个人月收入”就是有逻辑相关性的。如果你运用了逻辑关系来判断，那么，你就对一些度量做了预示有效性检验。为了运用预示有效性进行检验，在设计问卷时应专门设计一些问题。(3)收敛有效性当调研人员用两种不同的方法或不同的数据来源比较同一个问题时，他就运用了收敛有效性检验。如调研人员在组织现场调查的同时还要用电话调查来验证其得到的答案的客观性。例如，在对154位参观故宫的中外游客进行现场调查中，55.84的人对“票价物有所值”表示赞同。如果再抽取50份进行电话调查，调查结果为49.96的人对“票价物有所值”表示赞同，则说明两个平均
15、值很接近。如果我们运用假设检验证明55.84与49.96无显著差异，就表明调查具有收敛有效性。(4)区别有效性区别有效性是指不同的结构应产生不同的结果。换句话说，调查不同主题的问题应产生不同的答案。当调研人员确知存在差异时，他们就可以在答案中找到不同点，否则该度量的有效性就应该受到质疑。例如，154位参观故宫的中外游客对“票价物有所值”、“您不喜欢在排队买票时等太长时间”两观点表示赞同的程度，详见表7.2-1。5. 效度的估算测量的效度通常以测量数值与其所要测量的特性之间的相关系数来表示。效度系数一般规定为与测量目的相关的分数方差在总方差中所占的比重(详见公式7.2-6)。 （公式7.2-6)
16、其中，为个体在与某属性有关的共同特性上所造成的变异量，为在某测量上所得数值的总变异量。6. 影响效度的因素调查提纲的科学性与否。调查程序选择得是否得当。调查项目的设计是否合理。调查方法的选择是否得当。其中，调查项目的设计最为重要。7. 信度与效度的关系若信度低，则效度也低。因为如果测量的数据不准确，就不能有效地说明所研究的对象。但是，若信度高，效度则不一定就高。因为如果测量的数据是准确的，信度就高。然而可信的测量数据并不一定就是有用的、有效的，也并不一定就能说明所研究的对象的特性。效度低，信度可能高。但效度高，信度也必然会高。3 对引导案例的分析从上述案例问卷中，我们选取了第9题的第一问，即在
17、购票方面，“票价是否物有所值”。为了计算简单，我们在两次调查中分别随机抽选了10份问卷，目的仅限于对信度的计算方法加以说明，而不在于评价本次调查活动(表7.3-1、表7.3-2)。 （公式7.3-1) （公式7.3-2)通过对信度相关系数的计算，表明相关程度极高，即对此问题的设计与提问是非常可信和适宜的。4 利用EXCEL计算信度相关系数对引导案例中有关信度相关系数的计算可以用EXCEL来进行，具体的步骤如下：第一步，打开EXCEL软件，输入原始数据，如图7.4-1所示。第二步，计算，在A5单元格中输入“”，然后在B5单元格中输入“=(B2-(SUMPRODUCT($B2：$F2，$B3：$F
18、3)SUM($B3：$F3)2)*B3”，其余的C5到F5可利用自动填充的方式快速完成，其结果如图7.4-2所示。第三步，计算，在A6单元格中输入“”，然后在B6单元格中输入“=(B2-(SUMPRODUCT($B2：$F2，$B4：$P4)SUM($B4：$F4)2)*B4”，其余的C6到F6可利用自动填充的方式快速完成，其结果如图7.4-2所示。第四步，计算，在C1单元格中输入“”，然后在G5单元格中输入“=SQRT(SUM(B5：F5)SUM(B3：F3)”， G6单元格可利用自动填充的方式快速完成，其结果如图7.4-2所示。第五步，计算，在A8单元格中输入“”，然后在A9单元格中输入“
19、=COVAR(B3：F3，B4：F4)”，其结果如图7.4-3所示。第六步，计算，在B8单元格中输入“”，然后在B9单元格中输入“=A9/(G5*G6)”，其结果如图7.4-3所示。第七步，分析结果，信度相关系数，说明相关程度很高。因此，对这个问题的设计与提问是可信的和合适的。5 旅游调查成果的评价一、什么是旅游调查成果评价旅游市场调查成果评价，是指由市场调查的组织者、委托者或其他社会组织和个人按照一定的标准，对市场调查的结果所做的评价。从评价的主体来看，市场调查成果评价可以由市场调查成果的用户，即项目的委托者进行，也可以由市场调查组织者自身进行，还可以由其他组织或个人进行。从评价的范围来看，
20、可以是对整个项目的评价，也可以就调查项目的某些方面进行评价。从评价的内容来看，可以对市场调查的成果进行评价，也可以对调查的过程进行评价，还可以对从过程到结果的全系统进行评价。二、怎样评价旅游调查成果从本质上看，市场调查成果评价属于一种检验工作，其目的是对市场调查工作及其成果的优劣进行判断和鉴定。市场调查工作作为一种复杂的社会活动，其工作过程及其结果必然有优劣之分。通过评价，可以对市场调查活动本身做出客观的鉴定，有利于总结好的经验，发现不足和问题，及时采取补救措施，更好地为用户服务，也可以为以后的市场调查工作积累经验。更为重要的是，通过评价，能对调查成果的客观性、正确性、适用性等做出鉴定，为使用
21、者对市场调查成果的使用提供依据。对市场调查成果的评价方法应视评价的主体、范围和内容的不同而有所区别。比如，对市场调查过程中的定量分析和结果进行评价，可以通过统计检验方法进行。对整个市场调查项目进行总体评价，通常可以通过提出一系列的问题来进行。6 旅游调查活动的评价一、 关于旅游调查活动评价对旅游调查活动进行总结和评价，就是要总结成绩和经验，发现不足和问题，吸取教训，这是十分必要的。它既可以及时采取补救措施，避免结论和建议的错误或偏差给使用单位带来的损失，也可以为以后的调研活动积累经验。二、进行旅游调查活动评价对旅游调查活动的评价，可以由使用者即委托方进行，也可以由调研人员自行进行。无论是由谁进
22、行，评价工作都要围绕“怎样可以使旅游调查活动做得更好?”这一主题展开。(1)旅游调查项目的调研设计上是否做得完美?(2)在调研方法的选择上是否做得最恰当?(3)在调研经费和调研成本上是否最节约?(4)在市场信息资料的收集方法上是否最合适?(5)在样本的规划和选择方式上是否最有利?(6)在对有可能出现的调查误差的有效控制上是否做得最好?(7)在参与调研工作的人员选择、培训和监督上是否做得最好?(8)在资料的分析、处理技术上是否能有效地保证结论的准确性?(9)所做出的结论和建议是否对用户最有用?(10)旅游调查活动是否在预定的时间和预算内完成?(11)整个项目的实施过程中还存在哪些问题?(12)结
23、合评价还应评选与奖励在此次调研活动中的工作突出者。这同样是旅游调查活动评价的重要组成部分人员的评价。得出对旅游调查活动的评价结果之后，要及时反馈。这种反馈应该是多元化的，既要反馈成绩，也要反馈问题；既要反馈总体情况，也要反馈局部情况；既要反馈实施过程中的情况，也要反馈结果出来以后的情况；既要反馈使用方的意见，也要反馈调研方的意见。通过对调研成果评价的反馈，能够加深使用方和调研方的了解和友谊，增加和积累市场营销调研的知识和经验，既有利于使用者更好地应用市场营销调研活动的成果，把生产经营活动做得更好，也有利于调研单位把以后的市场营销调研活动开展得更好。思考题1.旅游调查评价分为哪两类?这两类评价的概念各是什么?2.什么是信度?什么是效度?它们之间有什么关系?3.影响效度的因素有哪些?4.你认为评价旅游调查成果的重要性是什么?5.在反馈旅游调查活动的评价结果时应该注意哪些问题?- 7 -
