1、How to Design Experiments,顧進裕 高醫大腎臟內科, 啟川大樓14ES 07-3121101 EXT. 735312 guhjykmu.edu.tw,How to Design Experiments,Introduction Research Reliability and validity Design of experiments Discussion,Scientific methodA body of techniques for investigating phenomena and acquiring new knowledge, as well as f
2、or correcting and integrating previous knowledge. It is based on gathering observable, empirical, measurable evidence, subject to the principles of reasoning,科學方法的特徵 目的性: 有明確且事先聲明的目的 實徵性：依據實際經驗或實際觀察 客觀性：非主觀或偏見 可驗證性：在相同時空環境與條件 下，重複進行可得相同結論 具信度和效度 嚴謹性：嚴謹地確保尋求答案的過 程和問題是密切相關與合理的,Scientific Method Define
3、 the question Gather information and resources Form hypothesis Perform experiment and collect data Analyze data Interpret data and draw conclusions that serve as a starting point for new hypotheses Publish results,科學方法,How to Design Experiments,Introduction Research Reliability and validity Design o
4、f experiments Discussion,要根據 一定的程序 及邏輯,科學研究的特性,從事研究時， 儘可能在研究者 控制的狀態下進行， 如實驗設計 要能控制外生變數， 操弄自變數， 使依變數差異 達到最大,由實際 蒐集資料， 加以分析、 驗証自已的 研究假設 或命題。,批判性,研究結果 公開發表 接受同行 的批評。,實證性,控制性,系統性,Procedures of Research Ask a question: answerable Operationalize main concepts: measurable Hypothesis: testable Measurement:
5、validity and reliability Experimental verus non-experimental studies Design of experiments: control Analysis of experiments: no extrapolation,觀察 vs. 實驗,觀察性研究 (observational study) 對每一個體僅做觀察並量測有興趣的變數，並不試圖影響反應值。 抽樣調查(sample survey)。 實驗性研究(experimental study) 對每一個體給予特定的處理(treatment)，再觀察並量測有興趣的變數的反應值。採用
6、隨機比較性實驗(randomized comparative experiments)。,實驗法的定義,控制混淆變項(confounding variable)下，操弄自變項(independent variable)，探討依變項(dependent variable)隨自變項變化而產生變化的歷程。,實驗法的特色,目的：探討自變項和依變項的因果關係 控制程度高：控制混淆變項 研究對象：控制組和實驗組（無/有實驗處理）隨機分派, 一項研究中可能包含三大類變項 (1) 獨立變項(Independent Variables)研究者操弄的變項，藉改變此變項來觀察其他變項的變化，故稱輸入、刺激或處理變項
7、。 (2) 依變項(Dependent Variables) 因應獨立變項的變化而改變的變項，在研究過程中，研究者並不操弄依變項，而只是觀察它的變化。故稱輸出、反應或結果變項。,6. 明確界定並妥適控制變項,(3) 控制變項(Control Variables)研究者必須加以控制以免干擾研究處理的變項。如食物、性別、大小、年齡等，又稱為背景、分類和個體變項。,Protocol for the Experiment Purpose Treatments Methods Experimental units Observational units Measurements Design Justi
8、fication for the design Randomization Plan Proposed statistical analysis, 是否充分考慮到可能的研究誤差並試圖盡可能加以控制，以提升研究的內在效度和外在效度(Internal and External Validity)？,7. 盡可能提昇研究的內外在效度,How to Design Experiments,Introduction Research Reliability and validity 避免Bias(偏差) Design of experiments Discussion,偏差(Bias)之分類 (1),Bi
9、as: systematic error (vs. random error) 選擇性偏差(selection bias): ICU內使用Swan-Ganz catheter組死亡較多 20%), 必須探討其原因, 推論統計亦應注意.,偏差(Bias)之分類 (2),回憶性偏差(recall bias): Case-control study: retrospective recall bias. 研究組成員較對照組成員容易記起疾病相關因素: 血癌兒童之父母較常記起住家附近有變電所或高壓電塔. 儀器或測量偏差(instrument or measurement bias): 儀器之保養與校正.
10、 標本之保存與運送: 微生物培養; 血液氣體分析,etc. 測量標準作業流程 (standard operation procedure; SOP) 出版偏差(publication bias): 研究者與雜誌傾向發表治療有效、副作用較少之正面(positive)結論.,信度 (reliability)與 效度 (validity),可信但無效,有效但不可信,不可信且無效,可信且有效,指研究設計是否儘可能控制了應該控制的變項，是否儘可能控制了其他介入變項(Intervening Variables)的干擾。研究的結論是否可以完全歸因於操弄某些獨立變項的結果。 當內在效度無慮時，因果關係的推論和
11、研究結果的解釋方較可靠。, 研究的內在效度,指研究結果的代表性(Representativeness)和可推論性(Generalizability)，若研究結果的可推論性愈大或代表性愈高，則外在效度便愈大。 任何研究皆有其弱點，因此，重點不在研究設計有無缺點，而是在：有沒有試圖儘可能提昇研究的內在和外在效度？, 研究的外在效度,(1) 樣本至族群的推論研究結果可以推論至何種族群。 (2) 研究的情境至其他情境的推論在某一研究情境下完成的研究結果，可以推論至何種情境和條件。 內在效度愈佳，則研究結果的準確性愈高；外在效度愈佳，則研究結果的可推論性愈大。,研究結果的可推論性,Threats to
12、External Validity 1. Interaction of different Treatment: Failure to assess additional treatment received during study. 2. Interaction of testing And treatment: Evidence that testing might be related to the treatment so that subjects complete tests differently after treatment. 3. Restricted generaliz
13、ability: Evidence of a limited measurement approach that may not generalize. 4. Sample bias: Evidence of a poorly chosen sample that does not represent the population considered. 4. Interaction of selection and treatment: Evidence that group assignment is influenced by variables related to the likel
14、ihood of response to treatment 5. Interaction of setting and treatment: Evidence that treatment works only in some settings. 6. Interaction of history and treatment: Evidence that the time during which the study was done may have an impact on findings.,為提昇研究的內在和外在效度，研究者必須特別注意下列四項過程的嚴謹性: (1) 取樣方法(2)
15、變項的控制與操弄(3) 評鑑數據、資料的標準之建立(4) 研究過程和方法的選擇, 提昇研究的內在和外在效度,增加信度與效度的策略,使用標準作業程序 訓練觀察員 校準儀器 測量自動化 儘可能使用客觀的測量 不知情的觀察員與對象（double blind: 減少個人的偏見）,How to Design Experiments,Introduction Research Reliability and validity Design of experiments Discussion,Planning is everything. The plan is nothing. -Dwight Eisen
16、hower (1890-1969),If the only tool you have is a hammer, you tend to see every problem as a,-Abraham Maslow, American psychologist, founder of humanistic psychology,工欲善其事 必先利其器,nail,Eastern blot Western blot Southern blot Northern blot,實驗設計,對被觀察個體或物件施以處理後，量測應變數的反應。 常用名詞： 被觀察個體稱為實驗單位(experimental uni
17、t)，人則稱為被實驗者(subject) 施行於實驗單位之特定的實驗條件稱為處理(treatment) 實驗設計中的解釋變數稱為因子(factor) 每一特定的實驗條件稱為水準(level),實驗設計實例,藥的吸收情況： 對25位被實驗者(subjects)注射一種藥劑(treatments)，30分鐘後檢查血液中的藥含量(response)。 一個因子：藥劑 一個水準：劑量 對25位被實驗者(subjects)分別注射三種不同的藥劑，30分鐘後檢查血液中的藥含量。 一個因子：藥劑 三個水準：三種劑量,Advantages of Designed Experiments over Observ
18、ational Studies,Experimentation allows us to study the effects of the specific treatments we are interested in. We can try to control all confounding variables and so see only the effect of the treatments on the response. Experiments can give good evidence for causation. Experimentation allows us to
19、 study the combined effects (interaction) of several factors simultaneously.,研究設計的目的,實驗研究設計的五個特徵,受試者被隨機選取並隨機分派到不同群組(實驗組與控制組)。 一個或一個以上的受試群組接受實驗的處理。 實驗完後，實驗結果可以進行測量。 有檢驗可能影響效度的步驟。 不同群組表現的差異可以用統計方法來比較。,比較性實驗 Comparative Experiments,實驗進行程序為：處理 實驗單位 反應 安慰劑 冷凍法對胃潰瘍減輕疼痛的效應： 胃潰瘍病人分成兩組，一組施以冷凍法，另一組施以安慰劑(place
20、bo)代替冷凍劑。 冷凍組82個病人有34%症狀減輕，安慰劑組78個病人有38%症狀減輕。,速食早餐對重量控制的效應(例),30隻雄白老鼠隨機分成二組：實驗組以新速食菜單餵食早餐，控制組則用標準菜單。 28天後測量增加的體重。 實驗進行程序為：實驗組 新菜單 隨機 體重改變 控制組 標準菜單30隻老鼠編號，隨機亂數表取得一組個數為15的SRS為實驗組，其餘為控制組。,15隻老鼠,15隻老鼠,完全隨機設計,所有的實驗單位，隨機指定到所有的處理水準的實驗設計，稱為完全隨機設計(Completely Randomized Design)。 (例3.13)節約能源方案研究：安裝用電量顯示錶，是否有警示
21、節約用電的效果？ 分組一 處理一 隨機 分組二 處理二 用電量 分組三 處理三,20戶,20戶,20戶,裝顯示錶,張貼圖表,一般宣導,隨機的比較性實驗之推論邏輯,隨機的比較性實驗可提供確實的證據，顯示不同處理是造成不同效應的原因。 實驗進行之前的隨機分組，各組成員背景應該在各方面都類似。 實驗進行之中，各組的實驗環境除了處理外應該都相同。 各組的平均反應差異，必然來自於不同的處理或是各組的隨機差異。 相同處理的兩組也可能有不同平均反應差異。,實驗設計原則與統計顯著性,實驗設計基本原則： 控制(Control)隱藏變數對反應的效應 隨機化(Randomization)安排實驗單位接受指定的處理
22、重複(Replication)實驗於許多實驗單位，以降低結果之機會變異(chance variation) 統計顯著性(Statistical Significance): 若觀察的效果太大，在機率分配上極不可能發生，稱為該效應統計顯著 Analysis of variance (ANOVA, 變異數分析),1對照(控制)性: 陽(陰)性對照、實驗對照、標準對照、自身對照、相互對照、空白對照等。 2隨機性: 可以消除或減少系統誤差，平衡各種條件，避免實驗結果中的偏差(bias)。 3平行重複: 控制某種因素的變化幅度，在同樣條件下重複實驗，觀察其對實驗結果影響的程度。任何實驗都必須能夠重複，這
23、是具有科學性的標誌。 4單因數變數: 控制其他因素不變，只改變其中某一變數，觀察其對實驗結果的影響。除了整個實驗過程中欲處理的實驗因素外，其他實驗條件要求做到前後一致。,實驗設計的四個原則,配對設計與區集設計,配對設計(matched pairs design)： 兩種處理分別(隨機的)施行在一對特性相同或類似的實驗單位上。 例如：雙胞胎 區集設計(block design)： 特性相同或類似的的實驗單位組成區集(block)，在各區集內隨機安排實驗單位接受指定的處理，稱為區集設計。,區集設計實例(例) Comparing Cancer Treatments,分組一 處理一 男性 隨機 分組二
24、 處理二 反應 分組三 處理三分組一 處理一 女性 隨機 分組二 處理二 反應 分組三 處理三,實驗單位,古典實驗設計,隨機選取受試者 設計實驗環境 前測 接受處理 後測,隨機選取受試者 設計實驗環境 前測 後測,實驗組,控制組,雷迪的實驗設計,假實驗設計(1) (Faulty Research Design),假實驗設計 (faulty research design)類型 單組後測設計(one-group posttest-only design) 實驗組 X T2 (或O) 主要限制是沒有對照組，因為無法確定後測的表現是否有改變，需要前測對照(Campbell and Stanley,
25、1963)。,假實驗設計(2) (Faulty Research Design),單組前測後測設計(one-group pretest-posttest design) 實驗組 O X O 雖然可以了解前後測的改變，但因為沒有控制其他無關變項（實驗歷史和成熟等因素），無法說出明確因果關係。,假實驗設計(3) (Faulty Research Design),靜態組比較設計 (the static-group comparison design) or 非平衡後測設計nonequivalent posttest-only design 實驗組 X O 控制組 O 有對照組可以比較 限制是因為非隨
26、機分派，無法去除無關變項的影響。,真實驗設計類型,隨機組設計 隨機化樣本，控制組後測的實驗設計（randomize subjects ，posttest-only control group design）組別 自變項 後測 （R）E X O （R）C O,真實驗設計類型,簡單隨機樣本（組）的設計(Simple randomized groups designs)：是一種隨機組受試者間後測設計(dose response)treatment response Control O Experimental R X1 O Experimental R X2 O Experimental . Exp
27、erimental R XK O,真實驗設計類型,隨機化控制組前測後測實驗設計（randomize subjects , pretest-posttest control group design）組別 前測 自變項 後測 （R）E O X O （R）C O O 比較實驗組和控制組前後測改變情形有否統計學上的意義,多因子實驗設計 ( Factorial Design),在研究過程中，研究者同時操縱兩個以上的自變項，以發現每個自變項對依變項的影響，以及各個變項之間交互作用的影響者，稱為多因子實驗設計。A x B設計, 例如 2 x 2 or 2 x 3設計,多因子實驗設計 ( Factorial
28、 Design),所羅門四組設計（Solomon four-group design）,R: randomize, X: treatment, O: observation or measurement,How to Design Experiments,Introduction Research Reliability and validity Design of experiments Discussion,1.問題清楚陳述 2.研究假設（或問題）清楚的陳述 3.研究的問題很重要 4.基本假設有清楚說明 5.研究的限制有清楚說明 6.有定義重要詞彙 7.問題與先前的研究之間的關係很清楚 8
29、.研究設計有詳盡的描述 9.研究設計很恰當 10.研究設計無特別的弱點 11.母群體與樣本有加以說明 12.取樣的方式很適當 13.資料蒐集的過程有所描述,14.資料蒐集的過程或方法很適當 15.資料蒐集的過程或方法很正確的使用 16.有足夠的證明顯示信度與效度 17.選擇適當的方法分析資料 18.分析資料的方法有正確地使用 19.資料分析的結果有清楚的說明 20.結論有清楚陳述 21.結論有證據的驗證 22.結果的概括性及於母群體 23.整個報告書寫清晰 24.整個報告有邏輯性的組織 25.報告的語調具備公正無偏差的科學態度,A Good Scientist has:,The curiosi
30、ty of a child The logical mind of a detective The factual orientation of a journalist The engaging writing skills of an author The creativity of an artist Integrity, objectivity, and professionalismThe above in combination with the use of the scientific process, you are more likely to produce important, relevant, and useful (true) knowledge that improves our understanding of the business world around us and the practice of management.,
