1、系統教學設計 CH7碩一甲 0950766 蘇世民1CH7 Did It Do Any Good? Evaluation-發掘評鑑的 重要性 。找出 合適評鑑 的 關鍵 。對於你的訓練情境，考慮 各種型態評鑑 的可行性。精通 自學專案 的 評鑑 。為你的訓練建立一份 修正計畫 。-一、為何要評鑑？(一) 進行評鑑原因：1. 其他人想瞭解該設計的訓練效益。2. 設計者瞭解訓練的效益。3. 好的評鑑 和 無效的活動 之間的不同。(二) Ex. 進行四項評鑑：(Evaluating Training Programs：The Four Levels by Donald Kirkpatrick, 19
2、94)1. 讓受訓者用 反應單 對計畫做評鑑。2. 標準化測驗 評鑑受訓者的學習。3. 觀察 、 監督 面談受訓者工作上運用新技能回饋的情形。4. 投資評估回報(ROI) 比較 計畫成本 與整合 目標的達成 。(三) 教育設計觀點 評鑑報告 ？組織需求觀點二、優良評鑑的關鍵：1. 瞭解評鑑的意義2. 評鑑的用途及依據。3. 評鑑 持續 工作任務 。4. 行政主管受訓者對課程喜歡程度。5. 老闆 訓練是否有經濟效益。6. 為下列目的設計評鑑(1) 知道為何進行評鑑？(2) 為誰(老闆、行政主管、員工) 做評鑑？(3) 他們(老闆、行政主管、員工) 想要知道什麼？7. 透過 測驗問題 、 內容 、
3、 目標 、 任務 訓練共同需要。(一) 給你的這份評鑑1. 為了訓練評鑑自己的訓練：讓訓練本身告訴你要評鑑些什麼？2. 把時間耗費在進行評鑑上。3. Ex. tried-and-true 評鑑方法(1) 教室反應量表 意見調查表恩惠量表系統教學設計 CH7碩一甲 0950766 蘇世民2(2) 反應量表評鑑原因 施行以證明其已評鑑過目的。(3) 視課程的需求 評鑑。(4) 正確的發問。(5) 評鑑形式：觀察、意見調查。4. 簡化整個評鑑5 個問題：(1) 為何 評鑑？(2) 評鑑些什麼？(3) 評鑑參與者？(4) 評鑑進行方式？(5) 評鑑日期、時間？ 評鑑需要的部分為什麼而評鑑？ 三、評鑑的
4、型式：四個主要類型-依 頻率 排序：(一) 受訓者對於課程的反應1. 理由：(1) 再進行此課程 課程接受度？(2) 再用此訓練者 受訓者對訓練者的意見？(3) 身為訓練者 怎樣做能更好？(4) 修正課程 應修正些什麼？(5) 受訓者課程 特定層面 (活動、練習等)的想法？(6) (老闆、委託代理商等) 的要求。2. 做法(1) 設計一份評鑑工具 問受訓者：什麼是你確切想知道的？(2) 受訓者反應工具：事多問得多知道的多易於校對、總結資料。(3) last bullet：發展、驗證 回應工具 。(4) 調查報告的答案形式：35 格以上的選項？選項間差異程度大、小？個人填答偏好奇數、偶數？判別問
5、題類型做出最適抉擇？(5) 多重選項形式 評鑑最後 填寫評論、意見 。(6) 隨機訪談受訓者。(7) 課程最後 提出一系列相關問題舉手表決。A. 以 15 等級 評價課程。B. 陳述最喜歡的事。C. 陳述最想要改變的事。D. 從課程中學到的哪件事是最重要的？(8) key issueask questions：A. 受訓者有專業的知識來回答？B. 是訓練設計的重要部分？C. 你所能掌控的？系統教學設計 CH7碩一甲 0950766 蘇世民33. Self-Instructional Reaction Evaluations(1) 一份調查的觀點：受訓者完成課程所總共花費的時間。(2) 開始設計
6、時 平均的時間。(3) 預估準確性、課程難易度。(4) 受訓者訪談 針對課程的意見再設計訓練。(5) 適用於以教室為主的課程中教室調查。(6) 是否有足夠的時間來完成活動和控制工具？ (二) 技能及知識的熟練與維持(相同概念、不同的時間安排)(1) 在發展課程規劃 決定測驗施行的時間、場所。(2) 目標 問題建構形式、測驗編製類型。(3) 評鑑過程 精通程度、準確率教學及工具上有用的資訊。(4) 測驗的總分數 內容傳達、調適程度；是否能做出分析的基本要求。(5) 回溯 問為何將訓練放在首要工作。(6) 測驗、題目 評鑑記憶的 持續 力administer another test。1. 對你技
7、能評鑑的評價(1) 評鑑測驗 自身的簡易方法紀錄 未達到 問題過多 與問題相關的目標及內容。(2) 評鑑領導 再次回溯分析循環完成。(3) 受訓者花在施測時間上的差異程度more time問題太困難、偏離與工作相關的標準。(4) 接近紙筆測驗 績效測驗在接近實務工作環境裡所架構出。(三) Transfer to the job/improvements in job Performance(1) 評鑑 訓練是否 轉換到實際工作 上、達到高水準的成果。(2) 評鑑不頻繁原因：緊接著訓練之後進行時間和資源的限制較少受到監控。(3) 受訓者能將課堂學得的知識和技能，每天 運用 在工作上嗎？(4) 工
8、作是否因轉換 提升(產量增加)？下個評鑑種類的部分。1. Methods(1) 與開始的課程課程活動結合。(2) Ex.訓練後訪談(post-training interview)：受訓者、管理者(supervisor)(3) 透過文字描述 受訓者、管理者、主管、顧客、及其他個體。(4) 詳盡的問題或資料 搜集充裕？重寫行為目標問題可觀察性。(5) 5 項工作轉換（ ”transfer to the job”）的評鑑問題：A. 訓練是否滿足工作需求？系統教學設計 CH7碩一甲 0950766 蘇世民4B. 訓練前，受訓者的表現是否符合工作需求？C. 現在受訓者的表現是否符合工作需求？D. 受訓
9、者還有哪些沒做好？E. 是否有任何訓練不想要的結果出現？ 善用績效檢核表transfer evaluation訓練後於工作場所一段時間觀察、詢問績效是否表現在工作上？(四) 投資報酬率 /完成共同目標1. RETURN ON INESTMENT事物的統計方法。(1) ROI：計算訓練上投入多少？將節省或創造多少？依比例轉換。(2) 考慮方向：增加效能，品質改善；所減低意外、減少時間。(3) 支出、將節省或創造多少？難以確認、衡量。(4) 成本利益分析：將投資報酬率從利益比率變成數字評量 ROI。(5) 由高階主管設定 投報率目標(6) (員工滿意度、長期發展、任命) 訓練 無法衡量無法影響 R
10、OI。(7) 善用從訓練中所得 (收支各方面) 的基本的資料。(8) 員工表揚紀錄。2. 共同目標實現再次回到設計過程起點為何要開始這項訓練？(1) 與數量有關，除了 利益的數量 外。(2) 透過訓練 連結共同需要易於評量。(3) 時間不足 重新改進共同目標的訓練。(4) 開始訓練計畫時，同時著手計畫評鑑的事。四、所有自學專案的評鑑(一) Sufficiency 充分性(1) 已受訓者、管理者、 SMEs在訓練中，所有訊息都是必要的嗎？(2) 評論諮詢方式：拜訪、電話、電子郵件等。(3) 確認問題是否 聚焦在 充分的 議題 上、 對象 是否正確？(二) Usability 合用性(1) 訓練者
11、整套訓練包是否易於使用？(2) 問題 傳遞過程 而定：A. 文字的可閱讀性？B. 碰到問題能獲得所需的支援嗎？D. 網路連結的問題？E. 能適時找到促進者嗎？C. 螢幕的呈現 對瀏覽及操作上的效果好嗎？(3) 蒐集資訊方式：拜訪、電話、問卷系統教學設計 CH7碩一甲 0950766 蘇世民5(三) Currency 流通(傳播)性1. 自學專案的問題易於過時2. 教材包 最新 ？SMEs 、經理、相關負責( 政策、過程或工作任務變更)人3. 定期詢問專案內容變更者(紀錄)將設計者列入名單更動即告知(四) Compliance 承諾性1. 評鑑 學習包 是否依據 計劃 來完成？2. 單一自學包
12、承諾性 非主要議題3. 多個自學包使用者、監督、協助者訓練者？方式？4. 訓練記錄概覽 承諾性 狀況追溯 來源 瞭解原因5. 觀察、發問Check Compliance(五) Effectiveness 效益性1. 受訓者對目標的熟稔度？2. 熟悉目標訓練有效讓 對的人 理解 正確的內容3. 回顧受訓者評鑑效益性資料4. Spot Checking：問一些受訓者是否對目標熟悉？5. 工作上學以致用方法：自學訓練教學引導訓練五、Revision: what to do with what youve learned (1) 大多數組織的事務迅速變遷隨著變動修正訓練。(2) 選擇 傳遞系統 時 考
13、慮修正的可能性一套合宜、重要的計畫。(3) 修正過程中 所蒐集的評鑑資料。(一) 需求性修正 (As-needed Revision)1. 因政策、過程的變更或採用全新系統發現計畫內容不合時宜。改變課程計畫、參與者事務、更換 CD-ROM多數情況下無法掌控。2. 與需求性修正相關之人員保持聯繫。(二) 計畫性修正 (Planned Revision)1. 建立一套系統性的計畫：定期性修正訓練。2. 定期性的評鑑資料計畫性修正。(三) 計畫性修正的時間點(Timing of Planned Revisions)1. 視 計畫內容 與 公司環境 而定。2. 定期性修正教育訓練計畫。類別 技能性 基
14、礎性 成長快速/驟變的 較穩定的系統教學設計 CH7碩一甲 0950766 蘇世民6傾向 主題 公司 公司計畫性修正頻率 高 低 短期循環 週期長3. 保持進度。(四) Information for revisions1. 來源：評鑑過程、政策與程序改變(資訊辦公室的郵寄信件、電子郵件、2. 備忘錄、會議記錄及其他各種形式)。3. 最佳來源：訓練教導者負有對訓練方案提供資訊的責任。 。4. 電話標籤設計者 電話 與 電子郵件 易於獲得變更通知。5. 另一來源：訓練、促進者或定點執行(自學方案)、場地訓練者。A. 對話評鑑的過程之一：確定交流中有修正的資訊。B. 持續與 SME 工作擁有過去現
15、在的第一手知識(含錯誤的資訊)。(五) Who should perform a revision?1. 修正者：團隊中負責設計、發展與教學的人。2. 有其他可獲得的資源由其他人來作主題帶來新鮮的意見。3. 制定出一套機制確認正確的使用修正計劃。(六) Controlling Revisions 掌控修訂1. 確認每人使用課程最新版本對 自學系統 尤其重要。2. 修訂的 追蹤機制 。Ex. 封面、封底修訂編號： Rev. 1、Rev. 2+日期。3. 教材使用的訓練者較多回收舊的、再發新的。4. 教學輔助者跟上版本更新進度。5. 分散式自學系統有一張可隨時更新、寄發的 版本清單 。6. 每一訓
16、練點負責檢查版本者在更新清單上簽名回傳(含過期教材)。(七) 其他修正的想法1. 注意修正和傳遞系統之間的關係。2. 修正的範圍 自學教材 設計者及課程特別需求而定。影響訓練的所有事物確定考慮了所有的可能性。3. 保持所有主要現有教材原封不動。4. 便利的正式修正備份隨時發現、修正。5. 大規模訓練課程：有關修正的所有拷貝資料資料夾即時使用。系統教學設計 CH7碩一甲 0950766 蘇世民7-評鑑的一些提示一、教室1. 評鑑的計畫全基於組織利益：金錢的花費新技術的學習行為改變績效的改變增加生產力增加利益。2. 對仔細考慮過的評鑑監視評鑑到最後一秒鐘在課前先公佈評鑑意見受訓者知道如何去搜尋在課
17、程中經常給予受訓者時間去實行及作紀錄。3. 方案中有多位訓練師確認每個人是否收到受訓者所給的評鑑。4. 勿低估優質評鑑的力量。二、在職訓練1. 受訓者評鑑的等級：(1) 優等的(2) 超出預期(3) 與預期相同(4) 低於預期2. 在職訓練需考量：(1) 具體說明工作要訓練什麼？(2) 是否包含組織學習目標？(3) 所需的生產技術能力為何？(4) 是否需發展社交能力？(5) 對受訓者清楚傳達期望的訓練結果(6) 評鑑方案時，以能力為導向來評鑑(7) 給所有參與者提供回饋(8) 提供清楚的教學角色和職責(9) 提供訓練師訓練，令其知道如何處理教學角色(10) 支持訓練師三、自學課程1. 自學課程
18、回饋評量表2. 自學課程促進者問卷四、電腦/光碟式課程1. 訓練人員意見問卷2. 有關使用多媒體教材評量的問題：(1) 電腦介面 符合目標嗎？(2) 內容 適當或完全符合 目標 嗎？(3) 活動 可幫助增強學習嗎？(4) 多媒體 可幫助增強學習嗎？(5) 學習可幫助移轉到工作上嗎？(6) 有未預料到的來源嗎？(7) 訓練者滿意這樣的課程進行方式嗎？(8) 課程能配合到成本 /利益目標嗎？系統教學設計 CH7碩一甲 0950766 蘇世民8五、以網路為主的訓練1. 評鑑標準：(1) 減少訓練時間(2) 減少訓練花費(3) 減少犯錯次數(4) 降低促進者介入的時間(5) 降低買主的抱怨(6) 增加一慣性(7) 傳遞即時的訓練(8) 進行系統的記載(9) 技術的使用方式2. 經過修改應用在所有傳遞的技術上六、以人造衛星為主的訓練1. 使用多種播送系統的專案時勿太過考量個體回饋、下行網點原因：其非系統性、導致直覺反應混淆專案設計3. 會議前先知會參與者建立共識(密切關係)
