教與學的評量新趨勢 –促進批判思考能力實作評量應用於高教之實例 諮商與工商心理系副教授／鄭夙珍 雖然學界對於批判思考的定義未有一致共識，然而對其重要性卻有高度認同。前哈佛大學校長Derek Bok引注美國全國性的調查研究數據，指出超過90%的大學教師認同批判思考(critical thinking)為大學教育最重要的目標。 蔣偉寧部長接受天下雜誌2012年「能力養成」教育特刊的專訪，提出台灣下一代應具備人文科學素養、專業能力、多元軟實力等三大能力，其中人文科學素養為在任何職場中皆需具備的決策能力。日本文科部所提出的大學改革實行計畫，認為迎戰全球化的人才應具備以思考力為首的四大關鍵能力(另外三力為行動力、創新力及溝通力)(林秀姿，2012)。這些論述雖使用不同名詞，但皆不約而同的將批判思考能力列為大學育才的最重要目標。 批判思考是高教核心目標 倡議批判思考的學者Richard Paul認為「人生的品質有賴於批判思考的品質」。批判思考之所以重要，乃因其在人類各層面發展的角色：以社會面而言，多元價值的民主社會需有批判思考能力的公民，以能參與公共事務的討論、分析與建構，合力維護民主社會的共榮願景；在知識經濟體下，產值的提昇有賴知識的整合、創造與運用，駕馭知識之分析、創造、與問題解決能力即為轉換知識價值的主力。就個人層面而言，我們的所言所行由思考主宰，偏見扭曲的思考導致偏見扭曲的人生，批判思考能力有助於人類過更合理的生活。 然而即使各界認同批判思考是高等教育育才的核心目標，大學始終未能正視批判思考能力的培養，大學生批判思考能力仍不合宜(Tsui, 2002; p.1)；美國如此，台灣高教的狀況亦然。商業週刊(2005)報導學者與企業領袖對於台灣教育培植的人才，在思考能力上不如其他競爭國感到憂心；趨勢科技董事長張明正觀察到亞洲一流學校的優秀畢業生，在提出想法和觀點上不如美國的普通員工；台大教授湯明哲認為：「台灣只有實幹家，沒有思想家，在講求創新的時代，台灣已落入競爭劣勢。」（p.130） 準備不足影響批判思考能力 阻礙大學生批判思考能力發展的主因，一為教師準備不足，二為學生準備不足(Barak & Shakhman, 2008)。大學教師的訓練在專業知識領域，鮮少有機會接觸批判思考教學資訊、更遑論接受教學訓練。文獻中對於批判思考內涵及教學應用的研究淵源已有三十年歷史，然而探討多共識少，而對於批判思考評量之探討僅限於選擇題式之標準化評量，少見對於如何在課程中運用評量以促進批判思考教與學之相關研究。Hansen(2004)以教育系統中最強大的激勵者（the most powerful motivator）來形容評量對教育的影響力；學生為評量而學、「考試領導教學」的現象中外皆然；學生因評量方式而改變學習內容及行為(backwash效應)的相關研究證據明確，而老師也為順應評量的形式內容而改變教學。合宜之評量機制是批判思考教學能否成功之關鍵。 實作評量導入成為高教評量系統 高等教育機構若希望畢業生能具備新世紀知識經濟體系所需具備的能力，高教評量系統務必做出改變，方能培育學生由知識到知識應用，以至於駕馭知識之思考能力。研究者認為將實作評量導入成為高教評量系統之重要一環能對高教改革有實質影響。實作評量的評量方式為評估受試者執行學習任務(learning tasks)的表現；相對於只需被動回應(recall)資訊的傳統選擇題型，實作評量主動建構的特徵適合評量與促進本文所欲探討的批判/高層次思考能力(Cummings, Maddux, & Richmond, 2008)。 面對知識內容更迭迅速的時代，學校若只強調知識面的學習，將無法適應職場要求；惟有在學校的學習中就強調與真實世界連結的能力培養，方能順利銜接職場生活，而實作任務評量在此改革中適可扮演重要角色(Segers 1999)。 能力需要在行動中表現(Competences are demonstrated in action)(Prades & Espinar, 2010)；實作評量透過行動表現的特徵，特別適合評估整合知識、技能、態度之能力(competences)。Segers期許大學能建構有力的學習環境(most powerful learning environments)，其中心主旨即在於以有意義的學習任務為中心，整合相對應的教學與合宜評量活動，讓學生有機會建構知識而非僅是複製資訊；教育學生具備高層次思考與問題解決能力，將知識應用於解決真實世界的問題(Hunt, Simonds, & Hinchliffe, 2000)。 真實人生情境表現之實作評量 國內文獻有關實作評量的論述與相關研究，大多止於中小學之數理科的應用，在高教的應用與評析少見，美國高教改革中有兩項實作評量於高教之應用實例，或可作為國內發展之借鏡。以報導高教改革及新趨勢的The Chronicle of Higher Education期刊，報導美國威斯康辛州一所小型天主教女子學院Alverno College應用實作評量的創新做法，獲得Princeton等名校的爭相學習。該校建立一與課程整合之評量架構，評量該校包括問題解決、溝通等八項校定能力。其特殊之處在於其評量方法為評量學生在真實人生情境(real-life scenario)表現之實作評量。例如兒童發展心理學課程要求學生與三歲兒童共用午餐，並以兒童發展心理學理論為基礎，分析兒童行為。 文學評論實務(Practicing Literary Criticism)課程要求學生假設自己是學校課程委員會委員評析是否將某位小說家的小說納入學生閱讀教材；而在美國歷史調查課程中，要求學生團隊提出Cherokee印地安人在1830年被逐出喬治亞州的史實展覽計畫書，團隊間並彼此競爭(Bollag, 2006)。這些實作評量的共通特點在要求學生完成真實人生情境之任務，而完成這些任務都需用到高層次思考能力。 另一可堪借鏡者為以申論寫作任務形式評估高層次思考能力(批判思考、分析推理、問題解決、及寫作溝通)之「大學學習評量」(Collegiate Learning Assessment, CLA)。CLA由非營利組織Council for Aid to Education (CAE)所研發，2000年開始發展，2002-2003進行前測，2004年正式施測，目前至少有全美400多所大學、150,000位學生參與施測(Kugelmass & Ready, 2011)。CLA評量以機構績效(institutional accountability)為目的，提供機構(整體及系所)成績結果(非公開方式)，作為機構教學成效之自我診斷與改進之用，並不發佈個別學生成績(Shermis, 2008)。CLA充分展現高層次思考者方能解題之題型內容，舉其中之實作任務(Performance Task)題型說明，題目包括情境、參考文件、及任務三部份，例題如下：某參議員須面對是否支持某項法案之困境(情境)，受試者以助理身分需要在各種包括法案、民眾投書、報章新聞等文件中，列出利弊得失以協助參議員做出決定(任務)。90分鐘的線上測試，受試者在擬真情境之豐富資訊中，分析問題提出論述並導出結論(Benjamin, 2009)。 CLA評量學生未來職場表現的特徵 實作任務題目依據五項原則/特徵出題，反映出CLA作者評量學生未來職場、真實世界表現的意圖。五項特徵分別為： 一、真實世界情境(Real-world scenario)：題目基於真實世界情境且是學生未來可能需要解決的問題。 二、擬真且複雜的過程(Authentic, complex process)：情境能反映真實世界挑戰的複雜與模糊性，可能沒有正確答案、答案可能隱而未見、證據與立場可能衝突。 三、高層次思考(Higher-order thinking)：任務要求學生以批判思考、分析推理、及問題解決來解決，專注在分析、綜合、應用證據以得出合理推斷。 四、真實表現(Authentic performance)：學生創造出在真實世界解決任務時會有的產出品，如備忘錄、文件等。 五、清楚明確之評量標準(Transparent evaluation criteria)：學習成果引導任務的創造，亦即學生被事先告知的評量標準及尺規所評量，學生可以評估自己的表現，也可以獲得強弱項的回饋。 上述兩項實作評量，前者與領域科目內容知識結合，後者評量所有大學生適用之高層次思考能力；不僅具有「實作」(performance)特徵，更重要的是其實作內容設定在擬真情境中，反映真實世界對任務的要求，而解題需要運用批判思考、問題解決、分析決策等高層次思考。如此用心設計之實作評量，學生完成任務本身即是有意義的學習，加以其題目設計掌握思考歷程，更有助於評量之回饋反思效果，若能善用，相信必有激勵批判思考學習之效。 實作評量擬真與實作聯結可提升學習 實作評量自20世紀末以另類評量之姿獲得廣泛注意，國內在中小學數理科的探究與應用卓有成效。然而實作評量之研究一直以來有正反兩面評價。其優勢即在於擬真(authentic)與實作的特徵，較諸選擇題型更符合教學目標，效度因而更勝一籌；其弱點在由於無法如選擇題型能有較多題目評測，實作評量因其實作及複雜之特徵，往往只能施測少數任務，因而有任務界定(task specification)的困難，而其評分屬主觀評量，亦有評分不一致之限制，這兩項限制使其用在大型重要考試(high-stakes testing)上有公平性的疑慮。 過去古典測驗理論對測驗的評價(信效度)，理論架構主要為常模參照的大型測驗所發展，用於選才或入學安置之目的，為了個別比較在量化指標能更公平，傾向使用容易量化與客觀評分的選擇題型。現階段高教改革強調評量的主要角色在提升學習，測驗品質的衡量標準應有不同考量，實作評量擬真(authenticity)及與實作聯結的特徵，適可作為未來發展學生批判思考能力的重要工具。 參考資料 王文中、呂金變、吳毓瑩、張郁雯、張淑慧等著(2004)。教育測驗與評量—教室學習觀點。台北市:五南圖書 毛連溫、陳麗華、劉燦梁（1991）。康乃爾批判思考測驗修訂報告。台北市立師範學院學報，22，29-56。 毛連溫、劉燦梁、陳麗華（1991）。康乃爾批判思考測驗之修訂。中華測驗學會測驗年刊，38，109-123。 余民寧（2002）。教育測驗與評量：成就測驗與教學評量。台北：心理出版社。 巫銘昌、曾國鴻、劉威德 (2006)。大專學生思考能力教學之成效研究。課程與教學，9(3)，103-119。 周家卉(2008)。實作評量在生活科技課程實施之探討。生活科技教育， 41(7)， 51-83。 吳柏萱、朱啟台、陳瑋伯、曾政清、李吉彬、陳昭地(2011)。探索數學規律實作評量舉例。科學教育月刊，343，30-49。 吳璧純（2003）。以自然科實作評量探究學生的認知發展與學習成效。教育與心理研究，26，1-22。 林幸台、張玉成（1983）。資賦優異兒童高層次認知能力之評量與分析。教育學院學報，8，9-26。 林秀姿(2012)。體制教育像剝洋蔥剝掉學生創意。天下雜誌2012年教育特刊能力札根，116。 徐建國 (2004)。批判思考與公民教育。課程與教學季刊，7(2)，25-35。 徐怡詩、王國華(2004)。國中自然與生活科技教師試行實作評量之行動研究。科學教育，14，21-35. 桂怡芬、吳毓瑩(1998)。自然科實作評量的效度探討。中國測驗學會測驗年刊，45(2)，19-36。 陳雅玲(2005)。思考, 深思考。商業周刊 943 期，128-135。 陳麗華、李涵鈺、林陳涌(2004)。國內批判思考測驗工具及其應用之分析。課程與教學，7(2)，1-15。 彭森明 (2010a)。大學校院如何推展學生學習成果評量。高教評鑑雙月刊，24，28-34。 彭森明 (2010b)。大學校院如何推展評量。學生學習成效與評鑑工作坊。取自臺北市財團法人高等教育評鑑中心網頁：http://www.heeact.edu.tw/ct.asp?xItem=11586&ctNode=328&mp=2 黃慧莉、林惠賢、王秀紅(2010)。生死批判思考量表－量表初步修訂。The Journal of Nursing Research, 18(4), 299-310. 葉玉珠（1999）。批判思考意向量表。未發表之量表。 葉玉珠、葉碧玲、謝佳蓁（2000）。中小學批判思考技巧測驗之發展。中國測驗學會測驗年刊，47，27-46。 表C012 共 30 頁 第 23 頁 葉玉珠(2002)。批判思考的內涵詮釋與有效教師行為。通識教育季刊，9(3)，151-170。 溫明麗(1997)。批判性思考即為通識教育。教育研究集刊，39，15-26。 曾素秋(2010)。實作評量融入師資生班級經營課程實施成效探究。朝陽人文社會學刊，8(2)，91-134。 魯俊賢、吳毓瑩（2007)。國程技能之二階段實作評量：規劃、實踐與效益探究。科學教育學刊，15(2)，215-239。 Angelo, T. A. (1999). Doing assessment as if learning matters most. AAHE Bulletin, 51(9), 3-6. Alleman, J., & Brophy, J. (2002). Learning and teaching about cultural universals in primary-grade social studies. The Elementary School Journal, 103(2), 99-114. Arenson, K. W. (2006). Panel explores standard tests for colleges. New York Times, 9. Arum, R., Roksa, & Josipa (2011). Academically Adrift: Limited Learning on College Campuses. University of Chicago Press. Banning M. (2006). Measures that can be used to instill critical thinking in nurse prescribers. Nurse Education in Practice, 6, 98-105. Barak, M. & Shakhman, L. (2008). Fostering higher order thinking in science class: Teachers reflections. Teachers and Teaching: Theory and Practice, 14(3), 191 Baume, D., M. Yorke, and M. Coffey (2004). What is happening when we assess, and how can we use our understanding of this to improve assessment? Assessment & Evaluation in Higher Educaaiton, 29(4), 451-77. Behar-Horenstein, L. S., & Niu, L. (2011). Teaching critical thinking skills in higher education: a review of the literature. Journal of College Teaching and Learning, 8(2), 25-41. Benjamin, R. (2008). The contribution of the collegiate learning assessment to teaching and learning. Council for Aid to Education. Benjamin, R., Chun, M., Hardison, C., Hong, E., Jackson, C., Kugelmass, H., & Nemeth, A. (2009). Returning to Learning in an Age of Assessment Introducing the Rationale of the Collegiate Learning Assessment. Beyer, B.K. 1987. Practical Strategies For The Teaching of Thinking. Boston, MA: Allyn & Bacon. Biggs, J.B. 2003. Teaching for quality learning at university. 2nd ed. Buckingham: Society for Research into Higher Education and Open University Press. Bloxham, S., P. Boyd, and S. Orr (2009). Mark my words: An analysis of HE lecturers’ essay marking approaches. Challenging higher education: Knowledge, policy and practice. Society for Research in Higher Education conference papers, Newport, Wales. Bok, D. (2006). Our Underachieving Colleges: A Candid Look at How Much Students Learn and Why They Should Be Learning More. New York: Princeton University 表C012 共 30 頁 第 24 頁Press Bollag, B. (2006). Making an art form of assessment. The Chronicle of Higher Education, 53(10), A8-A10. Bransford, J.D., Brown, A.L. , & Cocking, R.R. (1999). How people learn: Brain, mind, experience and school. Washington, DC: National Academy Press. Broadbear, J. T. (2003). Essential elements of lessons designed to promote critical thinking. Journal of Scholarship of Teaching and Learning, 3(3), 1-8. Broadfoot, P. 1996. Education, assessment and society. Buckingham: Open University Press. Brodie, P., &Irving, K. (2007). Assessment in work-based learning: Investigating a pedagogical approach to enhance student learning. Assessment & Evaluation in Higher Education, 32(1), 11-19. Brookfield, S. (1987). Developing critical thinkers: Challenging adults to explore alternative ways of thinking and acting. San Francisco: Jossey-Bass. Brookhart, S. M. (2011). Educational Assessment Knowledge and Skills for Teachers. Educational Measurement: Issues & Practice, 30(1), 3-12. Bughussian, P. (2006). Socratic pedagogy, critical thinking, and innate education. The Journal of Correctional Education, 57(1), 42-63. Chun (2010). Taking teaching to (performance) task: linking pedagogical and assessment practice. Change, 42(2), p.22-29. Clement, J. (1979). Introduction to research in cognitive process instruction. In Lochhead, J. and Clement, J. (Eds.), Cognitive process instruction. Hillsdale, NJ: Lawrence Erlbaum Associates. Costa, A. (2001). Developing minds: A resource book for teaching thinking. 3rd Alexandria, Va. Craddock, D., & Mathias, H. (2009). Assessment options in higher education. Assessment & Evaluation in Higher Education, 34(2), 127-140. Crenshaw, P., Hale, E., & Harper, S. L. (2011). Producing Intellectual Labor In The Classroom: The Utilization Of A Critical Thinking Model To Help Students Take Command Of Their Thinking. Journal of College Teaching and Learning, 8(7), 13-26. Critical Thinking Community (2012). Defining critical thinking. Retrieved from http://www.criticalthinking.org/pages/defining-critical-thinking/410 Cummings, R., Maddux, C. D., & Richmond, A. (2008). Curriculum-embedded performance assessment in higher education: maximum efficiency and minimum disruption. Assessment & Evaluation in Higher Education, 33(6), 599-605. Daud, N. M., &Husin, Z. (2004). Developing critical thinking skills in computer-aided extended reading classes. British Journal of Educational Technology, 35(4), 477-487. 16. 表C012 共 30 頁 第 25 頁 Del Bueno, D. (2005). A CRISIS in Critical Thinking. Nursing Education Perspectives, 26(5), 278-282. Dewey, J. 1933. How we think. New York: Heath. Duplass, J. A., & Ziedler, D. L. (2002). Critical thinking and logical argument. Social Education,66(5), 10-14. Eden, C., & Huxham, C. (1996). Action research for management research. British Journal of Management, 7, 75–86. Ekman, R., & Pelletier, S. (2008). Assessing student learning: A work in progress. Change: The Magazine of Higher Learning, 40(4), 14-19 Elder, L.(2011). Achieving critical mass. The Times Higher Education. Retrieved from http://www.timeshigheereducation.co.uk/story.asp?sectioncode=26&storycode=414351&c=1 Ennis, R. (1989). Critical thinking and subject specificity: Clarificaiton and needed research. Educational Researcher, 18, 4-10. Facione, P. A. (2007). Critical thinking: What it is and why it counts. Retrieved January 2, 2008, from http://www.telacommunications.com/nutshell/ cthinking7.htm Fasko, D. (2003). Critical thinking: Origins, historical development, future directions. In D. Fasko(Ed.), Critical thinking and reasoning: Current research, theory, and practice (pp. 3-18). Cresskill, NJ: Hampton Press. Frederiksen, J. R., & Collins, A. (1989). A systems approach to educaitonal testing. Educational Researcher, 18, 27-32. Gross, K. (2009). What was I thinking? Inside Higher Ed. Retrieved from http://www.sinsidehighered.com/view/2009/03/16/gross Gurses, A., Acikyildiz, M., Dogar, C, &Sozbilir, M. (2007). An investigation into the effectiveness of problem-based learning in a physical chemistry laboratory course. Research in Science & Technological Education, 25(1), 99-113. Halz, M. & Reybould, L. (2005). A pedagogy of force: Faculty perceptions of critical thinking capacity in underegraduate students. The Journal of General Education, 54(4), 293-315. Hamdorf, J.M., and J.C. Hall. (2001). Surgical education. Australian and New Zealand Journal of Surgery 71: 178–83. Hanney, R. (2005). Competence or capability: Work-Based Learning and Problem-Based Learning. Journal of Media Practice, 6(2), 105-112. Hansen, S. (2004). A constructivist approach to project assessment. European Journal of Engineering Education, 29(2), 211-220. Haynes, T., & Bailey, G. (2003). Are you and your basic business students asking the right questions? Business Education Forum, 57(3), 33-37. Hemming, H. E. (2000). Encouraging critical thinking: “But… what does that mean?”” Journal of Education