The AI-induced Great Reset in Education

公共性與AI論壇(二十八)

時間:2024/01/22(四)下午2:00~4:30
地點:中研院法律所第一會議室

主講人:廖世偉(國立臺灣大學資訊工程學系暨資訊網路與多媒體研究所副教授)
主持人:李建良(中央研究院法律學研究所特聘研究員兼所長)

◎ 整理:劉汶渝

本演講由廖世偉老師主講,講述其與學生所觀察到在AI影響下之教育面所帶來的困境與兩難;並藉由走訪多所中學與實施由AI輔助之教育軟體以增強偏鄉教育、試圖拉近城鄉差距在學童教育上的鴻溝為試測主軸,希冀能將 “AI for good” 之理念實踐於孩童教育。

Photo by Nathan Dumlao on Unsplash

廖世偉老師與其團隊之研究

廖老師於開場時即以「AI同時符合personal與amplifier」之思維開啟本場演講,而在教育面,亦應將AI之此特性應用上。接著,廖老師向各個與會人員詳述其與學生們於過去一年中執行之計畫,並搭配其團隊之研究數據資料佐證:

  1. 研究團隊於各訪問學校對學童做三個小時的training之前、後,分別有前、後測驗。
  2. 前、後測驗各約14題,並以機率統計之數學題為主。依老師所提供之數據圖可知經過三個小時的training後,學童普遍後測答對題數均有所提升(如:於前測時僅答對4題,經過training後答對6到7題)。
  3. 依據AI可以接受prompting以及與學童interacting的特性,可以依據各學童之不同需求與適性進行回答與教學。

廖老師亦以自身教學經驗為例,其於在臺灣大學教授四百人參與之AI課程,卻僅配有三位助教;而其於美國史丹佛大學教授課程時是這個數目的五倍,即每二十位學生就會配有一個助教,但現在於臺灣大學卻是超過一百位學生才會配有一位助教,因此有量少質差的問題。而在現今AI 科技發展之推波助瀾與large language models的reasoning capabilities具備下,其成為可以幫助我們學生的tutor。在四百個人的課堂上,教授沒辦法做personal的循循善誘,因為你要amplify學生必須要循循善誘,但在如今的授課現況與資源分配下無法達成,因而僅能以填鴨、洗腦式的教育進行;但在AI可以為inspire、inform與evaluate的幫忙下能夠達成所謂 “Education is both teaching and assessment.”的目標。

然而在AI的進步下亦帶來了學生們會直接利用GPT抄寫答案的問題;廖老師認為,在課堂上不僅要inform學生而不只是單純地impress學生,更要改變evaluation的方式,以協助學生不僅可以回答出 “what”也可以回答出 “why”。

AI與教育、職業—前言

由老師及其團隊之研究結果以及AI的amplifier性質可知,AI會放大在教育面的城鄉差距,而在 “Without education, there is no revolution.”下,要如何利用AI以改善甚或抑制城鄉教育所生之鴻溝擴大係一大課題;而上述AI所帶來的擴大差距問題不僅出現在教育面,更影響世界上多數人的職業工作,我們現在處在一個 “huge reset”,相較於250年前之工業革命所造成百分之九十的工廠工人失業之窘境,而由Ned Ludd所帶領的Luddite反對當時工業革命所帶來的進步並激進地將許多工廠的機器焚毀,就如同現今世界拒絕使用GPT、拒絕接受新科技的人們(knowledge worker)將被AI所取代並產生如當時大量失業的現象。

因此人類可以做什麼而不被AI所取代?廖老師在演講中提到AI(以GPT-4為例)現今得以達到low-order thinking skills,如記憶、理解、應用;但尚無法完整達成high-order thinking skills,如分析、抽象思考、因果關係推演、創造新解方。於此基礎下,HAI(Human AI)的終極目標係達成3A2C—Apply、Analytical、Abstraction、Causal reasoning、Creativity,並減少偏見以及幻覺現象。

AI與教育、職業—三部曲

老師將其演講主題 “AI induced great reset in education”分為三部曲— “Education: Scorpion method”、 “Why this US-Taiwan gap?”、 “Evaluation”。

第一部曲—Education: Scorpion method

Scorpion method中的 “Scorpion”係7個單字之自首所組合而成,即 “Socratic/ SocraSynth”、 “Context/ Chain of thought”、 “Role”、 “Parameters”、 “Interactive: You should view GPT4’s output as a prompt to you.”、 “Output”、 “3N: Not-me-vs-you, No difference in Dragon hypothesis, New vs. old ”。

而其各自代表的意義分別為:“Socratic”代表蘇格拉底式的循循善誘方法,以教育面向而言,即係使ChatGPT得以將問題簡化或是將問題配合各個學生的不同程度以帶領學生自行解決問題、幫助與導引學生思考,而非直接給予其解答;“SocraSynth”則源自於蘇格拉底式教學法,係一美國史丹佛大學創建之平台,代表透過鼓勵建設性對話及培養批判性思維以填補彌合不同領域知識之差距,並主要透過兩階段運作—生成階段(generative phase)、評估階段(evaluative phase),以提供使用者整合、多方位的知識與理解;“Chain of thought”則係指在人類在prompting之過程中,應給予生成式AI人類的思路步驟(“Let’s think step by step.”),因考量訓練大型語言模型即如同訓練一位兩歲的孩童彈鋼琴、訓練skill而非reasoning,因此給予AI prompting或training時若有人類chain of thought的脈絡,將可以更加收斂、集中AI的回答與資料庫。舉例而言,「2183是否為質數?」此問題ChatGPT於初始回答時會直接給予2183係質數的答案,但在prompt中加註「Please list step-by-step」後,ChatGPT即會一步一步解答與檢驗2183之因數並得到其可以被37整除的答案。

廖世偉老師亦於演講中以實際例子(108課綱中之小學課文「為一本書留一種味道」相關問題)演示ChatGPT如何帶領學習者思考(以「你是一個使用蘇格拉底法的老師。你絕對不會直接給學生答案,但總是透過詢問正確問題以幫助他們學習自己思考。你總是調整你的問題以符合學生的興趣及知識,把問題分解成簡單的部分,直到符合他們的程度。」為prompt),並在學習者偏題、無關或錯誤回答時以正向引導方式將其引領回主題。

SocraSynth強調人與機器之間的對話和合作的重要性。並補充GPT-4的運作概念,帶出在思考和決策中如何運用不同層面的自我,並由不同層面的我來進行對話。同時申明「unknown unknown」的價值,亦即尚未被察覺的信息可能具有最高的價值,教育的目標應該是培養「analytical worker」,這裡以data flow analysis為例,解釋培養思考方向的重要性,強調培養學生分析能力(critical reading&critical thinking)的重要性,而不僅僅是教授特定的解決方案或步驟。

另外,AI的訓練模式亦為是運作SocraSynth的關鍵,相較於Pre-Training只在有授權和被人類認為是正確思想的情況下才會被接納(不符合Stanford HAI的原則),Post-Training的重要性不言而喻。蓋於構建系統AI時,首先應讓其思考嚴謹,並透過事後訓練以獲得更好的結果;反之,在事前訓練的模式下,如果模型沒有學習過負面例子,將會抹殺模型的多樣性並加深偏見。

第二部曲—Why this US-Taiwan gap?

台灣目前在全球AI的排名僅第26名,廖老師試圖從以下三個面向探討台灣高等教育現況與問題的根本原因:(1) Asian mindset. (2) Students’ outlook on life is very narrow. (3) Professors’ problem.。首先,廖老師提出「台灣高中科學班資優生在國際物理和化學奧林匹亞競賽一直表現優異並位居全球前三名,為何這些學生在進入台大後,卻沒有展現頂尖的表現?」問題,並觀察與分析台灣前段高中畢業生的校系選擇數據,認為儘管台灣在技術和人才方面擁有豐厚的資本,但在social capital與financial capital方面仍極其缺乏,導致在創新方面缺乏顯著成就,同時也點出目前台灣教育環境與氛圍並不利於創新人才的培育,譬如各方因素下導致學術研究的視野普遍相對狹隘,電資學院更出現學生過度重視成績與職涯規劃單一的情況。老師呼籲台灣的學生不應只是追求小確幸,而是需要更多的自主責任感和提出艱難問題的能力,“Use your youth wisely. ”,並追求金錢以外更高層次的目標,如此台灣才能培養出更多像Heptabase的詹雨安、Teach for Taiwan的劉安婷、NVIDIA的黃仁勳、YouTube的Steve Chen和Yahoo!的Jerry Yang等一樣的人才。

第三部曲—Evaluation

最後針對人工智慧對教育差距的影響提出一份研究報告,本研究目標為希望透過蘇格拉底式的AI來幫助相對弱勢的學生學習,並進一步彌平城鄉差距。研究使用Wilcoxon方法比較前後測的差異。經過統計分析後,結果顯示使用蘇格拉底式的方法幫助學生在學習成績上有顯著的改善。在前測中,學生大約能答對六成多的題目,而在後測中,答對率提高到約百分之七十六左右。研究共有六百八十一份有效測試資料,研究圖表顯示,在接受AI幫助之前,學生平均答對率約為六成六,但在接受AI幫助後,答對率顯著提升。並且發現對於來自台北市且具有醫生或工程師家庭背景的學生而言,成績的提升與其相對高薪的家庭背景無關。然而,可以保留的是,未來對於偏鄉地區的研究可能會有不同結果。

問題與討論(敬稱省略)

張兆恬:我很同意廖老師的想法,現在我們教學的心力跟時間可能沒有這麼多,如何透過AI強化教學是一個可思考的方法。在討論Scorpion的部分,我的問題是,作為一個教育者要如何利用這個工具?法律研究者大部分沒有技術背景,要如何訓練一個可以幫助我教會學生的AI?

廖世偉:第一個問題涉及我們要怎麼使用AI,有一種思路是Automation,就是AI,然後另外一個思路是HAI,讓Human進來而不是fully automation。那第一種思路就是像SocraSynth,這樣就會是有多個GPT,做法是你需要先給他一個目標,此時分別代表正反方的GPT會像辯論賽一樣爭論。那譬如有五個爭論點,我應該怎麼從一來一回中去解讀?就看可信度,如果是opinion的話,可信度就比較低,如果是document的話,看從哪個document來,如果是statistics或像Nature的期刊,那可信度就較高。OpenAI的CTO去年說過一個觀點就是「人如何思考」到現在還沒有結論,這是GPT短期內沒有辦法取代。

何之行:第一個問題是就剛剛提到的Post-Training,想請問user可以將這個model按自己希望的方式去改變嗎?第二個問題是就您提到為什麼那麼好的高中生出了大學競爭力反而弱,我認為有些價值觀是剛好到那個環境之後,然後會生成一個在其他環境裡面不一定能夠生成的價值觀,所以想問AI有沒有辦法提供一個不同於我們現在台灣社會可以接受到的價值觀,然後用AI去製造一個新的價值觀?

廖世偉:首先關於Post-Sensorship跟Pre-Sensorship,AI有好幾種,有的是System AI,有的是Model AI,因為我受我史丹佛的老師影響,比較相信System AI。就想成以Neuron Network來理解這個世界,不管是GPT-4、AI或者是深度學習,事實上就把他想成是Neuron,而Computer是0、1、0、1,誰控制這個電腦?就是Complier,他是最難的System,數學要好才能夠控制好0、1、0、1的部分,並不會把Database放在Model裡面,因為那個東西是屬於Computer,譬如問說5289乘以24572是多少時,就會呼叫Computer給你答案,而不是像LLM要fine tune、洗腦他去答對這些問題,因為這些問題是永不止盡的。關於第二個問題,我也還在努力,我初步只能想到是說學生也有學生的小確幸問題,而老師也有老師的問題,在目前的的Reward System下是很難導正的,所以我也沒有完全想懂要怎麼去解決這個問題。

李建良:我常常在思考Human Intelligence跟Artificiality Intelligence間的關係,所以比較關心在Artificiality Intelligence發展過程中,Human Intelligence會不會因此弱化的問題。剛剛在講Human Intelligence的時候,提到人類的智慧當中詮釋能力可能會高過AI,像在哲學思辨這部分,AI可能還贏不過人類,那就你有提到「為一本書留一種味道」的例子,我想再做個延伸,其實這整個對話就是「詮釋能力」的問題,他不是數學能力或技術的問題。最後的部分,你有總結說「AI會拉大城鄉差距」或者「透過訓練可以改變受測者的能力」,這部分是否只是指數理能力?譬如當人在看一本書的時候,如果是在一個風景宜人、非常有味道的地方,跟我在電腦上面看書的所展現的詮釋能力未必會是一樣的,因此我會推測鄉下小朋友的詮釋能力可能會強過城市的小孩。由此再做延伸,就詮釋能力來說,AI可以扮演怎麼樣的角色?剛剛有個「給現在國中生看不同總統候選人發言」的例子,會發現大多數人會傾向投給某位特定候選人,這個部分其實是一個詮釋的問題,所以反而需要用蘇格拉底式的方式來和學生對話,而不是一開始讓這群國中生去看候選人講話,就要他們做出投票選擇。剛剛也有提到台灣AI排名第二十六名等等的數據,這些都是數理能力的排名,可是我們從來沒有去算社會科學能力的排名,而這個部分又會跟我們剛剛提到台灣的價值觀現況連結,並且正是這部份會需要更多的蘇格拉底式的AI進行一對一的對談。其實我們都在共同思考我們的未來,以上是我的一些回饋。