公共性與AI論壇（十六）：法律實證研究之人工智慧應用
主持人：李建良（中研院法律研究所特聘研究員兼所長）
主講人：林常青（國立成功大學經濟系教授）
壹、法律實證研究
本節的說明，多引用張永健，〈法實證應用: 原理、方法、應用〉，有興趣的同學可自行閱讀參考。
一、法學研究的典範類型
借用張永健老師的一張圖表來說明法實證研究在法學研究的座標。
規範分析
規範分析的目的在討論「應該要做什麼」。舉例而言，經濟學著重於「整個經濟體系應該朝向的目標」，進而透過福利分析得出手段為「效率」。至於法律則是透過法釋義學討論法的目標為何、應以何種手段達成。
實然分析
實然分析則是討論「這個現象是什麼？」「這個社會是什麼？」「這個法律操作是什麼？」的研究方法，若是不使用資料分析，則可能是對法律現象的描述。但若自法經濟學的角度，則用寇斯定理可得出「只要財產權設定且法院判決後，即可不處理後續問題」，因為屆時兩造會透過溝通與交易，達到社會最適應的狀態。簡言之，描述「實際運作的狀況」稱作實然分析，進一步可區分為二，使用資料者稱「實證」，實證不一定需要很大量的資料，一個面訪或是拍幾張照片進行分析皆使用了實際上的證據，故亦可歸納為實證。實證法學與實證法科學亦有所區別，以社科法學為例，前述及之寇斯定理認為，法院判決後，雙方在溝通成本低的情況下可以很快進行溝通，社會分配即可達到最適，此為數理推論出的結果，然而是否整個社會的運作會果真如此呢？美國德州農工的前法學院院長曾指出此理論的問題，因為長期的溝通與忍耐，案件到進聯邦法院時情緒已產生相當摩擦與厭惡，雙方交易難以發生。因此最好採用霍布斯的方法，在事前建立規範並由法院依此進行判斷。
認知心理學
另外，還有較為人熟知的認知心理學。例如捷思偏誤，用以解釋人在何種情況下容易犯錯，以一個簡單的實驗為例，先讓一群學生回想自己的學號，接著猜測尼羅河的長度，結果學號較大的傾向於猜測較長的尼羅河長度，反之，學號數字較小的則通常會猜測平均較短的尼羅河長度。法律中亦有類似捷思的有趣研究，講者曾與張永健以及前經濟所所長陳恭平，在《定錨效應與司法判決：實證研究的改革啟示》一文中討論錨定效果，主旨在研究當喊價已偏離市場價格時對法院判決之影響，研究結果顯示法官不但會跟進，且會跟著偏離約60%。然而只有資淺的法官會跟進，資深法官受到的影響則不顯著，且若被告提出異議，則會產生反向的錨定效果往另外一個方向偏離，此即所謂的法認知心理學。
法社會學
至於法社會學，則是指法律的運作與社會的關係，相互影響與回饋；又如法政治學中的公共選擇等，皆屬於社科法學主要的類型。
實證法學
實證法學以自身對法律關心的議題切入，如法律的假設、法律的宣稱，或者是法律實際上運作的狀態等進行研究。例如早期美國法界常認為政府徵收時給予財產所有人的補償過少，然而經實證後發現並非如此；或者民眾認為有罪者誤判無罪，或無罪的誤判有罪，何者較為嚴重？民眾的想法雖會因為不同的年齡層、教育背景等而有異，然而研究指出整體民眾認為寧可錯殺一千也不願意錯放一人，因為有段時間臺灣犯罪猖獗，社會氛圍認為應該嚴加懲戒。
實證社科法學
相對的，實證社科法學則是將社會科學中常遇到的問題，例如經濟學上的有趣現象挪到法律看是否同樣會發生，而問題意識非來自於法律本身。最近有一篇文章討論司法官在地院初次被躍升到高院約兩到三年後，再調回地院並作成判決被上訴後，送至認識的法官與不認識的法官審理是否會有不同的判決結果？人際關係原非法律最想探討的問題，而係藉由其他領域的討論才得以得知相關的影響。
二、法律實證研究的四種作用
規範論證的實然基礎
規範論證可區分為應然論證及結果論證，應然論證指假設a為好，且b可以達到a，所以應該採取b；結果論證則是指b可以達到a，以a為好作為小前提，故結論應採取b。法律人關心a是否真為好，來判斷是否應採取，所以法律人會有一個評價、有一個應然的預設。但是法實證則用以檢證到底b可否達成a，這是其第一個作用。
法律的實效性
如果係基於特定理由預計進行法律變更，修法通過後是否會產生預期的影響。舉一簡例，若將酒駕的刑罰提高是否能夠遏止酒駕？其實效果為何？以上問題可以從法律實證檢視。又或者是法律內部需進行改革時，例如國民法官制度實施之後，會對整個法院的運作、甚至最終有罪無罪的判決結果，產生何種影響呢？是否能夠達成先前的預期？可透過法實證進行探討。
法律論證與法律現象
假設欲進行做死刑相關研究，常會討論增加死刑是否可遏止犯罪，王兆鵬老師就此議題則以另一角度進行觀察，首先研究了實務上判決死刑的案例，第一類是唯一死刑，第二類可選擇死刑、無期徒刑或極重的有期徒刑，發現多數死刑案例來自於法官有權衡空間的條文，而非唯一死刑者；接著發現在幾千件死刑或無期徒刑案件中，僅約10%判決死刑，至於原因為何則有待一進步的討論。先前可能會有大多死刑案件來自唯一死刑的偏見，然而此一論證經證明為錯誤。另一偏見經研究推翻者，如某一新聞提及全世界醫生中在臺灣被判有罪機率最高，有研究生對此進行研究，結果顯示大部分有罪者為一審無罪、二審轉有罪，在三百多個涉訟醫師中僅六十幾人被判有罪，且幾乎都可以緩刑。透過以上案例可認為，外界對法律的觀感、法律人的觀感、法律現行的運作情況操作情況，皆可以透過法實證方法得知。
法制度中相關行動者的行為模式
法官、檢察官、律師均為良好的研究題材，其資料較容易被收集，可以探討一些有趣的題目。如以下案例：
- 〈臺灣刑事強迫辯護人代理下，法扶律師與公設辯護人對被告比較有利？〉 Huang, Chen & Lin (2010)；
- 〈臺灣最高法院小蝦米對大鯨魚的命運？〉Chen, Huang & Lin (2015)；
- 寇斯定理的相關實證 Chang & Lin (2022)；
- 〈有經驗的律師比較好？（車禍案件慰撫金）〉 Lin, Chang, & Chen (2021)；
- 〈真實訴訟中的錨定效果〉Chang, Chen, Liao & Lin (2022)。
三、相關研究實務案例
做決定
以上提及法律的問題都較為經濟學研究導向，除1、2以外，其餘皆從較法律經濟的觀點切入。原因在於涉及到律師、法官、訴訟的兩造，一定會遇到「做決定」的問題，經濟學擅長處理此一問題，其在人是理性的假設下進行判斷，然而人並非全然理性而容易受情緒或其他因素影響，故在參考判決書或觀察法官對兩造說詞的判斷與心證的用詞等皆為重要。法官雖經專業訓練，但是若參考外國紀錄之判決過程，檢視時若發現法官亦受到此種影響，自然可認為，連在社會上公認做判斷時最公正的一組人都有可能受影響，那麼一般人亦難逃受影響之可能。同時也應思考應如何幫助法官盡可能降低外界因素影響之干擾，2019年時，在一指標性經濟學實證期刊上，研究者發現當室外溫度增加一個標準差，會顯著減少（降低6.56%）法官對移民作出較有利的判決，雖然法官判斷時是坐在冷氣大樓內，室外溫度增加理應不會影響，然而此時與其批評法官，不如建議當此情形發生時，應鼓勵法官避免進行判決。另一例為路伊斯安納法院的發現，若當週六路伊斯安納大學美式足球意外輸球時，法官(多為其校友)在隨後一週會增加量刑。這樣的研究目的並非苛責法官，而是在分析可能會影響判決的結果並設法降低之。
陪審團
陪審團、國民法官若遇到看似楚楚可憐的被告，陪審團會不會起慈悲憐憫之心並以較輕的罪行判斷？結論上，對於刑期較重、金額較大的案件不會有此種效果，但是若是輕罪的情形，因其影響社會程度較低，所以陪審團有時會稍微降低標準，惟於重罪、大量金額時，陪審團非常小心進行審理，而不會輕易受到外觀影響，此亦與一般的預設略有出入。
有效率的處罰
提倡增加酒駕刑期的輿論四起，酒駕的受害者一定很支持這樣的作法，然若僅為第三者，是否仍採支持的立場呢？若自經濟學角度，會認為犯罪人可能是理性的，所以會在可計算的範圍內，針對酒駕意外並遭處罰之機率，與罰金或可能付出的金錢相乘，若高於其酒駕帶來快感（以金錢來衡量），則會避免酒駕。然而人未必皆為理性的，可能抱持著今朝有酒今朝醉的態度，所以是否提高刑期即有嚇阻的效果亦值得討論。
四、法的實證分析：「法律的生命不在邏輯而在經驗」
法實證具有1.破除迷思、2.衡量改革結果的效果。從事法實證研究時，首先須對經驗有足夠掌握，又可再區分為以下兩個層次：
- 觀察到特定現象之後產生疑問，再進行廣泛的資料搜集，再此進一步進行有系統的整理。但如果是用AI進行的時候，則可省略整理的步驟；
- 運用計量方法、大數據，原則上AI的工具原理並不困難，雖然可能具有複雜的數學式，但概念上相對容易，僅需經過統計的訓練即足，而妥善的資料不須經過多整理或複雜的計量方法，也能得到適切之答案，之後只是如何建立內在一致性，將其變得更嚴謹的過程而已。
資料掌握及分析
通常進行法實證研究時常面臨兩項困難，一是如何收集資料，二是如何操作工具。關於前者，取得數據的方法之一為做實驗，如以陪審團應使用多數決或一致決的制度決策為例，實驗時將模擬陪審團分為兩組並各自採一致決及多數決，結果發現因出席即可領取車馬費，所以採用多數決的該組成員將票投下後便離開，亦不會進行深入的討論；反之，一致決的組別則討論熱絡，因須達成一致的結果，故會認真說服對方，大家就開始討論互相說服，此為實驗產生資料額的實例說明。另外亦可以問卷等方式自行收集資料。針對後者，法學訓練所導引的問題意識及如何解釋數據方為核心，工具面上可由自己或特定專業人士協助，即可對資料進行合宜的分析。
貳、人工智慧方法
一、AI、Machine Learing與Deep Learning
AI係指以電腦或者其他方式模擬人的部分行為。
Machine Learning機器學習則是一種計算技術，可以從大筆照片、文字、數字等資料中學習特定規則。
Deep learning深度學習則包含於machine learning，需要輸入資料、圖、判決、或整理好的excel表格，可以幫助擷取特徵、進行分類classification、或者迴歸預測，於大量判決研究時，深度學習的特徵擷取功能可以省去大量的編碼人力及時間，具有相當大的助益。
二、法律實證研究之人工智慧應用
- 資料：資料來源可以是判決書、起訴書、司法院資料或相關的專業文章。
- 擷取特徵：要抓何種特徵？何種特徵是研究者最關心的？以家事親權判定研究為例，判斷離婚家庭中親權應歸屬男方或女方時，需擷取的重要的特徵為何？收入、精神狀況？雖然對此特徵的截取需借助法律專業，然而若不具備時亦可查找領域內學術文章或用程式協助擷取。
- 分類：可以用迴歸或其他方法進行。
- 結果及預測
若不包進行深度學習，原則上需要領域核心知識以人工擷取特徵方可進行，若將2.、3.同時交由電腦處理即為深度學習；至於監督式學習則是先定義有罪／無罪、刑期長度等，若結果為數字，則使用迴歸分類，若將刑期區分為高／中／低／無罪等類別資料，則可使用邏輯式迴歸、SVM或random forest隨機森林的方法分類。若未於電腦輸入整理好的相關特徵資料時，也可利用電腦從資料中歸納特徵，產出歸納結果後，可再比對真實資料，試圖找到電腦歸納的方法。
另外在數字過多難以處理時，可能需要採取降維的方法，例如deep learning的cnn，運作上先將所有貓跟狗的照片輸入，讓電腦區分究竟是貓或狗，再將一隻像狗的豬輸入，電腦只會歸類為相似於狗，此為降維的實例。
三、判決資料來源
台灣有很多資料庫，而判決書是公開的，資料非常豐富，例如在刑事案件中，上訴人姓名、被告、審判長、其他法官姓名、事實、正反雙方主張、法官的心證理由、適用的法條、甚至上訴案件也有前後審的案件紀錄，是相當豐富而重要的資料庫。
結構化
司法院有結構化的資料，稱終結案件資料，加入會員即可下載。以刑事案件為例，終結案件資料可得知法院案由、法官名、原審紀錄、被告有無前科或曾遭褫奪公權、犯罪類型、是否進入協商程序、案號、法院、年別、主要分類、最後判決的結果、被告的資料、減刑與否、增加刑罰的條件，具備以上經編碼之資料後選取特徵，如有無累犯、自白、何種程序等，即可進行決策樹分析。未來若要使用，前提是司法院有繼續開放這個終結案件資料。
非結構化
至於使用非結構化的資料(如法院判決)的目的在於，很多的資料無法顯現於前述的終結案件資料中，例如是否供出毒品來源及共犯等，結構化資料無法得知減刑原因、犯罪動機等，此並未呈現於判決主文中，然卻屬於法律上量刑的重要因素，以毒品犯罪為例，包含販售一級、二級或三級毒品、未遂與否、犯罪型態是運輸、販賣、還是製造、犯罪態度、被告教育程度等，從結構化的資料無法得知，然而未來能否獲取此相關資料則必須仰賴司法院的政策走向。
單純使用結構化的資料，不見得能完全支援所有研究，非結構化資料必須從判決論及法官的心證之處判斷。有以下幾種途徑：
- 使用關鍵字讓電腦去撈，或人工用關鍵字慢慢搜尋，不過需注意審酌因素使用的字眼在不同判決未必相同，所以在搜尋時盡可能多用幾組字眼，才能完整撈回來。
- 丟給電腦程式處理。首先中文文件需要先斷詞。因為電腦程式不會知道應該要抓幾個字，所以必須將詞彙斷出來，電腦程式需經過適當訓練才有辦法斷詞，可以法律教科書附錄的字詞索引，或透過法學研究者的常用詞庫匯入電腦中。且中文斷詞較英文為困難，以「一個人才能睡覺」此句為例，究竟是「一個人才，能睡覺」還是「一個人，才能睡覺」？若無脈絡即無法判斷。因此電腦斷詞斷完之後仍須人工調整。處理完後，部分法律詞彙如「尚非無據」指有據但是可能性不高、「容非無疑」指有疑但亦非絕對的懷疑，此時需特別注意如何拿捏，有認為這些字應進行簡單的替代，亦有主張不用者認為只要資料量夠多，還是能大略判斷詞彙的效果，但前提是資料要夠多，所以若能夠做正確替代的時候，還是應該盡量替代。
其次，要注意的是擷取判決書時，是否應擷取全文須視目的而定，若僅欲找尋重要審酌因素以預測的話，應該著重於心證的部分。至於如何得知法院的心證？有些判決書會寫明法官心證，於未寫明時候，經歸納發現「本院認為、本院判斷、經審酌兩造⋯⋯」，此類結語詞時即為心證論述的開始。另外，若是進行刑事判決的預測，於抓取判決書時，擷取至刑法法條、或者是出現「綜上論斷、綜上論述」的部分就應停止，否則若將論罪結果抓進來就是偷偷看答案。
四、特徵擷取
特徵擷取可分為以下幾類：
專家意見
如：黃詩淳、邵軒磊，〈運用機器學習預測法院裁判：法資訊學之實踐〉，《月旦法學》，270期（2017年10月）。此篇文章討論當進行親權歸屬之判決時應考慮之因素為何，例如：子女性別、年齡、排行、父母、健康、品行、經濟狀況…等因素。品行的概念較為抽象，若判決未言明，可視有無犯罪前科、外遇、酗酒賭博、暴力傾向等；至於經濟狀況可參考經濟能力、職業、工作、有無不當行為等；亦可自社工訪視結果得知父母是否瞭解子女、照顧計畫為何等。此篇文章將上述關鍵資訊，配合法律相關規定，經轉譯後將特徵用人工或者電腦抓取的方式找出來，這個過程皆是核心知識的運用。
另外如前述之毒品量刑系統，若欲修正此量刑系統，研究過程會請法律專家提供經驗，將重要的審酌因素列出；又如前述商標法案例，在檢視規模、數量、期間、以及與仿冒品相似的程度時，也會參照智慧財產權的論文或書籍，因為判決內容不會完全與法條相同，有時候判決會考量資本額、經營者、交易人口、查獲量、侵權時間長短等。所以應自法律規定或重要的審酌因素切入，再回去看判決，最後要找到判決常用的特徵字詞，透過這些特徵以進行簡單的編碼。
特徵自動擷取（文字探勘與自然語言處理）
若想知道非法律認定的其他法官審酌因素，可以計算詞頻，即特定詞彙出現過幾次，甚至是特定詞彙在判決有罪、無罪時各出現幾次，最後可以得知哪些詞彙只要一出現，法官就很可能判死刑，例如「殘忍泯滅人性」等；同樣以商標法為例，研究發現只要「刑事附帶民事」出現，原告的勝率就比較高，實際原因可能是因為已經有刑事判決存在了、又或者只要提到「營業收入」，原則上也一定是判原告勝訴。
所以可以歸納哪些詞彙是影響重大的審酌因素，此一過程可以人工也可以仰賴電腦：電腦會先斷詞再計算詞頻，詞頻算完後，電腦可以計算並加以比較，例如「隔離」於80%的情形會出現在死刑的判決、20%出現在無期徒刑的判決中，然而繼續會發現，「教化」竟然較常出現於死刑。部分情形下，結果會跟一般理解相異，此時需再檢視本文，可得知「隔離」使用時機多半為與社會有永久隔離之必要時，而「教化」在死刑判決出現比較多，亦是因爲很多「無教化之必要」的用語，此時才會發現必須將前後的字也抓進來再做修正，始可開始計算詞頻。
至於如何紀錄這些詞彙之詞頻，早期採全面採計。一筆判決有幾千個詞彙，總共可能有三百筆判決，每一個詞彙都需要參數認定是否重要、或影響程度多寡，然而三百筆判決並不能處理一千多個參數的迴歸，因為樣本資料不足無法進行迴歸分析。此時在資料處理上就必須設法降低維度，具體而言，原先有一千多個詞需處理，可以將其意思類似者歸類而意思差異較大者分開，即可將原先的一千多個特徵降維至較低的特徵數目，如二十五個特徵，再以向量的方式呈現。以自然語言處理為例，有一種工具稱word2vec 或是其後延伸之bert皆可幫助將大量特徵簡化成少數幾個連續的特徵，進而做後續處理。
五、分類
決策樹之使用
電腦在處理這麼多字彙時，大概是以前述方式尋找、標記，標記完後進行分類、預測。以前述的終結案件資料為例，若取一位被告犯毒品危害防制條例第四條第二項，則可以再檢視法官如何量刑，並找出所應考慮的特徵以及何為分隔資料最重要的因素，例如有否自白、自首、是否為一般未遂，若否有無可以酌減因素等，最後可以透過「決策樹」，很快的將資料裡呈現最重要的分隔因素找出來。然應注意雖然可以立刻用決策樹跑出正確率接近90%的模型，然而這些只是資料呈現重要的因素，法官不見得全然按照這個程序思考。
另分類上也可採支援資源向量機（SVM），可以在模糊地帶以較適當的方式進行分群。例如利用升維的方式將資料進行轉換，其可將資料從平面轉成立體，並透過適當切割即可妥善分群，至於不同切割方法則取決於設定的核函數（kernel）。
以前述商標法為例，傳統的迴歸模型及支援向量機兩者結果差不多，則可能在現有的特徵中是以線性切割較為恰當。此時也會列出混淆矩陣 (Confusion Matrix)，並希望找出一種分類方式可以使得對角線的資料越多越好，此時可以透過不斷加入其他的資訊、使用不同的分類器來得出最佳預測方法。
XGBoost之使用
分類也可以採用random forest，中譯為隨機森林，係指透過好幾組決策樹隨機抓特徵、並取不同的權重進行組合。XGboost即是建立在隨機森林的理論上，它運作時會將較完整的決策樹保留，再加入少許隨機因素祈能幫忙修正錯誤，XGboost的好處在於可以得知特定特徵的重要性為何，若特徵的選取是使用word2vec，此時僅可得知第幾個向量、或者第幾個特徵重要，至於該特徵與何者最相似，則另需於語意空間中撈出相近的字。此可作為分析何特徵為重要的一個方法。
若透過人機協作的模式，亦即先將實務上已知的重要特徵特定出，並同時用電腦探詢其他特徵。結果會發現單純用電腦探詢特徵並以XGboost作預測準確率只能約72%；但是如果是電腦探詢特徵後也加入人工判斷的重要因子，則準確率可以達到74％；如果先讓XGboost挑選出電腦探詢的重要特徵，再加入人工也判斷重要的特徵並一起再讓XGboost挑選，則準確率可以達76％，透過這種人機協作可提高準確率。
XGboost最重要優點的是告知研究者特定特徵的重要性，另外的好處是可以將具權數的特徵畫出瀑布圖，同一特徵在不同案件中影響不同，因結果會受特徵出現有無、次數等因素影響，瀑布圖運用實例如親權判定中可顯示特定因素可能會使判決偏向父方、或者偏向母方多少。
六、結論
研究中常會運用非監督式學習及文字探勘，所謂非監督式學習指不將法院判決結果輸入機器法，反之若輸入者即為監督式；至於文字探勘則指未事先使用人工標定，而是以電腦尋找可能的因素。
現在的人工智慧運用，最常還是在進行判決預測以尋找最重要的審酌因素，並試圖得知各審酌因素產生什麼影響、有無未曾留意的審酌因素；另外亦會用於分類，如決策樹、或是其他監督式／非監督式的分類，分類也可以幫助進行法系的整理。
在針對法學資料進行人工智慧或文字探勘時，必須了解操作標的、目的、現已有哪些方法、有無適宜工具或統計方法等。雖判決資料已經為數不少，但仍無法稱之為大數據，此時法學領域的核心知識可以增加預測的正確性，並節省電腦判斷的時間，但是法實證不僅止於交由電腦整理資料並找出關聯，重點仍在給個能解釋的好理由。要進行好的法實證研究需有洞見，而洞見來自於domain knowledge，來自於學習、老師的教導以及實際觀察社會得到的結果，最後才是分析方法的採用。
七、問題與討論（省略敬稱）
同學：目前已經存在既有的法律體系，AI擷取詞彙的結果都歸因在非法律因素或是雜項，想請問是否有發過AI抓出詞彙之後才讓法律人發現其實是重要的議題的情形？
林常青：以目前臺灣而言尚未有發現，至於國外有無此種情況則要再檢閱最新文獻。但是特別在自然語言處理的AI一直在朝「可解釋的AI」進行發展，雖不確定發展速度的快慢，但朝此方向努力當中。
同學：判決當中法官常會引用例稿，可能是過往判例或會議決議等，但並不會構成最後的見解，只是其中一個參考因素，此時應如何解釋？
林常青：
有幾種處理方法，一為利用tf – idf，有些字雖然出現頻率很高，但是並無鑑別度，如果只是個別的字的話比較容易處理，可以賦予其不同的權數，例如提及某個字註記1，但如果是像是「的」這種無關緊要的字，就把權數降到很低例如0.001。但如果是判決中對整段判例的引用，對於此種特徵處理會需要人工作業，先看約數十篇判決了解對於例稿的處理為何，此時結果亦會取決於不同的人工智慧工具，如都是引用判決的情形，bert會凸顯與其他引用不同或特別用字之處，而word2vec則只會呈現兩者係為非常類似的結果，此時可能就會需要進行調整及升級。另外就是將這些過往判例或會議決議進行整項編碼，看看判決提到時是否對結果會有影響。
也分享張永健老師從判決書擷取特徵的作法，張老師會先與助理討論關於某一法條的特定文字是否有替代的可能，在此結果之上設定規則先進行第一階段的運作，接著再引進例如20個判決進行第二次的運作，比對第一階段的篩選是否合理或有無過大的偏差，再進行修正，比照前面的模式進行第三次的修正，大致都完成後，針對那些不具備前面特徵的例外情形，再重新檢查那些文字，並且以人工方式進行補強。之所以要這樣做的原因是早期我們要投稿的是法實證的期刊，其內容強調資料的精確性，文中宣稱的可用樣本是否處理程序皆一致且正確地將內容呈現，相對的若是處理大數據分析，則犧牲幾筆資料並不會對於大方向有所影響，所以方法亦取決於目的為何。
李建良：早期在做法實證研究的時候，我還在當台灣法學雜誌當的主編，當時也是請常青老師、國昌老師，還有經濟學的陳恭平老師在台灣法學雜誌進行一個專輯，希望日後也能用各種方式讓這樣的組合可以繼續。今天下來我也學到很多，另外也希望在法學領域當中不只是傳統的法釋義學，而是可以從實證的角度對法律有更廣更深的理解及掌握。當然一部分也是自己的私心，因為一路上總是有些寂寞，因為通常法實證通常都在做民法以及刑法，幾乎未涉足行政法的領域。
林常青：行政法是很值得深入探究的領域。
李建良：我認為這本身是一個值得研究的問題，為甚麼AI做實證研究或對判決進行文字探勘，卻沒有做行政法，第二個是演講中一直有的疑問，剛才常青老師提及的內容應該要如何運用在行政法上，同時又有另一個問題，是因為有這些工具所以要想辦法把問題接近這整套工具，還是先有一個行政法的問題，若用傳統文字方法詮釋可能會淪為作文比賽，或許可以加入法實證的方法來解決。但就我的觀察目前比較偏向於有這樣的研究方法，所以去找貼近適合的問題來進行研究，此時需特別注意剛常青老師於結論提及的domain knowledge概念，因若不具備而僅只是用工具去找問題，往往會本末倒置，造成工具以及跑出來的結果看似很炫很有趣，但實質性其實非常弱，這部分常青老師的結論可以給我們非常多啟發。
