公共性與 AI 論壇（十三）
2022 年 3 月 4 日（星期五）
◎ 主持人：李建良（中研院法律學研究所特聘研究員兼所長）
◎ 主講人：黃俊能（中央警察大學消防學系副教授兼行政院國家關鍵基礎設施防護推動委員）、賴擁連（中央警察大學犯罪防治學系教授兼系主任）、鍾健雄（銘傳大學資訊傳播學系兼任助理教授）
◎ 整理：鄭詠綺
計劃名稱：開發建置受保護管束人再犯風險評估智慧輔助系統
- 主持人：中央警察大學黃俊能教授
- 研究人員：中央警察大學犯防所賴擁連所長、銘傳大學資訊傳播學系鍾健雄教授、台灣大學社工系吳慧菁教授、中正大學犯防所曾淑萍教授、高雄凱旋醫院周煌智院長、銘傳大學電子工程學系黃炳森教授
計畫背景與目標簡介（黃俊能）
本報告為「開發建置受保護管束人再犯風險評估智慧輔助系統」的第一年期計畫──「以巨量資料分析觀點探勘犯罪風險因子與保護管束再犯之關聯性」。計畫背景為 2017 年 5 月 11 日總統府在司改國是會議中提出、希望提升觀護人專業職能的決議。觀護人屬於法務部保護司的一環，負責假釋或微罪之受保護管束人的社區處遇，由於觀護人工作量大、難以實施較高品質或信度的風險評估，因為觀護人多以手寫、錄音、打字紀錄，而沒有就許多再犯因子做有效的風險管控。法務部出國考察後，認為國外已有 AI 的再犯預測模組，經討論後落實於本研究案中。這個研究案所要研究的是國外一些具有信、效度指標性的犯罪人風險因子，例如家庭、收入等，是否造成犯罪人再度犯罪、犯同罪或不同罪等，故需建置受保護管制人再犯風險評估的輔導系統、與國際接軌。本研究案主要蒐集法務部資料中的犯罪人資料，並串聯相關的資料庫。以下報告分為兩個部分──由鍾健雄教授之團隊報告如何找出再犯因子、運用大數據工具隨機森林（random forest）預測再犯風險值，我們預測的風險值相當準確，與國際同步。我們建立了主要的犯罪類型、今年年度共有四個犯罪類型，也有犯罪的地理資訊系統；另一部分則是賴擁連教授團隊所負責的量表研究。
量表組報告（賴擁連）
本期計畫目標有三：第一，蒐集國內外的再犯量表以及再犯風險因子；第二，運用大數據建立再犯風險的本土常模、研發保護管束人再犯風險評估的智慧系統；第三，編制相關再犯因子。量表組的成員包含犯罪學、犯罪心理、社會工作領域，在醫療團隊兼及精神醫學、毒品、性侵、家暴，以及第一線之觀護人。量表組最主要的任務是國內外量表的介紹以及風險因素因子的盤點、釐清，以下報告分為五個主要內容：第一，從生物、心理、社會角度篩選風險因子；第二，「風險－需求－反應」評估模式（risk-need-responsivity model）；第三，針對性侵、家暴、毒品、竊盜及財產犯罪的國外知名量表；第四，國內觀護人實務運用的量表；第五，國外再犯評估系統，包含英國犯罪人評估系統（OSAys）及美國犯罪人檔案管理與替代刑罰系統（COMPAS）之介紹。
生物－心理－社會（Bio-Psycho-Social）風險因子
使用生物－心理－社會風險因子的原因在於，犯罪並非源自單一因素，例如並不是所謂的生來犯罪人，而是多面向的。因此評估風險因子時，必須兼採生物因素（年齡、性別、基因、生理反應、腦組織）、心理因素（情緒、信仰）、社會因素（家庭支持程度、社經地位、工作、收入）。我們是以多面向、科際整合的方式篩選危險因子。
風險－需求－反應評估模式（risk-need-responsivity model, RNR）
找出因子後，接下來的問題是要提供什麼服務。以社區觀護人為例，決定要如何提供個案管理、治療或處遇轉介，就需要風險評估，即誰屬於高風險，目前台灣的觀護人有風險評估的指標與量表、也會採納於我們的研究當中；再者是需求為何，這也必須在我們的系統中回應，最重要的是能夠反應可以提供什麼東西或監控。
國外知名量表介紹（性侵、家暴與毒品犯）
我們鎖定目前案量最高的犯罪型態的量表：在毒品部分，有毒品濫用篩選測驗（Drug Abuse Screening Test, DAST）、毒品濫用篩選量表（Drug Use Screening Inventory, DUSI） 與針對青少年藥物使用的 CRAFFT 2.1+N 調查問卷；針對性侵犯，進行對現行靜態 99（Static-99）的評估與提出建議外，也引進介紹危險矩陣 2000（Risk Matrix, 2000）；針對家暴犯，有親密危險關係量表（DA）、簡易衝突行為量表（CTS）、婚姻暴力再犯 危險評估量表（SARA）、家庭暴力篩選表（Domestic Violence Screening Instrument, DVSI）。在竊盜、詐欺犯的案型中，國外並沒有具體量表，但我們也針對國內發展出風險指標。國外量表牽涉版權問題，國內引進時需要法務部向相關機構、學者專家洽談授權。目前計畫純以研究性質翻譯供官方參考，附於期末報告中。
國內觀護人實務運用之量表
國內觀護人有在使用的有一般性犯罪的評估量表，很多都有本土性，有些觀護人有留美、英背景，會引入國外的資料轉為本土型。除此之外，針對不同的案類，他們也發展出自己的評估量表，包含藥物濫用、性侵。性侵的部分，國內學者早年事實上已經翻譯了 Static-99，但在國內實務工作者根據他們看法做了修正，這次介紹的 Risk Matrix 2000 則是新的。家暴的部分，觀護人也有自己的量表。竊盜犯、詐欺犯的部分，在黃老師的督導下，我們也幫法務部保護司擬了一個量表。
簡單介紹國內藥物濫用者的評估量表（下圖一），每個國家的藥物濫用評估不見得相同，台灣觀護人依據本土經驗、參考外國的實施狀況，匡列出八個可能的再犯面向，作成雷達圖（下圖二）。由於觀護人多是採取質化訪談的方式，較沒有科學性，透過訪談方式可以給出得分，八個面向加總獲得總分，根據總分判斷級數標準的落點，並對應相應的處遇，例如若屬高度監管，就必須每個月至少訪談兩次、不定期家庭查訪。
也就是說，目前觀護人就再犯預測的領域，以及針對不同觀護個案給予不同程度的監督措施，已有良好的方向性。我們研究團隊的任務是將他們的實務操作用科學化、大數據、系統的方式做更精確的判斷。因此，我們將觀護人列出的幾個面向進行統整，比如家庭、交友情形、性格、工作情形等因素，除了生、心理角度，也兼採家庭、社會因素。
除此之外，觀護人也會針對不同的毒品犯、性侵犯、家暴犯提出加權，比如在毒品中，工作、居住、有沒有老毒友、有無家庭支持、有無涉足不當場所等就是重要的因素。在性侵的部分，包含有無扭曲的性認知、精神障礙、性功能暴力衝突。在家暴部分，包含加害人是否有妻子、兒女是自己的財產這種概念，或是是否仍然居住在一起，這些都會提高家暴犯的風險因子。最後，在竊盜犯、財產犯罪的部分，重要的因素包含價值觀念、不良嗜好等。
國外犯罪再犯評估系統介紹
我們主要參考的國外風險評估系統是英國、美國。英國的犯罪人評估系統（offender assessment system, OASys）於2001年導入監獄、觀護人系統中作犯罪人相關評估，其特色為個別化處遇（individual treatment），以及以有效證據（what works evidence）為基礎。該系統的資料收集範圍包含動、靜態資料。以就醫資料為例，相較於台灣只有法務部系統，難以與衛福部、教育部串接，英國的各種資料都會彼此串接，這對於再犯評估而言相當重要，亦是我們未來要克服的方向。此外，重要的是系統中包含一些量表，監獄官及觀護人都可以看到量表施測的結果，例如智力、性向、人格測驗等，這也值得我們參考。最後，系統中有開放性、動態性資料，可以隨時對照個案的基本資料，做最精確的因子盤點、評估，監獄的矯正官員可以追蹤受刑人在社區的狀況，社區的矯正官也可以從監獄端得到想要的資料。
OASys 系統的成立目的包含評估犯罪人再次犯罪的可能性、識別與分類與犯罪相關的需求、評估嚴重傷害的風險等，可以對應於前述風險、需求與回應（如提供何種服務、處欲對策等），這也符合法務部所要求的系統模組。
以再犯風險量表（Offender Group Reoffending Scale, OGRS）為例，在經過實證研究後，引導出 10 個影響再犯的最重要因素，包含居住環境、教育訓練及職業（education train and employment, ETE）、財務管理、人際關係、生活的夥伴、成癮物質濫用、情感寄託及支持、有無錯誤或偏差的扭曲思想及價值觀、人生或行為態度，由 10 個因素建構高風險的量表，並有 70% 的預測度。我們以法務部的資料庫所做出的模型預測正確率也約為 70%。除此之外，OASys中也有暴力預測量表、嚴重累再犯的風險量表、嚴重傷害風險量表等，這些量表的評估大約都是兩年，因為再犯高峰期大約為兩年，兩年間的再犯高峰達 50%、60%，之後就會慢慢下降。換言之，出獄後的犯罪人最需要注意再犯風險的就是這兩年，在這關鍵的兩年間提供安置、阻斷與偏差同儕接觸、調整居住環境等，過兩年後再犯風險就會慢慢降低，從國外文獻及法務部統計處所做的再犯觀察時間均是如此。
我們研究的另一個系統是美國犯罪人檔案管理與替代刑罰系統（Correctional Offender Management for and Alternative Sanctions），這是美國自己發展出的系統。簡單來說也是使用AI、資料庫等資料處理技術預測再犯，是一種自動化的網路套裝軟體，其功能為協助刑事司法系統各個部門進行決策，例如再犯風險決策、受刑人管理、個別處遇計畫、假釋等決策。使用機關則包含假釋審查委員會、看守監獄當局、負責社區矯正的緩刑及假釋部門、相關處遇提供者如藥癮者的醫療端，近年來也希望在法院運用，使審判與執行連結。COMPAS 系統的目的也運用RNR原則評估風險、提供在系統內的犯罪人較好的處遇。這個系統的優點是不同類型受刑人有不同類型的評估次系統，針對女性、青少年、成年人、復歸社會的犯罪人提供四種不同的版本。在未來我們的系統的建置上，也會類似這樣針對不同類型的犯罪（性侵、家暴、毒品）有不同次系統的開放。
COMPAS 系統的特色包含可以界定重要風險因素，包含如反社會行為、反社會認知、反社會同儕、家庭因素、藥物濫用等，除了風險因子外，系統也加進保護因子。最後，系統也需要進階的分析方法，即機器學習，包含好老師提到的隨機森林及高階統計的分析方法。根據學者評估COMPAS 預測的解釋力高達 73%，盤點再犯的重要因素，包含為早發犯或遲發犯、犯罪參與的廣度、邊緣性格、居住環境、職業、暴力史、反社會人格、生活休閒型態及活動等，這些因素構成一個人再犯的解釋率高達 73%。
統整英國及美國系統的特色：第一，強調證據為導向評估、檢視、再修正；第二，高解釋率的系統整合重要的各個領域，不只法務部門，包含教育、衛福都要跨領域對接，透過電腦演算法做進一步精進的分析。
量表組實際運作及結語
在實際操作上，我們找來第一線觀護人，這八位觀護人服務年資很長，並有諸如性侵、毒品、家暴等專股，他們對這些案類提供我們很多想法，比如提供一般性犯罪人的重要評估指標、危險因素、降低再犯率的保護因子。特別是針對我們鎖定的四個特殊案類，會提供加權風險因素的建議。除此之外，我們也找來國內犯罪、公衛、毒品、精神、社會工作等跨領域學者，針對我們所擬定的國內外量表及風險因素做焦點團體座談，提供建議讓我們修正。焦點團體座談認為量表應分共同性因素及特術性因素，針對一些權重也應有調整，在精神上的病歷應與衛福部對接、討論是否納入系統建置，最後的期待是能夠做操作手冊協助觀護人、提供輸入量表的指引。
簡單地總結量表組完成的研究，包含英國再犯評估及美國再犯評估量表的介紹，我們把觀護人使用的量表及透過專家訪談方式得出的風險因子解構出來後，提交風險清單a、b給保護司參查。
下半年的展望包含：第一，加強學者專家提出的意見，以及目前官方系統資料庫中動態及靜態因子的整併。第二，研究英、美系統的操作手冊如何運作，以作為提供觀護人第一線操作手冊的參查。第三，發展不同犯罪類型犯罪人之本土性量表與預測再犯因子。第四，跨部會機關收錄相關官方數據與測驗量表，建立精確預測因子，如接洽衛福部、內政部警政署等。第五，邀請觀護人實際操作本土性量表，並提出反饋據以修正。
問題與討論（敬稱省略）
鍾宏斌：
由於第二年期要開始建置自己的系統，則在接下來的工作當中，是否已經預想排除在這種大數據的再犯風險評估建置過程當中可能會產生的歧視的問題的方法？例如 COMPAS 系統就經常被批評有種族歧視，那如果在國內，也許可能在不同族群間產生類似問題，例如外籍歸化的或者是原住民或許也會產生類似的問題。你們有沒有預想怎麼排除這些問題？
賴擁連：
目前我們沒有考慮這個問題，因為在實務操作上，受刑人的人口當中原住民族群、外籍人口並沒有比較多。全台灣現在有五萬兩千二受刑人，外籍受刑人現在在北監也不過三百人。這與美國在這個州立監獄當中白人占百分之三十五、黑人占百分之四十五的情形不同。雖然 COMPAS 在族裔上頗受詬病，但在台灣，我們做實證研究不會去觸及到這個領域。以原住民來說，其研究完全受原民會保護，也沒有放入鍾健雄老師的報告中，我們的預測因子當中完全沒有種族、也沒有國籍，因為以案量或大數據的量而言，它們不足以支撐為顯著的因子。
陳弘儒：
我只有一個理解性的問題，賴老師提到美國 COMPAS 的解釋力是 73%，想要詢問解釋力的意義是什麼？也就是 73% 的計算方式是什麼？
賴擁連：
他的意思是剛剛我所報告到的、COMPAS 的八個風險因子構成了解釋再犯率因素的 73%。
黃俊能：
我們拿特定出的因子訓練後進行盲測，也就是輸入一個案例、我們預測它，然後評估是否預測得到。稍後鍾建雄老師會再說明。
黃詩淳：
若系統的風險因子是來自專家的焦點訪談詢問出來、應該要加權的因子，以及從資料庫過去案件中機器學習出來的因子，那麼怎麼看待從專家訪談得出來的、應該要加權的因子？因為它似乎比較不是從實然的資料而來，而是大家覺得應該要重視的因子，這部分在預測當中會不會影響未來的模型的準確率？
賴擁連：
106年我們在做的時候，法務部的資料庫並不是很精確，因此沒辦法用資料庫推估，當時就是用專家進行權重。這部分會利用類似AHP的工具，我們是用一次性CHPR做配對比較（pairwise comparison），算出權重。至於專家算出的權重與資料庫，到底何者比較準確，我們認為是相輔相成。我們另一個部分是做地理資訊，也就是犯罪製圖，如果處於犯罪熱區，我們也會加權，包含毒品的通路、製毒、賣毒、運毒高的部分，目前是打出犯罪的點位、算出犯罪熱區，第二、三年會繼續加強。
模型建立報告（鍾健雄）
我們的專案目標有四項，包含前述賴老師說的風險因子，第二項是建立一個model-based的系統，雖然我們這邊用大數據做，但不一定要用大數據，也可能是量表或其他模型，綜合後做再犯預測，第三是再犯模型未來實施需要的操作系統的研發，最後是建立所謂的a、b表，a表是由國內外量表獲得的影響因子，b表則是由現有國內資料庫能撈到的資料項目對應。根據這個目標，我們必須先了解觀護人的作業、蒐集相關資料並建構資料庫、在建構的資料庫中搜尋，最後萃取出可用、可見模的資料，然後建立再犯風險的模型，最後利用蒐集到的資料訓練我們的模型，最後做預測。
法務部保護司再犯預測作業現況
首先是法務部的作業現況。目前有兩個受保護管束人的來源，一是監獄釋放的假釋受刑人，另一則是法院裁定緩刑的被告，這兩類人會由地檢署分配觀護人進行督導、評核。因此，觀護人進入案件中，第一步要評估此人的社會危害性、再犯風險高低，根據評估擬定處遇計畫。一般而言每六個月做一次評估，但依據案類不同，例如性侵案類可能每星期都要訪談、評估。在案件中可能會接觸到一些資料，例如觀護人的案管資料，目前在檢察機關的案件管理系統下。觀護人進入案件管理系統後，可以依流程及既定時程處理案件，在裡面會有觀護的再犯註記，觀護人必須註記有無可能再犯，若是，則要採取不同的處遇方法。目前的再犯註記採取文書處理方式，必須進入函稿處理的功能，裡面要填寫分級表，類似賴老師提到的雷達圖的形式，但在分級分類表中，只有表格化的填寫。填寫完畢後會得出分數，各地檢署有不同計算、分類標準，這也是目前實務上遇到的困難、法務部希望能用比較科技、客觀的方式改進。觀護人可選擇個案，留下與個案互動的紀錄，如訪談紀錄，這些紀錄並沒有非常電子資訊化，很多是報告式的資料，如驗尿紀錄，其實很多是文字性的質化描述。觀護人在填寫分級分類表時，就會針對八個面向依據個人主觀認知填寫，填寫後產生分級分類再犯的評估。法務部希望用大數據的方法改善再犯預測，我們團隊希望能夠用機器學習的方法來做這個預測。
應用機器學習方法於再犯預測
再犯預測基本上已經很久了，但是近二十年來慢慢有一些比較客觀的運用，比如納入風險評估，甚至於近年來由於大數據分析的方法演進，有很多人用機器學習的方法做預測。我們蒐集了很多的相關論文，因為基本上想要做四個案類，所以我們也比較針對毒品、竊盜、性侵、暴力蒐集論文。我們所蒐集到約十篇左右的論文，我們會探討方法論。這些論文都是採取機器學習的方法來做一些這個再犯、犯罪或量刑預測。在文獻中可以看到各種不同的方法，有回歸（regression）、樹狀圖（tree diagram）、類神經網路的方法等等。針對我們所要探討的各種不同的案類，我們研究文獻、從這些文獻裡看到他們用哪些影響因子作為變量去做分析。同時我們也看到，這幾篇很重要的論文裡，資料來源是各國家有類似國家級的資料庫來支援這樣的研究。我們也認為如果我們的案子如果能夠幫法務部建立一個這種資料庫的雛形，也是某一種的貢獻，因為不論智利、泰國、澳洲等，都有自己的研究中心，蒐集再犯資料，包含回到社會後二到五年之間的資料都有後續的追蹤、蒐集。
在這裡面，我們看到一篇重要的論文，由美國National Institute of Justice所發表，是美國的賓州大學跟費城政府負責成人假釋與緩刑，即相當於保護司的部門合作，開發一個電腦化的程式評估假釋犯回到社會後兩年之類再犯的可能性，而且這套系統已經實際運用在政府的作業上，截至今年（2022年）已經超過四年的實際運用時間。在系統運用上，它同樣是把假釋個案區分成高、中、低風險，然後再採取處遇措施。這篇文獻特別提到，他們所運用的預測技術就是隨機森林。由於我們去年只有四個月，沒辦法一一研究每種機器學習方法，所以也比較針對隨機森林的方法進行運用。
賴老師他們會幫我們整理、了解到底會牽扯到什麼樣的靜態因子、動態因子及犯罪歷史等資料，這些資料是我們必須要去收集的，所以我們的資料裡參考了賴老師那邊做的訪談紀錄，很多的觀護人提供我們非常寶貴的意見，另外我們要搜集本土化的資料，以本土化的資料庫裡的資料作為基礎。我們基本上是串接法務部的資訊體系下面的參各資料庫，包含保護司觀護人的案管系統資料、獄政資料、刑案資料。取得這些資料後，我們就會進行資料清理及資料探勘，找出一些可用的因子，以 data driven 的方式做監督式學習（supervised learning）的資料探勘學習，最後希望能夠達到我們的決策目的。我們主要運用監督式學習的方法，這個方法有一個特徵是，當我們蒐集到每一個個案時，我們先會去找出他的關鍵因素（feature selection），找出feature後，針對每一個案是否再犯，進行結果（output）變數（variable）的分類，據此交由監督式學習的演算法計算，最後會產生出來一個結果。在這個過程中，我們會把資料分成兩個部分，第一部分是訓練的資料集，第二個部分是驗證的資料集。在訓練資料集部分，我們會調整模型的參數，調整完後再用訓練資料集測試，當我們在訓練資料集把資料輸入時，會把最後實際是否再犯的項目變數拿掉，所以有點像盲測，根據盲測的結果就可以計算模型的準確率。
我們所使用的是以決策樹為基礎的隨機森林方法，那我們做了一個使用的情境，大致上是我們搜集完資料，這些資料會幫助我們建立模型的資料集，然後進行模型參數的調整、選取屬性訓練模型，最後會產生一個再犯風險的預測模型，觀護人在模型產生完後，我們會提供給他一個介面，觀護人根據這個介面把新一筆個案的相關屬性輸入在這個介面裡，放到我們的模型裡執行，產生出一個再犯、非再犯的機率值。
接下來介紹一些巨量資料導入的步驟，大致有七大步驟。第一個步驟是資料蒐集，我們會設計資料蒐集的計畫，然後蒐集資料，蒐集來的資料是原始資料，會經過資料清理處理，然後把關鍵項目抓取出來變成建模的資料集。在這個過程中，我們需要做很多資料的清理，乃至於遺漏值（missing value）的處理。接下來我們會選擇模型、訓練模型，我們的模型基本上是用隨機森林。在訓練模型、驗證準確度時候，我們有運用交叉驗證（cross validation）方法，工具是利用 Python 的程式語言，使用scikit-learn的工具做模型的開發。
資料蒐集與模型建立
在資料蒐集部分，法務部的資料系統相當龐大，我們是蒐集三個主要的系統──觀護人案件管理系統、刑案資訊整合系統、獄政管理系統，從這三個系統撈資料。觀護人系統的部分包含觀護人的基本資料、約談紀錄，或毒品案中受保護管束人的驗尿紀錄等。刑案系統部分，我們獲得的是偵查及審判資料。值得說明的是，我們在和觀護人訪談時，士林地檢的主任觀護人提及，觀護人評判有無再犯的方式是法務機關有無開始偵查，如果開時偵查，再犯的可能性就很高。獄政管理系統的部分包含在監資料、有無受過矯正、在監獄中的表現良好與否等。由於時間關係，我們的蒐集計畫針對北北基桃的幾個地檢署，約能蒐集兩三千筆資料。由於這些資料庫不在法務部、而是在各地地檢署觀護系統中，所以我們以介接形式，由地檢署將資料傳給法務部資訊處後，再統整交給我們。原本我們想獲得 107 項資料，經過保護司與資訊處的協調，最後取得 77 項。圖三呈現資料空缺的情形，舉例而言，婚姻、兵役資料、公司地址乃至居住地址都有很多空缺資料，較完整的資料是戶籍資料；獄政資料部分，前九千筆是空的；刑案資料部分則較為完整。另外，蒐集到的資料中，也有同一案件對應多個案號的情形，比如觀護人與檢察官各給一個案號。
另一個根本的問題是，目前蒐集到的觀護資料多為靜態資料。儘管有動態資料，但這些資料多是觀護人與受保護管束人在約談過程中的紀錄，有些缺乏電子化，有些是以Word的檔案形式呈現，都是質化的資料，如果要用大數據建立模型，有相當的挑戰。
我們總共獲得約十七萬多筆的個案資料，經過統整後，剩下三萬四千多筆獨立的個案數。這些資料要經過轉換，比如年份的轉換、獄政資料與案館資料的交叉補齊。整理完後，我們開始進行屬性的選取，包含性別、教育、健康、年齡、採尿次數、保護管束長度、在監服刑長度、監獄內違規／獎勵次數、有無再犯註記（又分期間疑似再犯、期滿再犯曾押、期滿疑似再犯等類型）。觀護人的再犯註記其實並非真正的再犯資料，因為資料量的不足及研究限制，我們是先以再犯註記作為分類。
在模型建構部分，我們會為資料編碼以提升模型執行過程的效率。由於每種案型的再犯與非再犯數量不同，為求機器學習方法訓練與測試時之公平性，我們將留下相同數量之再犯或未再犯個案資料。建模部分，我們使用的是隨機森林，所以我們做一些計算實驗，從再犯與非再犯數量較大者抽樣，使再犯與非再犯資料量相等，然後開始進行模型建置，我們會用交叉驗證的方式進行十次，計算平均。
隨機森林是一個集成式的演算法，把多個模型整合在一起，以投票或平均的方式決策。隨機森林中有兩個關鍵的隨機操作：第一，在訓練資料及中隨機抽樣一定資料建立決策樹，而有降低變異數（variance）的效果，這個過程稱為袋狀算法（bagging）或引導聚集算法（bootstrap aggregating）。第二，隨機森林每次建立決策樹時，在每個分割節點都會隨機選取不同屬性。在測試階段，我們會做出測試資料集，把實際的分類結果拿掉進行測試，再和分類結果比對以檢驗準確性。在建模時我們還採取了超參數（hyperparameter）的處理，以找到最佳的參數，所以我們就會選取例如隨機森林應該要有幾棵數、樹的最大深度，然後利用grid search做網格搜尋，再利用交叉驗證的方式找出最佳的森林，最後匯出一個可執行檔，整合在我們的系統中。
我們用不同案類、不同訓練數量做了三個實驗，然後計算訓練準確率與測試準確率。在訓練準確率有百分之八十，訓練準確率的計算方式是在每個個案訓練中給實際的分類結果，根據結果調整模型參數產生模型的準確率。測試準確率則是再用另一組測試資料，拿掉實際分類結果後預測所產生的準確率，約有百分之六十，這並不是一個好的結果，因此我們慢慢進行調整。在隨機森林裡，我們確實可以看出一些特徵屬性的重要性，以毒品來說，年齡、保護管束期間、採尿次數、神智及健康情形就是重要的，我們會拿這些屬性與觀護人討論。在精進的方式上，我們做了一些調整，例如在考量的因素上，將總驗尿次數改為月平均驗尿次數、新增首犯年齡與前科紀錄；在分類上，我們參考國外文獻，找出受保護管束者的刑案紀錄，根據受保護管束期間或期滿兩年內的犯罪次數呈現有無再犯。精進後我們重做毒品的案型，訓練準確率提高至百分之九十幾，測試準確率則達百分之七十五以上。以毒品來說，採尿次數是顯著因素，觀護人如果認為毒品犯會再犯，就會實施較密集的採尿檢驗，他們也相當關注前一年的犯罪歷史。暴力犯的部分準確率有一些差異，影響因子有有所改變，包含前一年的犯罪次數、年齡。
在這部份我們有幾個結論：第一，質化資料如何數值化是一個挑戰，因為數值化的問題，我們整體的數據量有限。第二，資料要很足夠才能提升準確度，性侵兩年內再犯的資料只有六十六筆，就無法做再犯的預測，士林地檢的主任觀護人指出，因為性侵案件較受社會矚目，因此每個星期都要報到，在重大的情形會有電子腳鐐的管控，因此再犯動機較少。所以針對再犯註記，我們還要再進一步釐清。第三，不同案類也還有不同特徵屬性要找，這是未來要做的。第四，我們希望有更多專家意見幫助我們定義數值化、編碼，未來希望增強資料的完整度與數量，包含怎麼納入動態資料。
資料庫管理、規劃設計
在資料庫管理的部分，目前我們彙整三大資料庫的資料，未來可能納入量表資料，使量表施測完畢後的紀錄進入系統，產生預測模型的訓練與測試資料。資料庫的設計是採用關聯式資料庫（relational database），把蒐集到的資料拆解成較細的資料表格，在表格間做資料的關聯性，使資料搜尋更有效率。
我們得出的特徵屬性會產生b表，而賴老師從國內外量表找到的重要因子會產生a表，由黃老師進行比對。目前從電子資料庫獲得的特徵屬性仍然不是很夠，我們希望能夠從案件管理、刑案和獄政系統介接資料後建立一個資料庫，根據再犯評估產生風險預測模型。我們的案子分為系統介面模組、再犯風險預測模組、GIS運用模組與資料庫管理模組，支撐我們的再犯風險預測。未來希望整個系統的運作是觀護人在各地檢署可藉由網路連到我們的中央伺服器，至於伺服器的位置仍須再規劃。裡面會有網頁伺服器、模型運作伺服器與資料庫伺服器。除了透過桌機、個人電腦登入，也規劃透過平板電腦登入，因為觀護人有時必須面對面與受保護管束人訪談。
建議
我們的建議是有以下幾點：第一，觀護人紀錄的數位化。觀護人紀錄中有很多動態資料，例如薪資、與家人的關係等，都不在我們的電子資料庫內。所以我們今年希望能建立一個個案訪談紀錄的介面，幫助他們以數位化、電子化的形式記錄這些資訊。第二，資料介接上我們希望能納入更多資料做研究使用，在國家級的研究中心上也希望能建立這樣的資料庫支援後續研究。第三，這種預測模型可能走向model-based，也就是不一定要運用大數據，可以是量表或其他形式，這種預測應該用多個不同的模型支撐，否則在如性侵的案件中，成案數過少就難以判別。
問題與討論（敬稱省略）
李建良：
所謂的再犯風險值，也就是輸入犯人資料後顯示出的風險值，會如何呈現？是高／低風險值的結果，還是會顯示風險因素為何（例如家庭、就業、場地因素）？
鍾健雄：
我們最後做出的結果會同時提供再犯與非再犯的機率質，在做決策支援系統時，最後必須做人為的判斷決策。如果機率是各 50%、51% 及 49%，實際上不太能推估實際情形、有沒有再犯；但如果再犯機率達到 90%，就可以做決策。根據這樣的規則可以告訴我們什麼機率是高風險、低風險，如果算出比較沒有高低風險差距的範圍，可能就定為中等。這是我們要繼續往下，根據再犯風險的機率值再去做一個所謂的 decision rule。
蘇凱平：
我有兩個問題是關於系統本身的模型設計、兩個問題是關於系統本身的作用。
在模型設計的部分，第一個問題是，權重的制定包括了從法務部的三個資訊系統（刑案人、觀護跟獄政管理系統）的資料，也包括了跟專家深訪的結果。若是如此，這個系統裡面的因子選擇是實然面跟應然面同時存在的，這樣的設計是相較過去的情況可能較為陌生。比如司法院的量刑資訊系統是實然面的，即過去法官怎麼判、怎麼量刑。另外一個系統就是由專家學者、焦點團體做出來的，這兩個系統是分開的，而且一直以來被認為分開是有必要性的。但是這個系統應該是把應然跟實然的因子放在一起，那麼放在一起的考量是什麼？要怎麼樣去避免因為放在一起的權重的問題？譬如說實然的資料（觀護人再犯的風險評估、再犯註記）中某個因素是很重要的，但是一部分的專家學者不認為這是重要的、或者不應該是這樣看待，此時系統怎麼去處理？
第二個部分是，我理解的random forest我是多個決策樹，等於是樹型的概念，剛剛鐘老師有提到投票機制的問題，這個模型的設定是單純的少數服從多數？還是有權重的機制？這會影響到多因子的預測上，隨機森林的風險是，多因子再將權重的因素考慮進去的話，會變成重者更重輕者更輕，就會成產生不平衡的情況。那怎麼樣去克服這個問題？
針對系統本身的作用，第一個問題是，這個系統的目的是什麼？如果說這個系統的目的是達成更妥適的再犯評估風險評估，這樣的作法其實已經超出處遇個別化的範圍。如果說系統的目的是希望改善既有觀護人註記方式的侷限、希望觀護人能夠多參考其他的因素，於此同時就有可能用機器學習的方法、將別人的綜合因素用以特定個案，可是個案的情形不一定如此。這個也是 COMPAS 在美國被最詬病的地方，它其實不能反映個人處遇的原則。那麼系統打算要達成什麼樣的目的？
與此相關的第二個問題是，作為系統的開發者，是否認為這個系統的使用上應該有什麼限制？如果系統認定的再犯機率是百分之九十、不再犯的機率是百分之十，但是負責這個個案的觀護人根據經驗認為不會再犯，因為黑盒子性質，不知道系統為什麼、也無法解釋系統如何算出，此時觀護人的決定應該要受系統的拘束嗎？還是說就是最後是人為的決定？
鍾健雄：
針對第一個問題，第一，機器學習或人工智慧的方法有一個重要的基本概念是資料驅動（data driven），是使用所謂的歷史資料，資料有其可用性，例如在個案中沒有再犯，就可以用此一架構推論。這裡遇到權重因子（影響因子）的問題，在特徵選擇（feature selection）上我們還在起步的階段，要慢慢了解是否有更決策性的因素要納入。在人工智慧中有 case base learning，但在這個研究案中我們設定的方向是用歷史資料去學，找出為什麼產生這種分類、它的特性與關聯性。第二，就不同影響因子的權重，我們希望能夠納入法政、觀護系統的專家協助，這不一定是數據上的問題，有時是人為的看法、決策，能否把人為的決策權重納入系統，誠如蘇老師所說，在隨機森林裡可以給它們權重，但我們並沒有這樣做，因為我們無法找出那種權重的結構。
其實我們在做這個系統的時候，也看到在國外有很多文獻在討論人工智慧系統用在特別是法律、法政方面，會不會有偏頗這的問題。但是我們在去年這個案子裡，其實最重要的就是對於我們方法論的一些驗證，到底我們是不是能夠用一些科技方法推導出一些結果。所以剛才提到會不會不同的人有不同的見解，我覺得的確會有這種情形發生。可是對我而言，因為系統工程主要是在做資料處理，我覺得大數據這樣的一個方法，或許可能可以看到一些我們在決策方面有的時候忽略的地方，這對我們來講可能會比較實際。當然不能夠完全用大數據，所以其實在處理很多這樣的問題時，也許我們必須要使用所謂的model bases，有不同的model、不同的方法的進來處理，可能會比較客觀一點。
蘇凱平：
鍾老師在2017、2018年時就做過毒品及暴力犯罪再犯因子的大數據分析，當時用的並不是 random forest的方法，請問為什麼方法選擇有異？
鍾健雄：
由於計劃案的時程非常短，我們找了很多文獻，也有想過要不要使用 deep learning 的方式。但我們發現隨機森林在很多文獻中有用到，而且在剛才提到的費城案例裡也是成功地使用隨機森林。另外，我的博士論文是用決策樹（Decision Trees），對我而言決策樹比較有可解釋度，用神經網路（Neural Network）可說是比較黑箱的作業，無法知道其中的權重（weight matrix）是什麼，用決策樹就比較能看到每一個決策的因子、它們怎麼分割，會有決策的規則（rule）。透過這個規則，就可以從決策的訓練找出結果。隨機森林又更進一步，可以解決變異數縮減（variance reduction）的問題與偏差（bias）的問題。
賴擁連：
蘇老師提到的部分非常重要，是我們研究過程中遇到的問題。第一個部分是實然與應然的部分，我們是數據庫，質化的部分應該要整合進來，但一般而言都只有量化資料而沒有質化資料。我們面臨到很大的問題是，台灣現在的數據庫如剛剛鍾老師呈現的，有很多遺漏值（missing value）。觀護系統或刑案的部分我不清楚，但就我所知，在監所的部分，有很多第一線從業人員並沒有據實填載資料，甚至像心理測驗的量表也做得不是很完善。因此，這個不精確或遺漏值很多的變項根本沒有辦法去預測。在要克服這個問題的情況下，我們必須透過值化資料來輔助，觀護人用面談的方式把各案的動態資料收集進來，所以下一階段我們就必須設計量表，把訪問資料變成一種指標性的輸入，然後成為因子，並進行預測。
第二個問題是，如果學者與專家（觀護人）的看法不同怎麼辦。以預測百分之九十、但依經驗不會再犯的案例來看，我們可以分兩個角度觀察。其一，學者、專家之間，我們會更貼近專家，因為這個系統是一個輔助，最後仍要人為判斷，觀護人是第一線的使用者，他比較清楚那些指標、因子。確實，學者提供很多意見，但和第一線觀護人比對後，我們發現他們要使用的因子和學者考慮的不同，既然這是他們未來要使用的，我們更側重他們的意見。其二，觀護人自己也提到有很多他們的主觀意見，因此希望找客觀的系統輔助，因此即使經驗法則告訴觀護人不會再犯，但如果有輔助系統指出誤判的可能，最後還是要由第一線觀護人提供權重的經驗法則，將系統修繕得更好。
韓其珍：
第一，英國犯罪評估系統（OGRS）是如何取得的？是法務部發函幫忙取得？還是老師們直接去買的？
第二，臺灣對於犯罪有無長期追蹤？以日本古田順子案為例，四名罪犯都是未成年人而沒有被判死刑，其中有三人再犯重罪，引發日本反思再犯的衡量標準是否合適。在臺灣，是否對於犯罪人有長期的追蹤？以毒品、性侵、竊盜為例，如果沒有長期的數據追蹤，就無法評估系統的準確度？
另外，回應實然與應然的討論，在國際洗錢防治上，開戶的時候會有風險評估，法遵長或法務長評估的風險是依據經驗。所以或許實然和應然之間最終還是要仰賴專家的評估，因為學者並沒有很多經驗。就洗錢防制來說，每間銀行的標準必然不一，這就是經驗、每一個會計事務所的顧問端的經驗。這個系統做出來之後，是否是以老師們的經驗評估這個系統有沒有做對、做得確實？
第三，想請問選擇深入做毒品的再犯的理由是什麼？美國文獻上有些是用竊盜來做，以竊盜為測試看標準做得好不好，想請問老師選擇毒品是否有特殊的理由？
黃俊能：
我們是根據統計證據，不是憑經驗的，主要的內容是做目標決策，它是由專家做權重的分析，再去進行驗證。
關於為什麼做毒品，事實上在這幾年年輕人使用毒品的頻率很高，還有很多是屬於混和性的毒品，這對於年輕人還有對社會的危害很高，這是我們現在遇到的問題。委託單位達成共識，所以在一百零六年委託的時候是毒品，所以我們就做毒品。
賴擁連：
第一，英國跟美國比較不一樣，英國基本上都有把這些資料釋放出來，所以這些資料其實一些公開的資料，然後我們從當中學習、翻譯。至於怎麼操作，目前可能要進一步去洽談，譬如說透過駐外的單位或合作的學術單位去要到第一手的資料。不過文獻呈現的資料庫基本上都是網路上，還有一些翻譯資料。
第二，關於國內的再犯追蹤，這是我們目前比較困難的部分，在國外政府部門都會釋放資料、找學術單位合作，臺灣這塊可以發現很少。比方說，擁有資料庫的法務部，內部的資訊處在部長詢問或者是立委質詢時會把資料帶到立法院分析，但這樣的資料並沒有長期持續，可能是有人問才會去做，所以並沒有定期就資料庫做追蹤研究，不然就是要委託外在部學術單位。因為我們要做輔助系統才會去跟他要這個資料，這個過程中其實也有很多困難，有一些雙方認知的不同，特別是個資的這個區塊。早年我們系上的老師就有做追蹤，因為大概二十年前比較沒有IRB審查，所以他們都有身分證的資料，因此就我所知，他們都還在研究這些犯罪人的再犯罪率。
就實然跟應然的部分，確實我們後來發現實務工作的經驗法則很重要，但是我們如何把每一個人的主觀變客觀，是我覺得更重要的部分，因爲每一個觀護人就像你剛剛說的法遵長，他們做多了這種判決判斷之後，他們會覺得有一個沒有所謂的實證據支持的感覺。這些觀護人跟我們聊的時候，他說我都是按照過去的經驗法則來做判斷。但是他們也提到，如果有一個數據庫、有一個所謂的實證基礎輔助、協助、支持他的判斷的話會更好，所以我們會往這個方向前進，大量地以他們的經驗法則，而不是學者的法則，來做我們系統的建置，。
最後，什麼是選擇毒品，黃老師有提到，我們的竊盜犯罪在過去二十年減少了百分之九十，所以竊盜犯罪在台灣並不是很主流的犯罪型態，包含汽機車竊盜都下降了百分之八十五以上。從第一線的觀護的回饋，毒品是現在的hot issue，所以我們對接實務的需求，選擇毒品做我們的分析。
黃俊能：
關於追蹤的部分，只要是這個犯罪人還在假釋或緩刑的過程當中，就必須要做社區處遇、回到觀護人這邊做追蹤。警方部分其實也有資料庫，在轄區裡都有一些資料庫，警方在辦案時會使用到。犯罪人如果經過機關處遇，或者處遇結束，基本上有人權保障，原則上我們不允許或不容許對他的個人資料追蹤。在美國性侵犯是一輩子被追蹤，用 Megan law 作為法源基礎，但是台灣並沒有，所以我們也嘗試做犯罪人的 warning system，在台灣很難執行，因為我們對人權的保障比較高，我們認為犯罪人已經執行過處遇，所以不可以再繼續追蹤或做不平等的對待。 有關洗錢的部分，我比較少涉獵，洗錢基本上還有是一些徵兆，金錢的進出、人員的掌握、通道、洗錢管道等，這個部分我比較沒有辦法提供意見，像我們這樣的報告其實都會做一些整理放在如網頁上。
