公共性與AI論壇（九）
2021年6月30日（星期三）

主持人：李建良（中央研究院法律學研究所特聘研究員兼所長）
主講人：林勤富（國立清華大學科技法律研究所副教授）

◎ 整理與校對：蔡士豪、林耘生、何冠霖、楊蕙亘（國立清華大學科技法律研究所碩士生）

這個題目其實還是一個思考的半成品，可能還沒有確切一個的論述（argument），所以今天的目標是與大家分享「演算法治理」的透明度（transparency）問題，而不是提供解答。各國這幾年在修法例、法治設計的討論裡，都有提到透明度、透明性原則等詞彙，卻比較少花時間討論「透明度」的意涵。透明度是否依據不同對象，有不同功能定義，或層次、類型上的不同？所以，我今天想打開透明度的「黑盒子」、拋磚引玉，讓大家一起討論。

不管在討論人工智慧的治理或運用上，有很多詞彙都是大家關注的重點，包括可解釋性（explainable/explainability）、可理解性（interpretable/interpretability）等不同面向，在這些名詞之中，要使它確實能在法律政策上運用、操作，必須釐清這些詞彙與透明度面向有什麼異同。我今天也嘗試從透明度的歷史背景鋪陳，再探討到近年討論的人工智慧運用，以及公部門在公共政策制定或行政決定時的應用，甚至是法院的使用。

透明度之發展脈絡及其倡議

傳統上，透明度的討論主要圍繞在「政府作為的透明程度」。其實在很早之前，公開性（publicity）就已經有人討論，特別是政府資訊與檔案公開，將它視為控制政府行為的一個方法，也可以增加公眾對於政府運作的基本理解，進而提供信任基礎，並確保可課責性。

但在1990年前，透明度這個詞其實很少使用，至少在文獻上面很少出現。我們可以從Web of Science看到使用趨勢。早期不說「透明度」，而是「公開性」，像是美國前總統Woodrow Wilson所說，「公開性是檢驗政府承諾或權力平衡的重要工具」。但在另一個角度，當時也有人認為，公開性只限於專家、菁英或決策者，而非一般公眾；也有一派認為應該要賦權（empower）一般公眾才有辦法達到功能。

美國制定〈資訊自由法〉（Freedom of Information Act）等相關程序法後，始強調人民有知的權利，並可作為參與的主體，以及公共政策的可課責性。開始特別使用「透明度」這個詞，早期是用於金融法，特別強調企業要有透明度，才能促進監管效能，然後慢慢轉移到企業層次以外、政府也應該要有透明度概念，來確保苛責並阻絕貪腐。

也因此，1990年代之後，開始有許多對於透明度的討論，我們可以看到統計趨勢一直往上。在2008年金融海嘯之後，因為消費者保護等議題，透明度受到了更大的關注，在更近期討論演算法人工智慧運用的時候，透明度又有新一波的討論，探討其應用跟功能上的強化。在此就先略過歷史背景部分。簡而言之，大眾期待政府部門在進行公共政策、行政決定或是其他有法律效果的決定時，需要有一定程度的透明度，今天分享的內容也比較圍繞在公部門的運用。雖然演算法治理也包含私部門可能對人民權利造成的影響，但今天還是聚焦在公部門的部分。

所謂治理，其實還是視最終決定的內容而定。如果只是判斷貓狗的差異，就不是演算法治理時要討論的問題，而應該是資源分配問題、導致社會上利益與成本之間的負擔分配，或是機會分配等，也包括做成的決定可能會造成人權衝擊等問題。這些屬於政府運用演算法人工智慧進行重要決定，那就需要有透明度的要求，那關於這個要求是什麼呢？哈佛大學Berkman Klein Center for Internet and Society 針對人工智慧的原則（principles）與準則（guidelines）有做出這份概覽圖。那可以看近年來，私部門、公民社會、國際組織到各國政府所訂出的法律規則或指引，包括了很多共同主題，其中一個就是「透明度」及「可解釋性」（explainability），在不同文件中都陸續出現過，而且是佔比及重要性都蠻高的一個原則。

以下這也是Harvard Berkman Klein Center for Internet and Society從2016年開始做的，持續梳理不同時期、不同機構的規則，如：Microsoft的自律文件、〈多倫多宣言〉（Toronto Declaration）、〈蒙特婁宣言〉（Montreal Declaration）、IEEE出版的人工智慧設計準則文件（Ethically Aligned Design: Prioritizing Human Wellbeing with Autonomous and Intelligent Systems），以及OECD的G20文件等。不過，他們著重的面向以及對透明度的理解都不太一樣。

最早在美國國家科技委員會的文件裡提到，透明度不僅是公開使用資料及演算法，並且系統性地包含個別AI決定的解釋性，也就是個案判斷上要有可解釋性。微軟也將透明度跟可理解性連結在一起，認為演算法詮釋其實有很高的主觀成分，必須要讓使用者可以理解，這個主觀的面向也導致可理解性與透明度會有很多不同層次的解釋。而〈多倫多宣言〉強調，透明度必須要包含解釋性和可理解性，這也有其主觀面向；〈蒙特婁宣言〉則比較注重演算法的揭露，只要政府部門用了「決策演算法」（decision-making algorithms），原則上必須要讓全部的人可以取用，但對可理解性則未特別著墨，因此較像是公開揭露演算法。

在歐盟草案出來之前，歐盟人工智慧高級專家小組（High-Level Expert Group on Artificial Intelligence）所訂出的指引，也提到透明度必須包含整個演算法的生命週期（life cycle），從數據與系統建立到商業模型，但它仍然在討論系統層次，而不是個別人工智慧判斷上必須的透明度。而IEEE規範所包含的層面更加廣泛，必須要讓各個的利害關係人（stakeholder）理解。它也包含前面提及的主觀成分，而且層面更廣，除了可解釋性，還有可追蹤性（traceability）及可理解性。IBM的倫理規範中也有提到一些取捨問題。由於可解釋性跟準確性通常呈現負相關，若AI愈準確，其透明度及可解釋性就愈低，所以IBM在這部分有特別強調。

從近年不同的官方文件中，可以看到雖然有些共通點，但對於透明度一詞的涵蓋面向仍然廣泛。有些強調系統層面、有些強調商業模型的運用跟設計、也有一些強調個案（使用者、利害關係人）應該如何理解透明度本身，所以有很多不同的面向。但整體看來，各方都把它當成較有功能性的原則；如果沒有透明度，可能不容易達到其他對演算法要求的基本門檻。

透明度還可以連結到許多備受關注的核心價值，包含公平性（fairness）、非歧視（non-discrimination）、安全與保全（safety and security） 等。但「透明度」或是「演算法透明性」（algorithmic transparency）到底所指為何？我們是談論系統還是個案的透明度？要到透明到什麼程度才能符合要求的？或是實際上並無法一概而論或單純二分，而應該用一些基本的判斷標準區分透明度的不同層次及種類？

透明度之優勢與潛在缺陷

透明度有一個很重要的好處：確保可課責性。如果資訊不公開（無論是何種資訊），恐怕很難達到可課責性的要求；透明度也可能促進公民信任，透過公開政府行為來減少貪腐，或是揭露財政支出等決策過程，以提高運作效率；也有人認為，透明度可以減少資訊不對稱，進而促進市場競爭、消費者保護，並在政策審議與決策的過程中加入更多資訊、強化正當程序。在政策審議的過程中，無論是否主動參與決策過程，至少能讓每個人都可以被動獲得相關資訊。從近期演算法治理的角度來看，透明度也能夠促進可解釋性，也讓被影響的人相對有辦法去挑戰或增進這些自動化決策的結果。

如果從潛在缺陷及壞處的角度來看，第一是透明度所帶來的負擔。行政與財政成本將大幅提升，因為揭露、公開及說明會帶來額外的成本；再者是限制創新，特別是前述也有提到，越「好」的人工智慧其可解釋性與透明性都會比較低；如果過於要求透明度，可能會讓最好的AI無法有效發揮實力。

利害取捨也是個問題：有些資訊也許不適合或沒有提供必要，但卻也有人認為不應有所保留。那這個等一下也會談到，就是還是有一些trade-off的問題，就是可能從他的風險高不高來決定說他應該要在什麼情形，什麼時候畫出那條可以用的跟不可以用的界線，那也有人提出來說透明度如果沒有辦法完整，或者是有些不合適或是沒有必要的透明度的提供，將會讓負擔變很大，所以要怎麼樣做出合適跟有意義的處置也可是一個很難的問題。

那這是比較邊緣一點點，透明度也是被拿來當成一個工具，現在不管是國際組織還是國家，都把透明度當成是一個對象的置換，就是把人民當成透明度要求的對象，那可能就會增進一些不正當監管（surveillance）的問題。那還有一個常被提出來的缺點是資訊過量。過量資訊讓人無所適從，因此若要求政府資訊一次提供大量（難以檢索的）資料，反而會阻礙人們積極了解內容，無從實現可課責性，並容易延伸出一些問題，包括：一般人民或資源不足的人，可能需仰賴一些中介者的詮釋，或者經過濾的資訊還會導致一些額外的問題，而資訊的過度提供也會讓工作變得焦慮，因為沒有方向而完全無法理解、無法執行真正的判斷等問題。

當然，很透明的系統可能還是會有些脆弱性（vulnerability）。例如近年來廣為人知的民主威脅，就是指利用民主自由的透明度去操縱民主，或是創造一些扭曲的數位現實（digital reality）影響公眾意見的形成。以上是從系統脆弱程度的角度來看，快速回顧透明度好處及壞處的討論，等一下分類時也會反映出相關的考量。

以演算法黑盒子類型區分透明度

這邊有個政府治理「演算法化」的例子，下圖為國家當局，傳統作法是考量相關規範、事實與證據後，做出一個決定，並允許受到影響的人提出挑戰。但在演算法的情況下，其運作演算常被包裹在一個系統裡面，外界只能看到一個黑盒子（black box），使得受影響者無法檢視或挑戰這個決策過程，這是缺乏透明度所帶來的問題。

黑盒子問題可以被細分為幾個不同種類與原因。第一個稱為「法律黑盒子」（legal black box），可能因為其專有演算法（proprietary algorithms）受到智慧財產權保護，無法向社會大眾公開，因此人們不知道演算法如何運作、哪些因素會影響決策或建議等。這種是因為法律保護而生的法律層面的黑盒子。

第二是「技術黑盒子」（technical black box），特別出現在深度學習與機器學習技術。就算透過法律要求揭露而突破智財權保護，我們仍無法完全理解其運作方式；即使知道演算法在不同節點的權重高低，其中每個步驟的因素可能還是無法被轉譯、解釋。這個問題比較接近前述對可解釋性要求的討論。

第三是比較廣泛的黑盒子，即「知識黑盒子」（epistemic black box）。科學與科技的識讀能力，也就是對於背景知識的瞭解、對於技術的認識，會影響個人是否有打開黑盒的能力，或是打開之後能理解的程度。

這些不同的黑盒子點出一個問題：我們想要怎麼樣的透明度？如果透明度指的是公開演算法內容，那我們只要處理法律管道；如果不僅想要公開內容、還要求內容可以被解釋，那麼，這個可解釋性的適用對象是誰？這是第二個層次的透明度。第三個層次的知識透明度（epistemic transparency）會更難達成，需要一定程度的科技識讀力。這是另一個必須考量的問題。

除此之外，在詮釋的過程當中，還有其他會影響透明度的問題。例如人與機器或AI互動時，可能會產生心理上的錨定效果（psychological anchoring effect）。例如法官可能不願意挑戰機器的建議，因為它告知你那是比對一百萬筆案例後確認出來的結果，不僅「準確」，還經過專家認證，因此可能讓法官不願意去挑戰它。這種「人機互動黑盒子」，是前面三個黑盒子沒有處理到的問題，要達成這個程度的透明度也許會更困難。還有一些因為演算法預測或可近用性提高了之後，在組織層面給對決策者造成壓力的狀況。決策者如何使用演算法來進行決策，背後也會有一些透明度的實質層面需要被納入考量。以上是傳統上演算法層次的決策過程。

透明度背後的黑盒子，可能會有多個面向要處理，所以當我們要求決策過程或是演算法系統必須遵循透明度原則的時候，如果沒有定義所要的透明度程度，其實是很難操作的。我們到底想要的是法律層次、科技層次，或是知識層次的透明度？這些不同種類的透明度都必須要被處理，才有辦法具備一些基本的可操作性。

人類決策過程之不同層次與透明度難題

人類的決策過程可區分成不同的階段。首先是最傳統的，先參考資料、事實及證據、法規等，在思考過程中達到心證，然後做出決定。科技進步了之後，人們能利用資料庫收集，比對更多相關案件、參考國外做法等，在科技輔助之下做出決定。以上兩者是我們熟悉的決策方法。

這兩種決策方法也會遇到透明性問題，因為依專業訓練及直覺做出來的判斷，可能不容易用語言跟文字解釋。也有很多文獻提及，人類其實是先得到結論，再思考各種理由去支撐結論。以判決書為例，上面所寫的未必是法官推導出結論的具體過程，所以判決書的內容與真實情況可能有一段距離。當然，他的解釋與說理可以被檢視與挑戰，但這不一定是他思考的實際過程，不能反應完全的事實。

這個也是一個透明性的挑戰。目前進到第三階段，開始有了演算法的參與，例如法院的判決輔助系統，如：再犯率的評估等，該系統所給的輔助參考資料、甚至是決策建議，都可能會影響決策者。最後層次就是一個完全自動化的決策過程，完全沒有人類參與，以GDPR所規範的對完全自動化處理決策之拒絕權（right not to be subject to a decision based solely on automated processing）為例，例如有一條寫道「不被完全自動化的決策來做判斷」。有關這個部分，各國做的大概還是圍繞在第三個階段（即演算法參與人類決策）。

就算是在第四個層次， GDPR的拒絕權也沒有特別考慮透明度因素。也就是說，只要程序是完全自動化的，無論其是否透明、透明度高低，人類都可以主張拒絕權。因此，如果只是一個完全自動化，但卻簡單、線性的決策，同樣可以拒絕，演算法的性質差異似乎不是考量的範圍。透明度因素在這裡就變得沒有那麼重要，因為重點在於程序是否完全自動；如果是，則可以動用拒絕權。

在第三與第四層次，只要有用到演算法，都需要提供某種程度的透明度、包含有意義的資訊，說明演算法考量的因素與運算邏輯。而GDPR第12條第1項訂定的基本要求是「簡潔、透明、可理解且可近用的形式」（concise, transparent, intelligible and easily accessible form），並使用「清楚簡明的用語」（clear and plain language），但仍然圍繞在所謂的系統上的說明。

現在造成最多困難或最多爭議的，就是人與演算法合作、或是互動進行決策的階段（如下圖）。這也還可以再細分，如：如果演算法提供給人參考的內容，像是再犯風險分數、DNA配對百分比、聲紋辨識、最可能嫌疑等因素，這可能會因為錨定效應等狀況而影響人為判斷。此外，如果是「決策建議」（decision suggestion），可能就更接近第四層次，人類只能選擇接受或拒絕建議。人類在決策流程裡面扮演的角色，會影響對於透明度的要求程度。

宏觀而言，我們也可以把透明度的要求區分不同階段：是在資料收集的層次就要有透明度？或在演算法設計的過程中要有透明度？又或者，與人互動的時候要有透明度？或是在最後做成決定的時候才需提供？不同階段需要不同思維，文獻開始有碰觸到這個差異，可是似乎還沒有從一個類型化的角度來思考這個問題。

類型化透明度：提供透明度的時點、透明度程度以及對誰實現透明度

最後是個人嘗試做的一個分類，希望給大家看一下有什麼建議。下圖中左邊的Y軸是揭露（disclose）及解釋（explain），分別表示兩個不同層次；X軸分為「事前」（ex ante）跟「事後」（ex post）。事前透明度（ex ante transparency）與前面提到的系統性透明度有關，其說明系統如何運作、考量何種因素、使用何種方法、專家有沒有辦法去模擬整個系統做出決定的方法；事後透明度（ex post transparency）則主要聚焦於使用者的理解程度，可說是「解釋演算結果如何產生」的透明性，即偏向個案結果的透明度。

事前、事後透明度又有幾個需要進一步討論的議題。首先，事前透明度是否類似GDPR要求的general logic open system，或是演算法所使用的數據，以及系統是否需要於事前經過專家審查與認證。甚至有些法規（前述宣言也有提及）要求演算法需要是open source，或在事前告知受影響的人所使用到的演算法系統，並給予對方拒絕的權利，或在不同的時間階段要先取得同意等。

根據歐盟新的AI管制草案，特定的風險程度須具備相應的透明度，其中也包括xAI的模型建構問題。如可能會涉及他人權益，「事後」必須由人類介入做出最後決定、負擔論理的義務，或者提供複審的機會。這邊也會有跟個案有關的counterfactual的解釋的做法，這也比較屬於事後的透明度，xAI的介面（interface）長什麼樣子、必須要如何提供輔佐的證據跟原因，這也是我們從事前與事後角度來思考演算法透明度時會思考的問題，並在適當的時候做出區分。

那即使是其實單純的揭露，還是要有很細部的論理加以說明。因此透明度也可以分成「魚缸透明度」（fishbowl transparency），及「推理透明度」（reasoned transparency），也有些人稱作「形式透明度」（formal transparency）以及「實質透明度」（substantive transparency）（如下圖所示）。在單純揭露與完整解釋之間，透明度還有很多層次值得思考。例如，第一層次，是思考我們所欲要求的transparency程度，會與我們前面提到的黑盒子問題種類而有不同；第二個層次，則是要求transparency的時點問題，與其監管有效性息息相關。

以下圖來說，上方是最佳情形。魚缸透明度就有達到推理透明度的效果，即使隔著窗戶仍可以看得很清楚。但實際上的情況並非如此，比較像是下方這兩種。在某種情況下，大概能理解其運作方式與樣貌，而在更不透明時，只能見到大概的輪廓，卻無從猜測其具體內容。

這如果是發生在「法律黑盒子」，透明度就與智財權問題有關，是公共利益保護的權衡問題；如果是「科技黑盒子」，重點則為可解釋性、不同的利害關係人是否可以理解演算法的問題。

那下圖則是另一個表示方法。我們能否強迫專利演算法打開大門？例如要求它提供原始碼。但如果遇到的是科技黑盒子問題，就算破門而入，但使用、觀看的人仍然無法理解，這種情況下，是否能達到預設的透明度要求？

現在有很多xAI模型正在開發中，無論在深度學習或機器學習的應用之內或之外，開始有許多不同的設計方法，能增加可擴充的功能模型，並想辦法進行解釋，讓使用者可以理解演算結果。研究人員目前還是很積極地開發xAI，但是機器學習模型各不相同，不一定可以搭配到合適的xAI 模型，就算其中真的有些模型能提供還不錯的解釋，但是其解釋是否準確描述系統做出決定或預測的理由，目前仍無共識，而且解釋適當與否也與受眾有關。許多技術、數學相關的細節僅對於專家有意義，對於一般使用者或是受影響的人，反而無法達到期待的解釋性及透明度。

第三個要考量的透明性程度（level of transparency）問題，是「對誰解釋、對誰透明」。對於程式設計師、決策者（如法官），或是對一般人來說，都會有不同的標準，這也連結到前述如何做出合適的解釋，或是透明性的要求。

在說明演算法時，某些人也許只需要知道數學邏輯即可，但有些人可能需要依個案不同進行簡要說明，若僅告知演算法背後的邏輯可能毫無意義。「系統透明度」或是「個案透明度」也是另一項議題。什麼才是對使用者來說「有意義」的說明？這些都是在討論不同程度的透明性時必須思考的問題。

連結到前述xAI的問題。就技術或法律角度來看，xAI的運用已經成熟了嗎？或是說，我們要使用的是內建於系統的xAI？但此時它可能僅重複說明這個系統的作法。又或者，我們想要的是現在很多研究運用的、獨立建構出來觀測這個AI系統的xAI呢？各種不同使用的基礎，可能會有不同對應的方法，有些AI應用是可以被這樣管控（moderate），但有些其實是不行的。

解釋的準確性能不能更容易理解、以及我們追求的可解釋性或透明度，是要提供第一手資訊，抑或只要提出有意義的解釋，讓受影響者能據以要求審查或是挑戰即可？這就回到先前提到的，一般決策過程所提供的說明，未必如同決策者實際所想，但這份書面資料還是能作為要求審查跟挑戰的基礎。當然，即使xAI或類似技術最後獲得法律允許使用，也不必然代表人的oversight變少，仍會有人類與xAI互動時在心理上的影響、或者是可理解性的問題。

延續「揭露」或「解釋」、「事前」或「事後」的分類，還能再延伸出一些議題。一是系統透明度（systematic transparency），也就是說明在一系統判斷當中，如何做出決定、考量何項因素及其可能的邏輯為何。相對於系統性透明，個人可起訴透明度（individually actionable transparency）就是比較不好的透明性，說明為什麼在個案當中是這樣的決定，在個案部分的舉例可能像是counterfactual explanation，其解釋迴避了系統如何執行的方法，而是指出改變哪些變項會得到不同的結果，讓人能知道何為影響、改變結論的因素。系統性透明也會面臨如解釋是否可被理解、系統能提供多少完整資訊的權衡問題。

像是有些人只需要系統上的理解。例如主要的判斷關鍵是條紋、有著馬的外型，且背景又是熱帶大草原的話，系統就傾向將該物體判讀為斑馬。這就是比較系統性的解釋方法。也許在這個情況下就是有意義的系統性透明，其好處在於它提供了解釋方法，進而可以去促成可課責性。下圖則是另一個例子，系統性透明能解釋它如何判斷物件是否為卡車，雖然判斷結果準確，但其判斷依據居然是天空中的白雲，這顯示該系統的訓練可能缺乏代表性，因而造成了偏誤。透過這種偵錯方式來發現系統的問題，這個是其中一個大的功能，也可以在別的地方討論，像是剛剛提到審查與認證的的面向，所以這只是一個很粗略的分類。

我們剛才提到，GDPR的條文似乎偏向系統性透明：系統應告知一般邏輯，並且要揭露相關資訊，因此偏向圖下圖左下方的這種系統性透明的領域。當然，還有很多不同的要素。美國國家標準暨技術研究院（National Institute of Standards and Technology，NIST）有額外的說明，提出了四項解釋作為可解釋AI的原則，它其實也是分佈在差不多的地方。

接著，從下面二張圖我們從這兩個象限可以看到兩種透明性，分別是「對專家有意義的透明度」（esoteric transparency），以及「對公眾有意義的透明度」（exoteric transparency）。而Frank Pasquale提到所謂的有範圍的透明度（qualified transparency），其涵蓋面向很廣、解決方法很大，但其背後有一個重要的核心，就是開放演算法部分內容，讓專家來檢視有沒有問題。這就是比較偏向專家面向的透明性。從這個角度來看，其實GDPR主要要求的就不是面向專家的透明性，而是比較面向使用者、受影響者，而且偏向事前，亦即系統應告知使用者AI的參與，允許使用者拒絕，但是我沒有要求有很充分的解釋，這比較像是一個揭露的要求，但是比較偏向左下角的透明性。以上是我今天分享的內容。今天並非是要提供結論，而是提出許多面向讓大家可以參考、討論。

問題與討論（敬稱省略）

李建良：

謝謝勤富非常精彩而且生動的演講，整個圖非常的豐富，這個是我們所看報告當中相當吸睛的一個，特別是針對透明性，基本上是全面性的完整論述，這當中的知識含量跟密度其實非常高，我想大家應該有非常多的想法，我們先開放提問。

陳弘儒：

我有兩個一般性的問題。第一個是，「透明度」和其他我們討論的一些概念，其實都蠻有關聯性。從你的角度來看，跟透明度最密切相關的另外一個概念是什麼？哪一個與透明度最相關？在這個公領域的脈絡裡面，那個脈絡可能可以看你怎麼設定，這是我第一個問題和好奇。

第二個是，「事前」與「事後」這組區分很好，但似乎也表示有一個「事情」發生。如果是在法律的層面進行區分，法規制定是向未來看，所以是事前、用來管制其他人的行為；可是，如果是法官遇到個案，則變成事後運用法律往回看。因此，當我們說事「前」、事「後」時，代表具體發生了某個個案。

而在演講後半段使用這組區分時，雖然同樣是「事前、事後」的差異，但在不同脈絡下，是否仍指涉同一件「事」？有時也許是指研發階段、有時是指研發完成的應用階段，有時則與研發或應用的差異無關。請問其差異為何？

林勤富：

謝謝弘儒的問題，第一個問題真的很好，那第二個問題，因為我剛才有和大家告解，這其實還在思考當中尚未完成，所以可能讓我思考路徑更清晰一點。你的第一個問題是transparency作為一個概念，與它最接近的另一個概念是什麼。第一個問題可以分兩個角度來看。首先，透明度對於演算法治理的意義是什麼？ 若要讓透明度有意義、要包含可理解性，必須要有一個主觀面向、讓聽的人可以理解，所以讓它「發生意義」是必須的。再者，從功能面來看，最接近的概念是問責性（accountability）。它與透明度是相互依存的。也就是説，若不先達成透明度，就無法實現問責的功能。

第二個問題，我認為的確分可以再細分。之所以在x軸上區分成系統性透明跟個人可起訴透明度，就是指做出個案判斷前後的區別。而前半部討論事前、事後時，確實是以資料收集、模型建構的時間點做區分，兩者並不相同。前者指的是在個案作出決定的前後，後者則是指演算法開發運用的生命週期。

李建良：

我發現兩位對事前和事後的詮釋不太相同，因為這包含許多相對性的概念，取決於切分的標準。我的理解是，為了要處理公部門的透明度問題，時間點前後應該是以做出個案或抽象決定的時間點為準。比如說，弘儒以法規制定時間點為例，所以某個決定是發生在之前或之後。但是勤富提的「前後」，是以事件發生時間點而定，所以兩人的理解不太ㄧ樣。我認為勤富談的是某個「決定」的前後，因此要討論能否在事前（例如做決定之前）先讓當事人陳述意見，而在決定做出後能要求決策基礎。接下來請岳平提問。

楊岳平：

勤富在透明化做了非常多的分類，我想以此為基礎來討論規範面向。首先，演算法區分不同等級，有些能達到自動化的程度，有些甚至還達到自治決策。如果在前者的階段，是否比較沒有透明性、或者是可解釋性的問題？我認為，如果只是單純自動化的演算法，它就是一個由人預設的公式，能輕易達成事前或事後的透明度；如果是在事前階段，只要就公式進行說明，而事後層面則是解釋生成某項決策的根據。因此，若只是單純自動化的運算法，似乎比較不用擔心？真正可能會帶來困擾的是所謂的「黑盒子」演算法。

針對這個部分，我們能否比照人類的標準來處理？既然我們是用人工智慧來取代人類作業，且如同講者所說，我們也不太能了解人類的決策過程，因此，若我們對於人類決策的透明度只要求到某個程度，似乎就不必對演算法有更高的要求。

舉個例子，我在請助教協助批改考卷時，會先指示批改的大方向與評分基準，不過，申論題的批改有時不見得完全能照著大方向，因為文筆、排版、段落分段等都會是評分考量因素。而當學生對於成績有疑問時，我就會依據我的指示檢驗助教給分有無偏差，再給學生回覆。雖然是以真人協助決策，但過程中仍存在大量的「黑盒子」，因此也會有一套相應的解決之道。同樣地，公部門決策其實都有這種人類黑盒子的決策在當中，但我們也有相應的處理之道。

而在人工智慧的情形，是否能以類似的標準來處理就好？我們需要思考的，也許不是透明度或是可解釋性的問題，而是我們對於人類所要求的透明度與可解釋性是什麼？如果能回答這個存在已久的問題，也許能幫助我們應對人工智慧。當然，人類與人工智慧畢竟不同，也許還是必須有區別對待的必要。

林勤富：

我報告時混用演算法及AI，主要的原因就如你所說，某些演算法雖然很線性、不複雜，還是可能受到專利保護，因而有法律黑盒子問題。而在公開後，先不論權利上的侵害，至少大眾都能瞭解系統做出線性決策的原因。雖然沒有大問題，但仍有黑盒子的可能性，所以不會因為它很簡單而免除。至於困難、複雜的黑盒子，就是比較偏向運用機器學習、深度學習技術建構的系統，即使打開了法律黑盒子，仍然很難做出人類可以理解的解釋。所以，演算法是否簡單、自動化，確實會有影響，但不會因此直接解決黑盒子問題。

從規範層次上來看，我同意你的見解，只要發生前述的幾種黑盒子，都有可能是透明性要求的對象。當然，這也會跟演算法的使用情狀不同（例如單純用來判斷圖像中的貓狗），有些也許牽涉到重要的內容，但原則上應不會對法律權利造成很大影響。所以除了可能會觸發黑盒子的問題，演算法做出的若是重要、終極的決定，且會影響權利義務的分配或是一些法律效果，這些組合會是透明性所要關心的地方。再進一步看，還會有一些重要性高低的區分，但這是另外一個層面的問題。

那麼，我們能否直接比照人類標準來要求AI即可？我不確定我能否提供肯定的答案，但無論是法官或其他決策者，在不同規範要求下，必須提供論理，雖然未必等同於腦中真實的決策過程，但那是課責的基礎。決策者必須要提供解釋、容許他人挑戰，並對這個解釋負責。

如果從這個面向來看，如果只是單純要求提出說理，的確有可能只會產生一個貌似合理的說詞，而這與決策風險有關，在一些非常高風險的決定上，會產生兩種情況，一是我們無法接受決策者所提出的說理，因為我們知道決策的的說理並無法確實地反映其決策過程的真實，二是我們還是會接受決策者的說理，因為我們也知道人類本來就無法得知他人決策是否真的基於該說理；而在重要性較低的情況，系統只要能提出一個說法就好。例如一個內建於系統裡、或是一個從旁獨立監督的xAI，它只要提出一個人類可以理解的說明，或是對爭議內容進行解釋，且可以被課責、被挑戰，也許在一些重要性低的狀況是有可能的選項。

楊岳平：

重要性高低的區分當然是必要的。不同議題或公共決策有不同的說理要求，例如法院判決需長篇大論，但在行政處分就不用比照辦理。而這樣的標準是否能直接套用到AI系統？不管決策是由AI或人類所做，標準都一致。如果AI做不到人類的標準，就不能用這種方式執行公共決策。舉例來說，如果金曲獎得獎者獲獎的理由十分抽象、毫無邏輯可言，但卻能獲得大眾接受，那麼當AI取代人類擔任評審時，我們可能只需要求同樣的標準即可。換句話說，即是以人類標準來作為AI的基準。

薛志仁：

假設AI法官存在，且我們期望它的決定是可以解釋的，才能讓人類有效課責，那麼人類應如何對AI法官課責？如果是人類法官，除了撤銷判決之外還可以加以懲戒，但在沒有人類參與決策的情況下，要如何對AI法官課責呢？

林勤富：

這其實已經是另外一種問題，就是我前面大概有處理到比較多是第三個層次，也就是人與AI在互動的部分，畢竟在第四個層次上，絕大部分的國家都還沒有允許讓演算法單獨做決策。愛沙尼亞有意開發處理小額訴訟的系統，但還沒開發成功。而就規範層面的討論，如果AI沒有辦法被課責、沒辦法提出合適解釋，或不夠透明等等，可能就不會被拿來使用，因為完全沒辦法被課責，也因為它無法提出解釋，而未能符合透明度要求。

我個人認為全自動AI在短期內應該不太可能投入使用，而是停留在人機協作的第三個層次。如果是第四個層次的話，可能就不會是現行以人為基礎的課責方式，而是有個上訴機制來處理。

王大維：

是不是可能以人類標準來要求軟體即可？軟體因為不帶情緒，在某些地方有機會做得比人更好，例如純粹用邏輯解決問題的情況。另外我想再深入了解演算法分類的意涵，例如簡單或是線性與否。我認為，沒有演算法是完全不可能理解的，關鍵在於能否投入足夠時間資源。因此，此一區分標準除了理解的難易度外，是否還有其他不同的特徵？此外，有許多技術也未必得到人類充分了解，但因為工程設計能確保安全無虞，還是能為人類所用，能否以此角度來評價演算法？

林勤富：

這是一個困難的問題，我嘗試以不同層次來解讀。第一層次與岳平的問題有關聯。確實如您所說，從決策正確性、效率、情緒影響的角度來看，機器表現往往比人類好。但在公部門進行決策，或司法做出判決的過程中，當公權力的行使可能會影響當事人的法律權利義務時，只要求效率跟正確性還不夠，而是要有論理說明去解釋、支撐自己的決策內容，且可以被挑戰、事後審查等。這是個包裹性、綜合性的要求，所以效率及正確不是唯一判斷其表現、是否被接受的標準。

而就演算法的分類意涵，何謂複雜、可預見，可能並不是那麼絕對。如您所說，如果專家有足夠的時間可以研究，可能就不會有「不可理解」的演算法。雖然分類標準沒有明確定義，但很多時候我們講可理解的時候會比較主觀，所以也當然會跟觀者是否為專家有關係，而他合理上可花多少時間來處理、他在什麼樣的決策領域討論這件事，所以就像您所說，他可能是花一輩子來理解「我們可接受的可理解」，但如果我們綜合考量公權力的決策場域，應該有辦法大概賦予一組定義，例如以耗費時間等因素定義出合理的「可理解性」。這部分還是需要更多的努力。

最後，很多新興科技還沒有被大家所理解，但是已經被拿來使用，也確實有很好的表現。但我們的社會是否允許使用這些科技，以及可使用到什麼程度、在什麼場域使用，現在討論這個問題太過廣泛。

例如，基因改造生物在某些地方可能完全不能被接受、但在其他地方則被鼓勵使用。面對不確定的風險，每個社會的節奏不同。我們可能會允許演算法應用於某些相對比較沒有問題的情況，例如交通取締。但在刑事面向，如果犯罪現場採集的證據有多人DNA混雜，卻還是仰賴演算決定最有可能的嫌疑人，不僅不甚不合理也有風險，可是目前在那個領域是可以接受的。所以，最終還是視社會願不願意接受這些沒有被完全瞭解的科技，並承受其伴隨而來的風險。

李建良代問吳維雅：

如果揭露演算法的參數的話，會不會有反向的工程疑慮呢？

林勤富：

沒錯，其實我在透明度的優缺點部分有講到他缺點就是他的系統的脆弱性（systematic vulnerability）。例如民主制度被操作、或是博奕（gaming）的問題。如果知道系統的內容，就可以去試著操縱系統，的確有可能發生這種事，這就是潛在的缺點。

陳弘儒：

我想順著岳平的問題思考：到底要用什麼的標準，來要求人工智慧系統給予理由？做決策、改考卷也是經歷一個黑盒子的過程。老師也許只是用電風扇吹考卷，飛最遠的給最低分，但當學生詢問時，老師還是能生出一個說詞來合理化分數、有能力說明依據（先不論是否有說服力），那是否表示我們也能用這套模式去看待AI與人類的互動？如果我們要求一致標準，關鍵應該在於合理說明。老師總不能因為早上喝到不好的咖啡，作為不給90分的理由。因此，我們可以設計出來特定AI來給予理由，因為人在提供理由時，會思考對方能否接受。如果人類與AI的標準相同，這應該是基本底線。

這其實是蠻複雜的課題。現在的機器學習演算法到底能否說明理由，或者是寫明其數據與權重等，仍有很多技術環節需要一一釐清。有一種情況是，你知道但不認同演算法考量的因素，另有一種則是知道其運算邏輯（例如logic-based algorithms），可能就能判斷其合理性。以此標準來看，不同的AI系統會有一些差異，但如何釐清跟梳理超過我的能力範圍。

林勤富：

剛剛的討論主要圍繞在比較第一與第四個（沒有人類參與）的類型，也就是說，單純由AI做決定的時候，能不能只要求它給一個說明就好。岳平談的長短、細膩度、理由是否與系統決定有很緊密的邏輯連結等，比較是衡量第四種類型的標準。若只看第四種，的確會與說明對象有關。面對專家、受影響的人，或是審查之後的人，系統需要給予不同的說明，關鍵在於系統是否有能力提出不同種類的說明。

弘儒也提到技術發展。有個案例是，製作一個分離的xAI模型在一旁進行系統監測並給出解釋，也有案例是由內建模式所做出來的解釋，但有些可能無法的情況。那在這些無法解釋的情況，我們要如何在規範上做出限制或決定，是可以再討論的。

比較有趣的是，除了與人類標準做比較，也就是第一種與第四種的比較之外，也許第三種可能更有爭議、問題更大。目前通常還是由人類擔任最終決定者；無論AI是做為參考或提供建議，人類決策者還是能說明決策原因。那麼，他所參考的這個演算法，是否能提出說明？應該說，關注重點變得不太一樣。它不是對受影響的人提出說明，也許演算法只提供一個結果，又剛好符合法官或是決策者的直覺、心證，於是就採納系統建議。這種狀況更有爭議，而不像第四種的直接做出結論，像是包裹人的外衣來做出最後決定。人類也可以有自己的說明，就像前面提到，人類做決定時可能早已作出結論，接著才提出原因說明，但這樣可能就會更困難。所以這邊討論的重點可能就不是我們到底是否應對AI採取跟人類一樣的標準。

楊岳平：

我舉的例子是請助教協助改考卷，以他人輔助比擬人類用機器來輔助決策，也就是第三層次的狀況。大部分的行政決策也確實是如此。比如說行政機關做出處分，雖然是由機關首長批准，而實際作成決定的是下屬的科員，但機關首長要為下屬的決定負責並說明。又甚至是法院判決，即使實際執筆人是法官助理，我們仍期待法官作出更紮實的論理、負更多的說明義務。這兩者應該是可比擬的。這或許是人機互動、真正演算法使用的大宗情況。既然利用他人做成決策時，我們有一套檢驗上級是否提供合理說明的標準，我們是否可用類似的標準，當這個上級使用AI協助進行決策時，要求他負同樣份量類似的說明義務。或許能用這樣的方式來決定規範標準。

李建良： 

有關改考卷的部分我想要補充。這其實是蠻嚴肅的法律問題。無論判決書是否由法官助理代寫，法官仍要說明判決理由。所以，首先要確定的事情是，如果公部門有義務說明自己的決定，那麼就必須在做決定時同時提出理由，而不是事後再補充。

第二，每個決定都要有理由，不是遇到質疑才補充。以改考卷為例，雖然只有部分學生會提出質疑，但並不是有問才有理由、沒問就沒有理由地隨便評分。理論上，公部門做出決定的同時，就必須要提供理由，而且是每一份的決定都必須如此。

第三，如果是以書面做出決定，就一定要以書面提出理由，不能以口頭替代，制度規定就是如此。值得討論的是，國家考試的閱卷者在做評分時，要不要同時附上書面理由？而不是事後再「凹」評分依據。而且是事前的，不是在說大家對成績不滿意的時候再回過頭來，再來說，為什麼你當時打那個分數，而因為是回頭性的，分數已經打出去了，所以再怎麼樣凹，都會凹成是你是這個分數。所以這個就是一個我想要確定一下我為什麼講到這件事情，因為改考卷是很辛苦的，我每一份考卷都會寫理由，然後打出去之後我考卷都會發回去給學生，所以他們拿到分數的時候他會看到考卷上面會寫說，這上面為什麼打錯等等，所以這個是一個非常辛苦的工作，因為這是一個制度性的問題，我就是忍不住先把這個部分說明一下，因為這個思維模式是可以套用到所有情況，我們是不是請大維老師來發言。

王大維：

我對這個改考卷很有興趣，因為很難改，不過李老師讓我很敬佩，每一個考卷都有講理由，這要花非常多的力氣。那我想說的是，我的問題是，如果我們本來就有一套評量好壞的標準，那至少一開始可以用來評量AI系統的論述優劣。那他有一些標準（criteria），這些標準若是訂的清楚，開發者就能試著從這個角度檢視能否提供好的理由。當然，何謂「好的理由」？當然還需要討論，但至少要能通過一定考驗。

另外，我們也可以要求AI系統對所有決定提供理由，而不是依個案要求提供，這樣才能達成，我們可以要求它和李老師一樣，所有考卷都要給予理由，而不是只給一份考卷總理由，就想像整個班級來問你「為什麼自己得到這個分數」，你可能和他說了一個理由，另外一個人就覺得我跟他寫的一樣，為什麼我是b+，他是a-。這樣的話，我們要尋求的論述就是比較整體一致性（global consistent）；因為如果是一對一來講的話，可能達成局部一致性（local consistent）就足以說服對方。

可是剛才李老師講得更厲害，因為他事前就給你理由，我相信他必須要有一套非常一貫的一套方式，才可能給出那樣的理由，所以這是我剛才本來一直想說的，在有些情境，可能要對AI嚴厲一些，要求它做到公部門的程度。說實話，公部門的解釋大部分我看起來都沒有說服，當然它對我可能還要再多回答兩、三個問題，它才願意承諾（commit）到一個程度，這種論述根本就沒辦法走下去，因為很花力氣，而且大部分的人也沒有那個權利，他解釋了以後，我再說這個不對，我還有更多的挑戰，這些都是很困難的事情。

如果我們好好利用這些系統，說不定它會給出比較直接的回答，至少可以要求系統直接給理由。至於說使用者那個用的人要不要再把它修飾一下，這就不是我可以去著墨的，可是我覺得AI有可能可以真槍實彈。

邱文聰：前述舉例都圍繞在考卷批改，我認為有必要再做區分。對一項「決定」給出理由，以及對「給出理由的行為」做解釋，這是必須分開看的兩件事情。剛剛有關考試、國考的討論，都是從閱卷者的角度來看。不過還可以進一步思考：我們既然透過國考挑選法官、律師，那麼，應試者所做的回答代表什麼？他們是在模仿老師或教科書的思考模式，所以寫出了最適合的答案。閱卷者不會請答題者說明每個回答背後的理由，而是只會檢視回答是否符合法律知識的期待。如果可以，就可以拿高分、有資格可以變成及格的法官。所以，順著這個脈絡來看AI，其實是在討論第四種情境。也就是說，假如AI已經能夠做到像國考考生一般，去模仿最好的法律學者或者是法律論理的思維，而給出符合法律知識期待的回應，屆時就必須反過來問：為什麼還得要求它解釋答案是怎麼寫出來的？

可能的問題是，做出判決的法官，到底是真心這樣認為，還是只是假裝的？這已經超越可解釋性的問題，而是考量機器與人類之間是否存在實質區別。這不是演算法的可解釋性需要或有辦法解決的問題。

所以我認爲，大家在討論演算法可解釋性問題，我有點錯置（misplace）這個概念想要解決的問題，所以，問題點並不是在可解釋性、並不是我們期待演算法模仿人類行為，而是當人類沒有辦法解釋關聯性時，演算法卻認為有關聯時，才需要要求可解釋性，要求演算法必須提出說明。因此，如果是第四類型AI法官，它只是在模仿人類法官，所以並沒有解釋不解釋的問題，它只需要處理精準度、是否能像人類法官一樣做出判決即可。

當然從資訊科學角度來說，還有很多數學或技術層面待解釋的問題，但那都不是今天所討論的可解釋性問題。在我看來，問題的核心在於人類知識現階段無法回答的問題，這才是可解釋性的真正難題。

李建良：

對於演算法的解釋問題，勤富你有設定前提嗎？

林勤富：

我認為應該要先分清楚演算法的類別。如果只是模仿特定人類行為，無論是模仿法官做判決，或模仿醫生透過判讀影像發現癌細胞，基本上不太需要運用可解釋性的概念來處理問題。可解釋性要處理的問題應該是存在於不是單純模仿人類行為的演算法，才會需要演算法說明為什麼會做出某個決定。

01:56:29   李建良：

我只是要釐清一個問題，可能到最後我會提，不管是模仿人，或是你剛剛提到的另外一類，模仿人也預設了一個它不是人的決定，否則不叫做模仿人，所以有沒有這樣一個前提性的設定，我們的問題為什麼需要解釋，因為它不是人的決定，所以我們要求它必須要知道（解釋），這部分可能之後再談，只是整個論述當中好像隱含了這個前提。

林勤富：

我很快回應一下文聰老師。你的補充可能有一個前提，就是可能訓練出一個可以窮盡所有可能的AI。我認為就算是模仿人類行為的AI，還是要能提出說明，可解釋性仍然重要。還有一個可能的功能在於，假設演算法遇到了一個在人類訓練過程中沒看過的問題，它還是會給一個結果。但若不要求它進行說明，就沒辦法檢驗它在這種情況下是否仍能做出正確決定。

所以，可解釋性可以預防這種情況。除非這個演算法是一個可以窮盡所有演算法的完美AI，那這種模仿人類行為的AI就不需要做這件事情；但若不是這個情況的話，我們可能還是必須要求它做出解釋，以免在演算法碰到完全沒有遇過的事情而無法做出決定的時候，我們還以為它仍能完全模仿人類。

王立達：

我的問題比較聚焦於透明化或是資訊公開。因為Google或臉書開發的許多演算法造成了民怨，所以有呼聲要求公開演算法。透明化與公開聽起來很像，今天報告裡常用的是disclosed這個字，但似乎較少提及公開或透明化的方式。勤富有講到，可以先請專家檢視演算法，再公布調查報告。這樣的選項對於AI或者是演算法透明化，可能是一個主流的方式。因為一方面有技術上的門檻，就算直接公諸於世，社會大眾仍然看不懂，另一方面也有專利或智財權問題，非常可能是營業秘密，所以也不太適合全面公開。我是想要在這個方面多了解勤富的看法，是支持對一般民眾公開，還是認為由專家扮演鑑定人的角色，協助大眾回答特定問題會是比較好的作法？

林勤富：

首先補充一下，您提到的面向主要是圍繞法律黑盒子這個層次，就是有沒有揭露演算法的內容。這跟深度學習、機器學習的可解釋性是不同層次。前面提到法律黑盒子的問題時，雖然Frank Pasquale的說法的確不是很全面，但是他提出了一個解決方案是有條件與範圍的透明度（qualified transparency），也就是對專家揭露，並讓大眾做必要的判斷。這可以在某個程度上緩解法律黑盒子的問題。而如果出現的是科技黑盒子的問題，即使公開演算法，專家也未必能搞懂。

至於哪種公開方式是比較好的作法？我暫時沒有答案。但是我知道Pasquale的見解其一，有很多人認為，政府若要運用演算法進行決策，無論是有關社會福利分配、司法判決等，都不能使用專屬演算法（proprietary algorithm）。此外，先前也提到完全公開演算法可能導致系統被破解，很容易被有心人士操作運用，所以還是有很多因素需要權衡。另外決策類型、決策風險及回報也會影響選擇。

李建良：

我們在討論公部門使用演算法的透明性議題時，要架構在一個命題上，就是「說明義務」，因為都牽涉公權力的行為與說理。所以才會討論在法律上是否有說理的義務。比如說，行政命令的公告不一定需要提供立法理由。但如果是個案決定，特別是法院的判決，就一定要提供理由，頂多只是理由的深度、廣度不同。

而在這個架構之下，演算法是否會改變這個說明義務的內涵？我認為勤富提到的法律、科技及知識黑盒子這三個層次，可以放在這個架構之下重新反思。我認為基本上法律部分是一個層次，另外兩個層次則很難嚴格區分，換句話說，有些狀況到底是技術問題，或是對知識營運理解不夠，有時很難區分。

第一個可能是法律問題，例如智慧財產權，因為涉及到營業秘密。如果在說理時涉及營業秘密，自然就不能夠隨意透露，那智慧財產大概也有類似電腦資料規範的問題。但問題可能不只這個，還可能涉及第三人隱私等問題。所以，這部分可能是前提性的問題，也就是，首先討論在法律上是否要限制公開演算法內容。再者，當內容可以揭示時，問題則變成「能否讀懂」，雖然原始碼可能難以理解，但總是能找到看得懂的人。如果法律黑盒子過度擴張，會連公開內容都沒有辦法。這是蠻值得去延伸的兩個層次。

而更牽涉到憲法根本性的問題是，人民對於非人為做成的決定有服從的義務嗎？可課責性到底是對誰課責，演算法或是人？如果沒有人需要對演算法所做的決定負責，那就牽涉到一個根本性的、有無接受義務的問題。所以勤富也提到很重要的「拒絕權」，背後可能會衍生很多問題。例如，如果我知道影響我的決定是透過演算法做成的，不論正確與否，我都可能不願意接受。這是一個價值選擇的問題。

那不知道大家還有沒有要補充的，最後我還是非常謝謝勤富，今天給我們這個知識含量跟密度非常高的一次的演講，那也謝謝在座的參與高見，那我想今天我們就到這邊，最後祝大家一切平安。