人工智慧風險管理框架(AI RMF)
  • Post category:News
  • Post author:

◎ 劉汶渝

美國國家標準暨技術研究院(National Institute of Standards and Technology,NIST)於2023年1月26日發布人工智慧風險管理框架(Artificial Intelligence Risk Management Framework,AI RMF)11.0版本,並以提供設計、開發與使用人工智慧系統者,降低應用人工智慧之風險為目的。而為了因應瞬息萬變之科技,本風險管理框架定位為一動態、滾動式調整文件(living document),並將定期審查與更新之;且亦規劃經常性地更新人工智慧風險管理框架指南手冊(AI RMF Playbook)2。文件中亦強調本框架屬自發性使用(voluntary)而非強制性質。

以下將分為三部分介紹本人工智慧風險管理框架——本框架架構、本框架內容摘要、附錄C:AI風險管理與人類及AI之互動,並於本文末簡介NIST於2023年6月成立之新生成式AI公共工作小組。

Photo by Ricardo Gomez Angel on Unsplash

本框架架構

本框架分為兩大部分,第一部分係基礎資訊(Foundational Information),本部分探討建構與AI相關之風險與詳述可信任AI之特徵及標準,並再細分為四小節,一為確認風險範圍(Framing Risk),二為受眾(Audience),三為人工智慧風險與可信任度(AI Risks and Trustworthiness),四為本框架之有效性(Effectiveness of the AI RMF);第二部分則為本框架核心理念與相關文件(Core and Profiles),本部分具體描述四個功能—治理(govern)、映射(map)、測量(measure)及管理(manage),以搭配人工智慧風險管理框架指南手冊(AI RMF Playbook)協助組織於實務操作時應對AI風險。

本框架內容摘要

執行摘要(Executive summary)

本框架於首頁即明訂「AI」定義3,指經設計或以機器作為基礎之系統,並得以針對一組給定之目標生成預測或建議,甚或是得影響真實、虛擬世界之決策,且其亦係被設計為得以不同程度自主運作之系統。

再者,NIST肯認AI系統帶來之獨特風險,如訓練AI系統之資料所帶來對系統的運作(functionality)與可信賴程度(trustworthiness)之影響、難以偵測性與回應AI系統故障之困難;NIST亦強調AI系統本質上具社會技術性質(socio-technical),即其受社會動態活動與人類行為所影響,因此AI系統之風險可能因技術層面與社會因素之相互作用而生。由於上述之獨特風險本質,AI系統需要適當之管控,以避免其放大、加劇或延續對於個人及群體之不公平及不當之結果。

而本框架之目標在於提供設計、開發、部屬、使用AI系統之組織或個人(本指南中稱之為AI actors4)協助資源,以幫助其管控AI系統之諸多風險與負責任地開發、使用之。且本框架與其他外部資源亦會因應實際使用之反饋及經驗、世界各地之相關標準、科技之進步,加以更新、擴充與改善。

基礎資訊(Foundational Information

於此部分,本框架將之分為四小節,分述如下。

確認風險範圍(Framing Risk)

考量透過有效管理AI風險及潛在負面影響,得以打造出更具可信賴性之AI系統,以下將依序介紹「理解、應對風險、影響及危害」與「AI風險管理之挑戰」。

  1. 理解、應對風險、影響及危害(Understanding and Addressing Risks, Impacts, and Harms)

本框架提供最小化AI系統之預期負面影響及識別、最大化正面影響機會之方法;AI風險管理亦應同時考量人類對於AI系統運作之假設,即在任何設定、情況下AI系統均運作良好並為客觀中立、提供強大功能的。

以下表格為本框架指出AI分別對於「人類」、「組織」、「生態系統」之可能危害:

對於人類對於組織對於生態系統
個人:個人公民自由、權利、身體或心理之安全、經濟上機會組織之商業活動與運行互相依存、連結之元素及資源
團體:對於少數群體之歧視安全漏洞或金錢損失全球金融系統、供應鏈或相關系統
社會:民主參與或教育機會取得組織名譽、聲望自然資源、環境、地球

以上之潛在危害得以透過負責任地使用可信任之AI系統(Trustworthy AI system)降低該負面風險。

  1. AI風險管理之挑戰:可分為四部分,即風險評估、風險承受能力、風險排序、組織整合與風險管理,以下簡介之。
  1. 風險評估:本框架列出7個風險評估挑戰,如與第三方軟硬體與數據相關風險、人工智慧不同生命週期之風險、不可量測性、難以捉摸性等等。
  2. 風險承受能力(risk tolerance):指組織或AI actor對於為了達到目標所需承受風險之準備程度;而不同組織對於其特定之優先排序與資源上之考量,亦會有不同之風險承受能力。
  3. 風險排序:協助組織識別並認知到並非所有AI風險均相同,進而得以將資源做更有效之分配。
  4. 組織整合與風險管理:人工智慧風險管理應整合並納入更加廣泛之企業風險管理策略及流程,並將人工智慧風險與相關之網路安全、隱私風險一併考量,將獲得更加全面之結果與較佳之組織效率;因而鼓勵將本框架與其他相關指南、框架一併適用。

受眾(Audience

由經濟合作暨發展組織開發之AI生命週期活動分類框架5,並經NIST依其對於「測試、評估、驗證與確認程序(test, evaluation, verification, and validation,TEVV)」重要性之強調而作微調如下:

成功的風險管理仰賴下列AI actor之集體責任(以下排序分別依AI生命週期依序陳列,並將AI生命週期階段以括弧標示於後):

  1. 應用內容(計畫與設計階段)
    • TEVV:審核與影響評估
    • 代表性AI actor為系統工程師、終端用戶、AI設計者、TEVV專家、產品經理等;且其應清楚記錄AI系統之理念、目的、潛在假設、法律及規範要求內容以及倫理道德考量。
  2. 資料及輸入(蒐集與處理資料階段)
    • TEVV:內部與外部確認(validation6
    • 代表性AI actor為數據科學家、數據工程師、數據提供者、網域專家、社會文化專家等;且其應根據目的與法律及倫理道德上考量,蒐集、確認、清理資料、記錄數據集(dataset)之特徵。
  3. AI模型
    • 建立與使用模型階段
      • TEVV:模型測試
      • 代表性AI actor係模型師、模型工程師、數據科學家、開發者,並應向對於應用內容熟稔之社會文化分析師及TEVV專家諮詢;此階段其創造或選擇演算法與訓練模型。
    • 驗證與確認模型階段
      • TEVV:模型測試
      • 代表性AI actor係模型師、模型工程師、數據科學家、開發者、向對於應用內容熟稔之社會文化分析師及TEVV專家諮詢;此階段其驗證(verify)與確認(validate),校準及闡釋、理解模型輸出。
  4. 任務及產出(部署與使用階段)
    • TEVV:整合、符合性測試(Compliance Testing)與確認(validate)。
    • 代表性AI actor為系統整合商(system integrator)、系統與軟體工程師、網域專家、第三方供應商、公司高層主管、諮詢人類因素專家與社會文化分析師及TEVV專家;本階段其應試驗、檢查與保留系統(legacy system)之相符性、評估使用者體驗。
  5. 應用內容(操作及監控階段)
    • TEVV:操作及監控
    • 代表性AI actor為系統工程師、終端用戶與相關從業人員、網域專家、系統贊助者、產品經理、受影響個人或群體等;而其應根據AI系統的目的、法律及規範之要求與倫理道德考量操作之,並持續評估其建議與影響。
  6. 人類與地球(使用或受影響階段)
    • TEVV:審核與影響評估
    • 代表性AI actor為終端用戶、受影響之個人或群體、一般大眾、政策制定者、標準組織、貿易協會、倡議團體、環境相關組織、人民社會組織、研究員;本階段其活動係使用系統或科技、監控與評估影響、尋找減低影響之方法與倡導權利。

人工智慧風險與可信任度(AI Risks and Trustworthiness

考量加強AI之可信任度得以減低AI的負面風險,以下羅列本框架所明示可信任AI之特性:

  1. 確認有效7且可依賴的8(valid and reliable)
  2. 安全的9(safe)
  3. 可靠且有適應力的10(secure and resilient)
  4. 負責且透明的(accountable and transparent)
  5. 可解釋且可闡明的11(explainable and interpretable)
  6. 隱私強化的(privacy-enhanced)
  7. 公平且對於有害的偏見有所管理12(fair with harmful bias managed)

上述特徵與社會及組織行為密不可分(如:AI系統所使用之資料組、AI模型與演算法之選擇、建造AI系統者之決定、提供洞見與監管該系統之人類與該系統之互動),因而於評判AI系統之可信任度特徵及指標之精確域值時,應採「人為判斷」。再者,於實際管理AI風險時,組織可能面臨難以完全兼顧之「權衡(tradeoff)」情況,而應以透明且合理之方法解決之。

本框架之有效性(Effectiveness of the AI RMF)

對於本框架之有效性評估係未來NIST與AI社群合作的任務之一,NIST亦鼓勵本框架使用者定期評估本框架是否有效協助提高其管理AI風險之能力。

本框架核心理念與相關文件(Core and Profiles

本框架核心(Core)

本框架之核心包括以下四功能—Govern(治理)、Map(映射)、Measure(測量)和Manage(管理),並進一步將之細分為各子類別,且本框架亦提供具體的行動與成果,以幫助組織管理AI風險與負責任地開發可信賴之AI系統。以下將分別簡介上述四功能:

  1. 治理(Govern)13:指建立和實施組織內部風險管理文化和流程,以確保負責任的開發、部署和使用AI系統。「治理」被設計為貫穿其餘三功能的橫向功能,以在整個AI系統的生命週期中提供資訊並貫穿其中。治理功能包括:
    • 制定政策、程序和組織結構
    • 將技術面與組織價值觀、原則相結合
  2. 映射(Map)14:指建立同時理解AI系統的整體內容,以評估可能的風險和影響,使在設計、開發或部署AI系統之前做出更明智的決策;映射的結果是測量和管理的基礎。映射功能包括:
    • 理解並確定AI系統的整體內容評估可能的風險和影響
    • 與跨學科、領域的AI參與者進行協商
  3. 測量(Measure)15:指評估AI系統之可信度和風險,以確保其符合預期目的和用途,並在開發、部署或使用AI系統之前做出更明智的決策。測量功能包括:
    • 評估AI系統的可信度和風險
    • 監測AI系統在生產環境中的功能和行為
  4. 管理(Manage)16:指建立和實施風險處理計劃,使組織就AI系統對社會或其他用戶造成的風險事件進行回應和復原。管理功能包括:
    • 建立風險處理計劃
    • 建立機制以獲得、評估相關AI參與者之反饋

本框架相關文件(Profiles)

相關文件(如:風險管理計劃、政策和程序文件、與AI系統開發或部署及運營相關的其他文件)之建立與使用,得以下述方式幫助組織以符合成本效益之方式管理風險,並確保其風險管理與其目標一致:

  1. 決定如何管理與其目標一致的AI風險,並將法律與監管要求納入考量。
  2. 比較原先方法與其他方法,反映風險管理的優先任務。
  3. 評估實現AI風險管理目標所需的資源。

附錄CAI風險管理與人類及AI之互動

考量人工智慧多仰賴個人與社會之觀察、決策轉換為可量測之數據,而以數據代表人類複雜之現象,可能造成移除必要的內容而造成風險;因而本附錄列出以下四點值得進一步思考之問題:

  1. 必須明確定義與區分人類在決策與監督AI系統之角色與責任。
  2. AI系統之設計、開發、部署、評估與使用,將反映系統性與人類認知決策之偏見。
  3. 人類與AI之互動有多樣結果。
  4. 向人類呈現AI系統資訊是十分複雜的。

附論:NIST Generative AI Public Working Groups(GAI-PWG)17

NIST以應對生成式AI潛在風險為目的,於2023年6月成立嶄新的AI公共工作小組18;並考量生成式AI前所未有之發展速度、規模與帶來之廣泛變革,更有即時因應之必要。此公共工作小組將招募志工與來自公或私部門之技術專家參與,並且NIST已為此工作小組制定短期、中期與長期目標:

  1. 短期目標:本小組將提供指導意見以明確如何將AI RMF使用於支援生成式AI之開發。
  2. 中期目標:此工作小組將支援NIST對於生成式AI之測試、評估與量測。
  3. 長期目標:本小組將探索提高有效利用強大的生成式AI以解決現代社會首要問題(如:健康、環境與氣候變遷)之機會,亦得協助確保AI在應用開發與使用之前、期間與之後的解決與管理風險問題。