GPT-3帶來了什麼?——從哲學到社會學觀點的思考

◎ 劉育成(東吳大學社會系副教授)

知名哲學網站Philosophers On在GPT-3語言模型釋出後,開啟了一個討論平台,由哲學家Annette Zimmermann擔任客座編輯,邀請數位哲學家們對GPT-3相關議題進行討論與評論。1甚至在這系列討論後,平台編輯們也讓GPT-3閱讀這些內容,而GPT-3也給出了回應(筆者也非常建議可閱讀GPT-3的回應)。2本文將以這系列討論為基礎,一方面簡單敘述幾位哲學家們對GPT-3乃至於對此類語言模型的看法,另一方面則期待從這些哲學提問中,轉向社會學觀點的思考。

OpenAI / Public domain

GPT-3是由OpenAI公司於2020年六月釋出的一個語言模型,據稱擁有高達1億七千五百萬個參數,而其前身GPT-2僅能運算一千五百萬個參數,在規模上遠遠超過史上其他語言模型。3此外,GPT-3的訓練資料來自於網際網路上的各種資料,包括維基百科文章與各社群網站的貼文資料等。其訓練文本高達45TB,而GPT-2的訓練資料卻只有40GB。然而,GPT-3與GPT-2,甚至與Google之前釋出的BERT模型,在架構上並無不同,但這些語言模擬與生成器的目標卻是類似,都在嘗試理解人類的文字與對話,並且能夠生成讓人類分辨不出來的文本,甚至與人類進行日常對話。由於GPT-2在釋出時,已經為自然語言理解與處理(NLP & NLU)相關領域帶來相當看好的前景與潛力,這次GPT-3的成果更為人類社會世界帶來更多驚豔與對未來的想像,但與此同時,也啟發或引起了更多的討論與爭議。其中一個重要的爭辯,同時也是AI發展史上的一個持續獲得關注的問題是,GPT-3是否又更靠近了所謂的Artificial General Intelligence(AGI)?也就是,更接近人類智能了嗎(human intelligence)?

從語言是人類智能之展現上的關鍵現象而言,對AGI的期待與想像,以語言處理或理解為開端,或許便不難理解。從早期的LISP、ALICE、ELISA,到近年來的BERT、GPT-2等,都在嘗試解決如何讓電腦具有理解與使用人類語言的能力(Frankish & Ramsey, 2014; Minsky, 1997; Nilsson, 2010; Thórisson & Kremelberg, 2017)。GPT-3的釋出,似乎讓更多人對自然語言理解有更多(還是過多?)的期待。

根據Zimmermann的介紹,這些關於GPT-3的提問涵蓋範圍甚廣,包括:GPT-3實際上是如何運作?AI是否能夠有真正的意識?機器是否能夠進行「理解」?具有生成「言說(speech)」的能力,是否意謂具有溝通的能力?AI是否能夠具有創造力?如GPT-3這樣的科技,如何與社會世界進行互動?AI與機器學習如何可能轉變社會中的權力配置、政治論述、個人關係,乃至於美學經驗?語言對機器「智能」而言,扮演了什麼樣的角色?我們對GPT-3或類似科技系統的潛在影響,應該抱持樂觀或擔憂的看法?等等。這些提問一方面直指科技發展本身的形式與內容,另一方面則無可避免地與人類社會世界產生各種連結,更有可能改變我們對一些事物的認知。例如,機器學習所生成的文本(圖像、文字、音樂等)是否受到智財權的保護?這些文本是否享有言論自由的保障?AI能否成為道德主體或者具有主體能動性的行動者?等等。

在這系列中,一共蒐錄九篇短文,大多回應了前述的提問。其中的共通點可列為幾項:第一,大多數都對GPT-3能夠比擬人類智能或產生真正的對話或溝通,抱持懷疑態度。第二,在技術層次上,對於GPT-3(包括其各個前身)所使用的架構是否能夠實現自然語言理解(包含處理),也多持有疑慮。第三,對於GPT-3能夠擁有並處理前所未見之大規模的參數與資料之能力,是否等同於具有「理解」、「溝通」之能力,同樣持保留態度。第四,儘管GPT-3能夠生成令人驚豔—在某種意義上無法為人類所辨識是否為機器所為—的文本,GPT-3仍舊被認為只是一個透過統計與複雜演算法的語言模型,例如,David Chalmers描述其為「一個去身體化的純粹口語系統(a disembodied purely verbal system)」;Henry Shevlin所言之「a representation of the probability of one string of characters following another」;Regina Rini稱其為「a statistically abstracted representation of the contents of millions of minds, as expressed in their writing(一個在統計上對無數心智之內容的抽象再現)」;或者Shannon Vallor所謂之「a tool that endlessly simulates meaning anew from a pool of data untethered to its previous efforts」。然而,除了對GPT-3有上述保留態度之外,有部分討論也指出了GPT-3及其發展,在政治、經濟與道德面向上可能帶來的問題。

Photo by Sven Read on Unsplash

在這些討論中,除了前述幾項共通點之外,或許有幾個概念值得整理出來。這些概念也多環繞著GPT-3這個科技物本身而來,其中包括:目的(purpose)、偏好(preference)、意圖(intention)、行動者、理解、認同、信念、前後一致性(congruence)、滿足表達的需求、具有敏感度與選擇性的注意力(attention)、偏見與不平等、言論自由、溝通、創造力、人性,以及情感等。假如以上這些概念都是構成人性的重要元素,例如,人類的溝通具有目的性、意向性,或者對人類而言,說話不只是傳遞訊息,還包括了滿足表達的「需求」,又或者基於歷史、社會與文化上的多樣發展,偏見乃成為人類智能運作的特殊形式之展現等,我們要如何理解如GPT-3這樣的語言模型,能夠發揮人性的獨特之處,並且與人性進行交流與溝通?再者,這些元素也形塑了社會實踐的各種樣貌,或者可以說,人類社會性的展現,正是在此一「人類既是社會的一部分,也同時構成社會本身」的運作中獲得實現。4我們是否有可能期待GPT-3或其後更強大的AI能夠參與或分享人類智能的獨特成果?

在上述這些構成人性的諸多元素中,或許「偏見與不平等」值得拿出來做一些有趣的思考與討論。AI(包括GPT-3)的產出會具有偏見的這件事,並非是什麼新鮮事(例如MIT的Norman AI)。5OpenAI也承認GPT-3(包括其前身)的產出,同樣會反映諸多歷史的偏見與不平等類型。問題或許不只是在於這些AI反映了什麼樣的偏見,或者如何透過演算法來消除或減少偏見的出現。只要使用人類社會世界的各種資料來對AI進行訓練,或許便無法避免偏見的產生。更多科學家與工程師會透過幾種修正或微調的方式,減少輸入與輸出資料具有的可能偏見。其一是儘可能使用「乾淨」的資料,這意味的是一種「中性」或不具有偏見的資料,以對AI進行訓練。其二是在演算法上設計能夠調整或平衡資料中所存在之偏見的權重或程式。儘管看起來似乎可行——目前也只能這麼做,但這兩種方式卻也是將人類社會的觀點再次放入演算法中,例如誰決定資料的乾淨度?哪些資料屬於乾淨或不具有偏見的資料?如何賦予資料權重等?這些也都是透過人為介入的方式而實現。例如Zimmermann以Google翻譯土耳其語中的第三人稱單數代名詞o為例,其都能夠反映出性別偏見的歷史模型。

Zimmermann在自己撰寫的短文中提到,「我們不應該用我們自身來作為AI發展的基準」。他認為,我們不能只是想著,如何最佳化如GPT-3這樣的工具,以使其更接近人類。這個立場背後的觀點是有意思的,他提問道:「why benchmark on humans when it comes to creating a more just world?」。如果以justice為前提來考量發展AI科技的話,我們是否可說,接近人類或更像人,就會創造出一個更公平的世界嗎?這似乎是說,我們是否應該要用一種「烏托邦的」世界或資料來訓練AI,以使其能夠擺脫人類世界的偏見?若然,對於「烏托邦的」定義又是什麼?如何描述?誰來描述?精英?還是所有人?

關於AI可能展現的偏見與不平等類型之討論,不在只是技術面上如何消除或以權重來微調或平衡產出的問題,而或許應該從另一個角度來思考,也就是,「我們是否有可能教會AI去辨識偏見,包括其來源、形式、歷史與社會意義?」這個提問不只是哲學上的,更是社會學上的。就前述提到的兩種透過技術以消除或降低偏見之方法而言,我們或可先提問的是,「無偏見資料(unbiased data)真的有助於消除AI的偏見嗎?」對這個問題的思考,若回到人類社會是如何處理偏見的方式,或許可以有些啟發。在這裡,我們可以提出一個思想實驗(thought experiment):假如在人類從出生到成長的過程中,我們提供其「無偏見資料」,這樣會讓其觀點或想法或言論或行為等是沒有偏見的嗎?若以此來回應AI訓練資料具有的偏見性質之問題,什麼樣的資料會是「無偏見資料」?這樣的資料又從哪裡來?誰能夠提供這樣的資料?同樣地,我們又如何確定,以無偏見資料餵養的AI,就一定不會有偏見呢?

Photo by Artem Kovalev on Unsplash

儘管人類「擁有」具有各種偏見的能力,但人類同樣具有「理解」各種偏見的能力。借用社會系統論(Social Systems Theory)的觀點來看,人類(意識系統)之所以能夠具有理解偏見的能力,主要是來自於其能夠進行「二階觀察(second-order observation)」的運作(Luhmann, 1993, 1995[1984], 2006[1991])。這裡所稱的二階觀察,也包含三階、四階等以此類推的運作。然而,從一階到二階觀察的發展,或許是人類智能(意識系統)最重要的成就之一。人類總是能夠透過一些方式來觀察自身在一階觀察運作中所使用的區別(distinction),並且以另一個區別來實現該運作。如果回到前面的思想實驗,或許也假定了一個該行動者(系統)在一階觀察所使用的區別,而這個區別並未被意識到:「無偏見/偏見(unbiased/biased)」。假如任何區別的使用——尤其是以George Spencer-Brown之名言「假如不做出一個區別(draw a distinction),我們將無法進行指認」(Spencer-Brown, 1969),都可以視之為一種偏見的形式,那麼只要是在一階觀察的運作層次,偏見將永遠存在,但卻不為使用者所覺察。 在機器演算法或機器學習中,「指認」(或稱「標記」)的這個動作是由工程師來實現。這個「指認」是以符號的方式來呈現。然而,電腦演算法在使用該區別的當下,並不知道自己使用了這組區別。其透過訓練資料來進行學習,既使有生成對抗或者是神經網絡演算法,在某種程度上,依舊是依賴於外部觀察者(工程師、程式設計師等)對各種訓練資料進行輸入與對其進行標記之處理。那麼,電腦是否能夠對這個區別進行二階觀察,也就是透過另一個區別來觀察這組區別,並藉此認識到或辨識出自己使用了這組區別?人類意識系統的運作有其獨特性,但這個獨特性可能不是以處理大規模資料的方式而獲得,這也可見於近年來由Ray Kurzweil有關大腦新皮質(neocortex)模型與利用隱藏式馬可夫模型(hierarchical hidden Markov models)以建立數位新皮質的討論之中(Kurzweil, 2015[2012])。社會學對偏見的來源與運作有許多不同的觀點與研究,更由於偏見的運作在人類智能的發展中扮演一定程度的角色,且無法脫離其運作的社會脈絡。若能解開這個問題,或許便能夠讓語言模型或者是AI對偏見進行辨識,在AI於社會的應用上,也可能會帶來或許是正面的效應。這或許也是社會學長久以來有關偏見之研究成果,對AI發展的可能貢獻。


參考資料

  • Frankish, K., & Ramsey, W. M. (Eds.). (2014). The Cambridge Handbook of Artificial Intelligence. Cambridge, UK: Cambridge University Press.
  • Kurzweil, R. (2015[2012]). 人工智慧的未來:揭露人類思維的奧秘 (陳琇玲, Trans.). 台北市: 經濟新潮社.
  • Luhmann, N. (1993). Deconstruction as Second-Order Observing. New Literary History, 24(4), 763-782.
  • Luhmann, N. (1995[1984]). Social Systems (J. Bednarz & D. Baecker, Trans.). Stanford, California: Stanford University Press.
  • Luhmann, N. (2006[1991]). System as Difference. Organization, 13(1), 37-57.
  • Minsky, M. (1997). A Framework for Representing Knowledge. In J. Haugeland (Ed.), Mind Design II: Philosophy, Psychology, Artificial Intelligence (2 ed., pp. 111-142). Cambridge, Massachusetts; London, England: The MIT Press.
  • Nilsson, N. (2010). The Quest for Artificial Intelligence: A History of Ideas and Achievements. Cambridge: Cambridge University Press.
  • Spencer-Brown, G. (1969). Laws of Form. London: Geroge Allen and Unwin Ltd.
  • Thórisson, K. R., & Kremelberg, D. (2017). Understanding and Common Sense: Two Sides of the Same Coin? Paper presented at the Artificial General Intelligence: 10th International Conference, Melbourne, VIC, Australia.