圖像語言

◎ 戴楠青(國立臺北科技大學互動設計系副教授)

Credit: Photo by Louis Paulin on Unsplash

◎ 本文為科技部人工智慧的創新與規範跨領域計畫「數位與人文講堂」系列活動(一)的內容整理
◎ 活動日期:2020年9月16日
◎ 主持人:李建良(中央研究院法律學研究所研究員兼所長)
◎ 整理:蘇揚傑(國立臺灣師範大學英語系研究所碩士)


(一)前言

我先自我介紹,我叫戴楠青,我是台大造船系畢業,然後我到美國是念學士後建築,然後再繼續留下來唸博士。到臺灣後先在淡江建築系當專任兩年,我現在在台北科技大學,互動設計系。所以原則上,我們系有在做人際互動、AI,這些都是在我們想發展的方向上。今天很高興李建良老師邀請我來這,其實很不敢答應,心裡七上八下,法律是一個完全不一樣的領域,我也不太確定我今天分享的東西是不是能適合,但就請老師們見諒。

我通常都從自己的主要領域說起,我會把自己定義在圖像語言。我在互動設計裡偏tangible跟intangible的互動設計。我比較專門一點的技術叫做高動態範圍影像,就是HDR,電視手機也有HDR的功能。如果回到大一點的主題,我會把自己放在空間感知的部分。

今天我的題目主要想從圖像開始。我一開始我先介紹我怎麼定義圖像。跟各位老師說明一下,我所有的投影片,我都會從這邊開始,我把它整理成一個架構。

(二)空間感知

基本上如果從圖像開始,我們就想定義圖像。回到空間感知,空間感知是一個學門,雖然叫做space perception,有perception這個字的話就代表用我們的五感。五感有觸覺聽覺嗅覺味覺視覺,但是能讓我們知道空間的一般只有三個,聽覺,比如說我們就可以聽到聲音的回應,大概知道空間大小多大,但不夠精準。觸覺可以,如果我閉上眼睛摸一圈,大概十五分鐘後知道空間有多大。視覺是最快的,我只要眼睛張開看到這個環境,我大概就知道這個三維空間的狀況。當然味覺和嗅覺不太可能,如果硬要講,用舌頭舔一遍,好像也可以知道空間有多大,但是應該算是觸覺。這樣空間感知就會簡化,其實就是視覺的空間感知,所以space perception就會是visual space perception。

在這個大領域時,會有個很重要的假設,有個前提是這個世界有兩種,一種是感知世界,感知世界是獨一無二的。另外一種是永遠沒看到的物理世界。這個物理世界是我們假想出來的。比如說,我現在拿一個手機在這,感知世界的意思是我們人只要張開眼睛,看到的都是透視的,我如果把手機放這,對你們每個人都是不同角度的一個成像每有一個人會看到一模一樣的,就像現在能看到銀幕的只有我一個。如果說李建良老師想看到我剛剛看到的,他要把我推開站到這裡去看,可是我會跟他說,跟剛剛看的不一樣。因為我的電又少了一點點,時間有變了。所以感知世界是沒有辦法被分享的,所以定義是當他看到這,他看的是感知世界他是獨一無二、並不恆定。這件事很不方便,不管是在科學或設計上,我們都會希望能有個方法能敘述一個物件,那個物件是好敘述的。它就有一些恆定的性質,比如說長13公分、寬5公分、厚1.2公分,這個性質是對在座每位人都是一模一樣的,可是如果我們想把它定義出來,我們就會建立物理世界,一個恆定的物理世界。可是我們永遠沒辦法親眼看到物理世界,所以會說這樣的物理世界是一個假設出來的物理世界。

(三)圖像語言

如果我們在講,什麼是圖像的最好定義。假設這是物理世界,我們看到一棟房子在這邊。然後,視覺成像其實是光照到這個環境,反射到我的眼睛,在視網膜做出一個投影,然後我們再去想它。然後看懂以後,我們才會知道,我們看到的是什麼。西方喜歡用representation,就是presentation呈現,representation就是把它再呈現一次。這張圖的意思是如果我在我前面放一個透明的媒材,每道光束都是點點點,連起來,我就會得到一張圖像。你可以說這個圖像就是一個representation。對他而言,這個圖像應該就是這樣看到這個角度。如果有另一個人也在看同棟房子,他如果站在這邊看時,同棟房子恆定的物理世界,他們兩個人的感知世界會不一樣。如果A想讓B知道他知道自己看到的東西,他就只好把他看到的東西想辦法重新做出來,然後放到B的眼前,跟他說這是我剛看到的。這樣的情況下就會出現所謂的representation。

Credit: https://fr.wikipedia.org/wiki/Grotte_de_Lascaux

像這張圖,應該算是公認最早的人類圖像,它是在法國的石窟壁畫。心理學上,最常畫的圖像就是最常見的立面,就像請小朋友畫他的家,他會畫正剖面,因為他最常看到。我們可以想像那個時代的人,很想告訴他同伴食物或生物,他看到的都是側面,就像小朋友畫車子時也會畫側面。如果他畫正面,表示常常被車撞到,也不是很好的一件事,因為那不是他最常見的立面。圖像一開始就是這樣的心情下去發展,就是我想讓對方知道我剛看到的。從遠古時代慢慢發展。到了圖學或科學進來時,他們知道說,我畫我眼睛看到的一直以來會有兩件事在打架:我到底是畫我看到的,還是畫我知道的?我們往下看:這兩張圖,都是他們主觀經驗從建築物看到的。怎麼樣去畫我知道的東西呢?這很困難,終於有人會發明,如果我把這個人退到無窮遠,所有的光線就會變成趨近平行,就像我們全部看這邊,雖然光射在我眼睛,可是我們一直退退退,退到五公里外的話,這些線開始變成平行了以後,就可以得到這樣的圖像。這一條線和這一條線可以把比例直接轉過來。等於是恆定的物理性質,我們人類終於有辦法,可以把它呈現出來。一般來說,這就是客觀理解的重製呈現。我們常知道的就是平面圖、平行線立體圖這類的圖學系統。理解這件事之後,線變成平行後,如果這是一把椅子,我一個角度看它好像是這樣,可是我可以站到這邊直直看它,它就變成側面了。我跑到正後面看它,它就變成背面。這樣會發現,我人跑到這裡來時,只有側立面,就會形成一個三視圖。它代表我一次只給一個平面的面向,比如xy、yz、zx。所以它一次只有兩個向度,就不夠強,所以需要三張搭配,再配得好好的。你就有辦法用這個圖去形容一個恆定的物理世界。當然在設計上大家喜歡用物理世界,因為恆定的性質比較好做溝通用。

(四)透視法

到了文藝復興時,發明了一種圖學系統叫線性透視。文藝復興的畫家像達文西、建築師他們有一種方法:我把側立面放這裡,我把正面放這裡轉一個角度,透過圖學系統我可以把透視畫出來。一旦你有辦法把透視畫出來以後,它其實就變成一個迴圈,一旦變成迴圈後,我們可以知道,如果我們畫的是已經存在的東西,這一個迴圈講的就是繪畫。我今天可以把中正紀念堂畫出來很漂亮,是一個繪畫。如果我們畫的東西還不存在,是設計。對設計來說是我希望他未來要存在的,就是中正紀念堂2.0版,那你畫出來的東西就叫設計。更簡單的例子是,我可以把這台手機畫的漂漂亮亮,把iphone7畫得好像,可是我如果說我在畫iphone14的話,那是設計。所以同一件事,你畫的是存在的,那是繪畫,你畫的是不存在的,那就變成一個設計。但本質是一樣的,所以圖就會變成一個讓我們敘述已經存在的,也可以用來去溝通未來想要存在的東西。在設計領域上,很常見我們會先從已經存在的視覺環境來學習,學好以後就會來溝通未來才要存在的視覺環境,想像中的視覺環境。所以在這樣的架構下,圖就會變成圖像的語言。

雖然我們眼睛是看到的,可是我們沒有一開始畫出我們眼睛看到的。我們先會畫我們知道的,因為我們情感上無法理解為什麼這個平行線的東西我得畫它是透視扭曲的。所以在兩個文化的發展都是先立面。然後馬上我們知道有三度的。像埃及的壁畫就會往旁邊畫,這叫做水平投影。秦朝的塗鴉,往上畫就開始有空間的概念,有水平也有垂直投影。如果兩個都要,我這拉一條線就會變成軸測投影的圖學系統。在西方也可以看到平行線保持平行,在東方也是平行線保持平行。是漂漂亮亮的平行線立面立體圖。

到了這邊時,兩邊的圖學文化發展都很相像的。他們開始可以畫出三維世界時,會說我畫出來的東西就是跟我看到的不太一樣。到底哪裡不對勁?就發現有透視這件事。這段是文藝復興之前的時期,他們隱隱約約知道有透視系統。我覺得東方的更妙,它並沒有去扭曲,可是每張圖都還是一張平行線立面立體圖,就代表立面是完全不動的,我給它深度,可角度卻不同。如果說東方的圖沒發現透視的概念,應該是不正確的。他們有發現,可是他們沒有把這種做圖方式給發展出來。西方的人雖然能畫出很精準的透視,但是他們的圖反而被限制在一個範圍之內,因為你眼睛看到的就是一個區域。相反的,東方的圖因為是平行線立體圖,它可以無窮的延展。就像清明上河圖,可以無窮無盡的一直畫,還可以有時間在裡面,因為它不像透視一樣。透視的話,話出一個東西你會被困在裏,因為再畫出去就扭曲了,你也沒辦法畫出來,你只能畫一個靜止的空間在這邊。東方的畫,就會有時間的概念,山的畫就會一直往上畫,要畫多高就畫多高,如果是都市,就可以像清明上河圖,可以無窮無盡不停地畫。然後時間不見得一樣,可能這邊是中午,再到下午。所以在圖學的發展中,西方人常常認為說我們動畫比較早的概念是在東方卷軸畫裡面被實踐出來的。

(五)分析性速寫

回到心理學世界的話,我們談的是感知世界和物理世界,回到圖學世界,我們講的是主觀的和客觀的重製呈現。在功能上,我先從現存的世界每天練習,我先畫大衛雕像再畫這空間,練好以後,我知道說我可以開始畫我想像中的,而且我畫出來人家會覺得說好像真的一樣,我們把它蓋出來吧。這樣的情況下,如果我們把representation當作一個visual language,會是一個語言,如果它是一個語言,我就把它類比到平常的口說語言上,好比說母語跟第二外語,我們到國外時會用英文買東西。我想找到我們共通的語言,在這樣的架構下,第一個語言如果我只是跟自己講話,比如作夢時,或心裡OS,如果還特意講英文那就是一件很假掰的事,我一定是用我的母語,中文,台語一點點。你會想用直覺和自然。如果你想跟大家溝通,你會希望說我們有沒有大家學好的一件事情,如果是母語,就應該是用徒手來畫圖,在你的腦袋、圖、手之間沒有多餘的東西。我就發展了一個分析性速寫的方法/課程,就是我一直很投入的分析性速寫。

另外,剛剛看的圖像慢慢發展,到文藝復興有圖學系統了,只是當進到數位這個共通語言發展太快太快了。就像現在語言變化好大喔。我剛從美國回來的時候,有一陣子不太能適應,大家講「氛圍」,這字到底怎麼寫?不是就氣氛的意思嗎?到現在氛字都還不太會寫。可是你無法理解,就像現在,很多人說「中二」,我還是不曉得中二是什麼意思,我也懶得問,我想說算了,我投降了,我就算今天學到中二,明天又有新的東西了。在我這個世代,我已經放棄了。如果說,一個同事剛來,我google他一下,google已經變成一個動詞了。不見得你用google,你也可以用yahoo,bing,去查他,但它在這已經變成一個名詞或動詞,可是如果你二十年前說”我google你”,肯定想說你在想什麼?所以語言會一直變、一直變。

在這樣的情況下,我就會抓一個「數位生產線」。數位生產線其實就是從最簡單的數位建模開始,看看有什麼功能一直往下走。我可能會先把圖像語言講清楚後,再跟你們介紹我是真的用這東西在過我的日子,研究也好,生活也好。

我先舉個很久很久前的例子。這是我之前在西雅圖念書的時候,其中一間設計科教室。那門課要我們學一些物理環控的軟體,比如說一個建築物在這邊,你怎麼去算它的氣流、照明、日照這樣子。那時候就覺得我超會建模的,我拿了尺進去量量量,抄好回家。但是這棟房子不太對勁,它不是方盒的空間。它的立面長的也很奇怪。尾巴還被削掉一角。等我回到家,我就傻住因為我兜不起來。我真的不會建模。我只好再回去一次,再回去時,你可能就把紙筆拿過來,開始去想說:沒有人一開始會做這麼複雜的設計。它一定有些隱含的比例在裡面,比如說這個到底是不是對稱的,這邊和這邊有沒有一樣,這個和這個有沒有等高,如果有的話,事情就開始方便起來了。這個角度和這個角度有沒有一樣。這分析性速寫就是,當我們在看環境時,你會自問自答,大概是我先畫這個框框,畫中間,然後這兩個是共線的,每個三角形是一樣的。有了這個架構以後呢,我的立面就可以畫出來了。媒人一開始就喜歡做奇形怪狀啦,可能一開始還是有一個想法是矩形,那我就把它的矩形找回來,削了這個角以後,它到底是一個30、60、90的三角形還是等腰三角形。你會發現還是有些方便的數字跟比例,我就把它切掉。切完以後我有它也有它,我就先把它放倒,再把立面拉高我就可以把3D稍微畫出來了。再往下你會發現說,剛剛的分析過程,我可以原封不動轉成另一個圖學系統。我還是一樣照原本的分析,這過程就會讓我把基本架構給畫出來。你會看到現在畫的都是知道的,我想畫我看到的。我看到的就是內部空間超漂亮的,然後光還會灑進來,你可能會花滿多時間把透視畫出來再上些陰影,讓人家知道說,它的立面會是這樣是因為內部空間有很多破口,光就可以進來。你可能畫了30分鐘,30分鐘很可能沒有3分鐘的圖解來得快。其實可以用很簡單的線條、抽象的線條解釋比較抽象的關係。

在分析性速寫,你就會有我們知道的,也有我們看到的,也有我們光影的變化、表現技法,圖解。這是一個獨立的架構,最後我都會很希望我們可以畫出一個圖像筆記。圖像筆記的差異就是最後可以透過構圖的方式,讓圖可以有很多不同讀法。比如說,你可以一起看剖面、立面,它的整個頁面就可以解釋一些比較故事性的事情。就不是很簡單的一張漂漂亮亮的圖。換句話說,相機可以辦到的事情就不要跟相機爭了。你做相機辦不到的事情。現在相機也被淘汰都拿手機了。現在如果拍照片有人拿一台數位相機,大家心裡會覺得這個人怎麼還在用數位相機。時代真的變好快。

跟數位的關係是,如果我畫完後,剛剛3D的思考跟你建模其實是一樣的。在這棟建築物的話,我就不會很辛苦的按傳統方法從平面開始往上建。我會從立面開始往後推。我在建模的時候這樣比較快,那我就先把立面建出來,往後推,再去切,然後變這樣。然後窗戶都打開以後,有了數位模型以後,就可以交給電腦去做計算,它就可以幫你算照度啦等等。當年做的一個小改善比如說這邊太亮,銀幕就要很亮,這邊要關燈才看到投影面。就是光的對比。先用HDR去拍,知道眩光的部分在這,也就是說在這空間裡有一些潛在的眩光問題。那我再用另外的去模擬它,代表我模擬的很真。模擬後我再加上我的改善。改善後就發現可以把眩光壓在外面的檔板上了,無形中就已經解決眩光的問題。這其實還是會從手繪那邊過來。所以才會說,不管圖學數位世界怎麼走,我還是覺得基本的母語,手繪的部分,在設計學類上面還是沒有辦法被取代的。手繪歸手繪,數位還是有比較多可以談。

(六)數位生產線

數位生產線的概念就是,在數位的世界,你每一個步驟,你都要知道你是為了什麼而做的。你在生產過程中,可能從三維建模開始,變成二維影像,可能有向量圖形,也有像素影像,像素影像可能還有傳統影像,高動態範圍等等。還會有目的、設計、呈現、製造、互動、媒材和很多介面,這個世界是動得最快的,介面出來後,你會有AR、VR,實體介面、行動應用程式,通通都會有。所以這世界變得很快很快。

數位生產線的意思是,我今天只是想做設計的話,我只是建模而已。在這過程中,你就不需要去設定光,也不需要設定材質,因為我是想看它的造型,你沒有理由花時間去設定光在哪邊、太陽在哪邊、材料是什麼,沒有必要。所以建模的話就會知道什麼軟體就夠了。我用sketchup,因為它本來就不能設定光。這樣的情況下,我的目的是做設計。如果說我們今天目的是製造的話,就像是前兩三年比較熱門的創客、數位製造這部分,在這情況下,我可能就要用不同的事情來處理它,因為我想做雷切。在雷切的過程中,你會發現檔案的形式還滿重要的。你就會發現,我在製造二維圖像時,我不會選擇像素,我會選擇向量。向量跟像素的差別在於,所謂的像素影像是有好多pixel在這,假設有條線在這邊,其實從來沒有一條線在這,它只是好多的點讓你覺得是一條線。它只是一張地圖,很多是白的,碰巧這邊有很多的點,讓你看起來是一條線。這是像素影像。如果是向量影像,它會是數學定義的。它會給你個起點、終點、方向。你會知道,如果今天要請雷切機幫我做的話,雷切機如果會講話它會說,戴楠青先生麻煩給我向量圖形。因為我想知道起點終點,我的雷射頭就照著起點終點走就好了,我就不會給它像素影像。流程就會是,你先建模,放倒,放倒後不送進photoshop,送進illustrator,變成AI以後再送到雷切的軟體裡,因為是向量圖形,然後設參數,然後把它送雷切機切出來。所以這就是一個數位生產線的概念,我不用給它顏色,因為雷切根本不理你,因為你最後的材料根本就是你密集板的材料。你建模的時候給它色其實是沒有必要的。這樣的情況下我就不會去理光、環境,也不會去管光跟環境的互動。

所以這個的流程就是不同的東西我大概都會去試,如果你今天想模擬光環境的話,你想知道日照情況如何,要知道它光怎麼運算的,然後材料、照明是什麼,光、環境、光與環境的演算法是什麼。這樣最後可以跑出一個很好的光的模擬。所以這就是所謂數位生產線的概念。

這邊大家有沒有什麼問題?


問題與討論(敬稱省略)

李建良:

手繪怎麼變成數位?是用scan的嗎?手繪怎麼樣進入電腦?

戴楠青:

我會覺得其實只是想的過程。它的轉換可能不是那麼直接的轉換。它的轉換可能發生在你自己的腦海裏面。我們用java來做好了,先畫一個面,再往前推,再往上長。你會畫了。現在拿另一個東西給你,筆電拿到你面前,你會發現,我做模型的過程,跟我剛畫圖的過程是一樣的,因為你已經想過一遍了。只是當初你在想時是用手畫出來,畫進去之後,其實你忘不掉。我來試一件事情。一旦你會了你會忘不掉。

我稍微用這來說明一下,視覺感知的過程是這樣:環境的光放到我們眼睛,一開始是網膜上光的分布,在心理學中有個過程叫edge detection,就是我們會在明暗之間找到線。就是線這件事情其實是第二層的視覺資訊了。等到我們找到線以後,我們會搜尋我們的記憶,看看有什麼看過把它組起來,等到組好才會看懂,所以看見不見得是看懂,看懂不見得是看見,聽起來好像很玄,可是我們來看這個。

Credit: 戴楠青教授

如果我問你,你看到什麼?沒有任何暗示,你覺得你看到什麼?你現在在看的過程就是沒有線索的情況下,眼睛會一直搜尋,會先找到線。有人的眼神告訴我他已經找到了。有個動物在裡面,你有看到什麼動物?

眾人:

鹿。

戴楠青:

看到鹿的舉手。真的假的,不要大家舉手就舉手。我不信。有沒有看到別的?那張圖是我畫的,這是心理學的一個教科書。現在你們看到什麼?那這樣呢?

眾人:

牛頭。

戴楠青:

有看到牛頭?那你現在看到什麼?

許慧瑩:

老虎、豹。

戴楠青:

羊。其實我畫的是羊。我給你們看我畫的是什麼好了。應該找得到。這件事我一直印象很深,我還在美國的時後有一個老師跟我講,他有個鄰居,他有個農場,農場要設計一個LOGO,他要一隻羊,但是因為那隻羊是他們從google抓下來的,怕違反著作權,他就說那請我把它們家的羊畫出來。我就說好,反正你是老師,你說什麼我都做。那我就畫畫畫,畫到一陣子我在準備我的投影片,我也想學心理學的書,把它一直模糊,也想把它弄成一個像牛頭的東西。然後我第一次用在課堂上的時候也是說你們看到什麼,那是在美國,他們就說deer,我就開始害怕起來想說羊的英文不是sheep嗎?我開始懷疑我背錯單字,我那時幾乎覺得一定是我背錯。到了後來,有人走上來跟我說,deer在這邊,你們剛看到也是這邊。我本來想說看把你們沒看到吧。你看羊在這邊。其實後來發現我一直在畫這張圖在處理它的時候,我看不到那頭鹿。現在如果我回頭問你們,你們看得到羊了吧。你們看到羊以後就再也沒辦法不看到羊。對嗎?所以你一旦看懂就在也沒辦法不看懂。你有看到梅花鹿了?你看到了梅花鹿你也再也沒辦法不看到梅花鹿。但是你沒辦法同時看到他們兩個,因為你心念會轉。當你的線組成梅花鹿時,他就是梅花鹿。所以你要去轉他。剛剛那件事就是這樣,我用手繪我理解了,我再用電腦去做,這些事情都是發生在自己的身體跟腦裏面。所以轉換是發生在人裡面,並不是工具裡面。所以我才會覺得說這兩個東西其實是平行的。本來想說你看你看你沒看到羊,他們說你才沒看到鹿。所以我印象好深刻。而且那時12月,台下的學生腦中想的都是聖誕假期,歡樂氣氛,眼睛看不到羊了,看到都是梅花鹿。我看到的從頭到尾都是那隻羊,一直到了現場大家跟我說,才看到鹿。所以視覺這件事就很奇特。

希望這樣有回答到李建良老師的疑問。

何之行:

我可以順著李建良老師的問題再問嗎?剛剛是說我們手繪之後用另外一個工具或電腦把看到的畫出來。我猜想現在應該繪有一種程式或是工具,可以手繪出來之後讓程式去讀,可能是剛老師說的scan,把它放到電腦裡面,然後就可以轉成向量的圖檔。

戴楠青:

一定都有,但就是說轉完以後,你可能不會知道那個建築裡發生的事情。

何之行:

就是它不是我們自己去拆解,把它畫出來的?

戴楠青:

這是很好很好的問題。就是AI到底要發生在哪裡?這也是設計學類很想知道的問題。我們也一直在找機會…AI這個詞還是比較新,如果你問資工系,他們可能prefer叫machine learning這些詞。我們設計的會想去做些東西。像這個題目好了,有個碩士生來找我,他說他想做一個導盲杖,以設計學院來說我們會用不同的行為來看,比如說有不同的杖法,比如說斜杖法,就是閉著眼睛這樣走。我們可能會用使用習慣做一個好的導盲杖,他想做一個smart cane。我那時跟那同學講說,我講話比較白,我說你做不過資工的宅宅的。我很直白地說,我們的技術沒有他們好,我們要做的東西可能得不一樣。後來我們就做一個題目就是說我們要做一個network的smart cane,他會scan the obstacles for the moment但是是for the future。意思就是我們不要去跟人家拚現場偵測的精準度,這件事情就交給資工的朋友們,用朋友比較恰當。因為我們北科都是資工的晃啊晃,久了大家宅宅、宅宅叫,他們也自稱宅宅,但久了發現這樣好像不太禮貌。那他們資工宅宅一定可以做得很好。我就跟學生講說,我們要做的其實是他如果遇到問題,會回傳到一個地圖,然後讓盲胞告訴我們他常去哪裡遇到困難,我們優先把那邊改成無障礙空間。等於是core sourcing的概念,中文翻得很奇怪叫「群眾外包」,但是其實是在不知不覺的情況下,透過群體需求的力量,幫我們解決問題。

舉個例子,因為我很喜歡看棒球,說不定盲胞他們很喜歡到棒球場附近去聽棒球,我們可能直覺會認為他們不可能看棒球,所以我們不需要把那邊做無障礙空間。如果透過這裝置,就會發現說,每次新竹棒球場有比賽時,好多綠點就出現,代表我們找到一個pattern,那其實有需要幫他們設立一個聽棒球的空間。那這樣的數位技術和大量資訊的處理,有點符合AI的精神。他究竟在哪邊可以切入到我們的project裡面?有時會覺得說,越晚進來可能它的效果越大。所以目前互動系的操作都會是讓同學能夠去找到這個機會,在設計的過程中放互動基礎進去,那互動基礎很廣。你說big data也算AI的部分,或machine learning之類的都算。所以這應該有回答您的問題。

許慧瑩:

老師,就是UBER之前在做自駕車測試,然後發生了sensor沒辦法判斷垃圾袋,飛過來的紙還是人。所以上次一個人牽著一個腳踏車,就誤判然後不小心撞上去。我想請問剛剛看的鹿和羊,我們以後如果是AI在看這個東西,他怎麼去看到兩個,或是看到一個?或是會不會產生誤判而做了什麼錯誤的決定?還是他們兩個都看得到?

所以我的問題是,是不是剛剛老師感知要放在一起用?還是感跟知其實是分開的?就是知還是有經驗,我會把之前的加進去才會把它看成是什麼,然後才做後面的判斷?

戴楠青:

我可能會用感跟認,就是感知跟認知。這會變成,機器辨識有沒有辦法可以看到Necker cube。這是一個很有名的視錯覺,你可以把它看成這樣也可以把它看成這樣。就是心念在轉。就像視覺歸視覺,可是視錯覺是一個更難的領域,因為他是視覺生產上的一個錯誤認知,但不是積非成是,而是錯覺會發生就永遠會發生。因為是視覺是上本來的一個錯誤。視錯覺本來就會被做很多設計上的應用,有沒有辦法讓machine也可以犯人類犯的錯誤。我覺得這很可能是一個很深很深的題目。那就要交給…心理學的朋友們。


【續上討論】

我會覺得,在圖像語言的一端是手繪,就跟小朋友拿蠟筆一樣,去塗塗看看誰塗得比較準這樣。另一端就是高動態範圍影像,當然不是這樣是因為我會所以我說它是另外一端。其實HDR這個東西雖然我們已經開始知道,但是當初會有這樣的發展,其實是為了達到一件當時人類沒辦法做到的事。有一個心理學家叫JJ Gibson滿有名的,他發明很多名詞,比方說景深線索之類的。他在1954年的一篇文章裡面,否定faithful picture,他說如果你今天要跟我講一個完美的圖像,或是一個忠實的圖像,他的定義是表面能夠把實景所傳達一模一樣的光束,再次傳達到人眼。就像我有張照片,假設是真的,我看著它的時候,會跟我真的拿了一個…假設夏威夷的照片好了,夏威夷的照片放在眼前,假設它是忠實照片,應該跟你當年在Waikiki海灘的時候跑到眼睛的光是一樣的,但你沒有。

Credit: https://en.wikipedia.org/wiki/The_Treachery_of_Images

你看到它的時候你就是沒有。那它就不是所謂的真實圖像。所以在1922年有個叫René的人畫了一個菸斗,名稱叫「這不是一個菸斗」,他們就在討論影像再怎麼爭到底是不是真的,無論如何摸起來就是平的。納到了數位科技越來越真的時候,Cornell有一個老師做了一個菸斗說「這也不是菸斗」。他想把這個討論帶回到數位世界,可是他們是在鋪陳一件事,他們已經開始可以了。所以所謂physical realism的定義會跟Gibson是一樣的:如果我的影像要真,要跟真實的物理世界給我一樣的視覺刺激。還有一個叫photo realism,但這photo不是照片的意思,是photo receptive,視神經的,因為我們的是神經在處理訊號會產生一些反應。他認為說,說不定可以有一個視覺刺激,讓我們的是神經可以產生相同的反應,那不管原本的景象或照片,雖然不是跟原始的一樣,可是在我們大腦的後端產生一模一樣的視覺反應的話,他認為這就叫photo realism,所以他用的詞就是,image can produce the same visual response。這邊是visual stimulation。

最後一個叫functional realism,可以提供一個一樣的視覺資訊。就像如果你們玩樂高的話,你會發現你比較喜歡這種。如果我給你一個youtube的影片,拍我在那組樂高,和給你一張紙,你會發現這樣的說明比那個youtube影片來的好很多。就真實度來說,鐵定是youtube拍的自拍是真的,但是在視覺傳達資訊它可以更精準告訴你它是怎麼做的。所以這就叫做functional realism,今天的影像科學,其實是想達到,可不可以我給physical realism,那不行我可不可以退而求其次給photo realism。這樣的話就回到一個問題,我們可不可以先把實景的光環境記錄下來?我們到底知不知道是神經處裡這個光環境,有沒有一個數位技術可以重新呈現跟模擬視覺系統對實景光束的反應?如果這三個問題都解決的話,Faithful picture其實可以辦得到的。

(七)Tone Mapping

這樣對應出來的技術一個是高動態範圍攝影術,還有一種叫tone mapping。tone mapping其實是大範圍如何壓到小範圍。你可以這樣想像:我們一定都有這樣的經驗,我們去一個環境,你拿手機要拍外面的話,你會發現外面清楚,裡面就會太暗,裡面清楚外面就會太亮,你沒辦法同時外面裡面都拍得清楚,因為從這邊看到外面光環境的輝度範圍超越iphone可以處理的。那我每張照片,其實你可以看到裡面的瓶瓶罐罐拍得很清楚外面就看不見了,外面看清楚的時候裡面的瓶瓶罐罐又看不清楚了。等於是說,相機的感光片不如我們眼睛好。我們的眼睛真的比相機的感光片好,否則我們就不需要去調曝光值啦之類的。那就有人發現說,如果我把每一段照片,紀錄著一段光,這邊看起來比較白,其實紀錄的是比較暗的一段光,這邊看起來比較黑,其實是因為外面比較亮的範圍。如果我全部都包含到,其實所有的光是要分布在不同的數位照片上面,我把它合起來就有一個完整的光環境。那就是HDR的來源。這邊稍微帶一下,因為物競天擇,我們的眼睛可以看到10的負6的行光跟10的8次方的日光,所以我們的範圍有10的14次方這麼廣,但是我們一次可能看到10的5次方,就像白天我們看不到星星,可是星星在,只是因為太陽太亮,我們沒有強到說我們可以同時看到它們。那我們的眼睛可以一次看到10的5次方,然後有瞳孔放大縮小的情況下,我們可以看暗的到6、亮的到10的8次方。所以HDR檔案出來後,幾乎光環境這件事已經辦到了。現在缺的是沒有一個銀幕可以發出太陽一樣亮的光、跟星星一樣暗的光,就算有也沒有必要,就算有應該也變武器啦。科技發展到那邊的話,征服世界會拿來用了,不會用在這邊。這樣的情況下,我們就可以透過演算法把真的光環境都記錄下來了。

Tone mapping的意思是說,假設範圍是從0.1到10000好了,可是銀幕只有從0到1000。我就想個辦法把最亮的map倒過來,呈現在你的銀幕上面。那以前Tone mapping就有很多的演算法,比如說有人會說我要contrast based,就是我要把真實環境的對比保留到Tone mapped的影像。還有人會說,我要把visible line,真實可以辨識的輪廓,放到Tone mapping。比如我在影像辨識在掃的時候,Tone mapping就很好用。也有人會說,我想視神經怎麼運作就怎麼設計,但偏偏我們對視神經的瞭解還沒到全部理解。所以每個人會從一個model去做視神經的Tone mapping,到目前為止都沒有一個完美的Tone mapping。我在學這個的時候大概是2010年,那時有一本書就是這些書把HDR都集合起來,還附一個光碟,裡面有Tone mapping。第二版出來就沒有光碟了。因為後面的人都是SONY在資助,以後的Tone mapping就是各家電視的演算法,HDR的電影讓你感覺看真的一樣。所以到後半段的Tone mapping就不是免費提供給學校老師們用,所以我都還是在用2010以前的Tone mapping。

這個就是有照片的,讓你有想像空間。有一個軟體叫做Radiance,其實HDR是這個軟體發明的,發明的人叫做Greg Ward ,他其實是加州實驗室Lawrence Berkeley的team。當年美國政府希望他們做一個飛行模擬器,但要求能夠做到降落時的眩光反應。他們就說不可能,只要你們用RGB,你就不可能做到這件事,他們就發明了HDR。有了Radiance之後就有HDR的檔案格式,很多人就發明很多衍生科技。一旦有這東西以後,我還是比較喜歡做原始的事情,老派的東西,所以我後來的研究用了一個假設,如果我現在有個數位真實的環境,可以對光的感知事真實的,那我要幹嘛?這是我後來做的研究。

(八)數位與人文:以建築為例

1. 廟宇與教堂

有一年我回台灣開車時,突然看到一個瘦不禁風的少女在車水馬龍的地方在拜拜,惻隱之心就來了。為什麼會這樣?就發現原來是因為道路拓寬的關係,把前殿跟中殿撤掉了。通常在拓寬的時候通常會把前殿跟中殿撤掉。可是徹完以後,我覺得以前有種明暗明暗很深的感覺也不見了。我的博士論文大概就是把這件事變成科學的認證,所以文藝復興透視發明的很好,所以他們會利用透視的方式讓你覺得空間會去延伸,這其實是在羅馬的一個教堂,抬頭看的時候好像一直往上,可是你如果到邊邊去亂拍時,就會破壞它的梗,就會怪怪的。

文藝復興時的建築師百家爭鳴,很想用他們的圖學知識去做一些萬世流芳的設計。我很高興會覺得說一定有個暗示,然後我很喜歡看電影《國家寶藏》、《達文西密碼》。然後我真的在地上找到一個點,就是整個透視這個金色的點才是他要你站的視角,因為透視是跟你站的位子有關的。那我就覺得它一定是,沒有理由突然有個金色的點在這邊。那我就覺得,寶藏可能在正下方。這就是所謂的透視,同樣的事情其實也會發生在這個。這個在米蘭教堂旁邊,也是一樣,你從旁幫看的話是歪掉滿難看的,但你從正面走進去就覺得哇好深,它有這樣的錯覺。

2. Palazzo Spada

這個叫做 Palazzo Spada,就人家到羅馬都是去梵諦岡,這是我心目中的聖殿。我拚了命想找到這個,我很擔心進不去,大家看到的都是隔著玻璃照的,這一張,但我知道這棟很特別因為柱子是一根比一根短的。

Credit: https://en.wikipedia.org/wiki/Palazzo_Spada

其實它是長這樣,你從這邊看過去的時候會覺得好像沒什麼不對,到了這邊之後這個人往下走的時候,你會覺得說不太對勁,其實他應該要這麼小才對。他整個建築的設計其實是讓你以為它是正方形,但是它其實根本蓋的是這樣子,讓你到那邊的時候覺得被騙到,覺得它很神。我後來有做一個研究是,有人說這裡以前是有天井的,所以效果會更好,但是我不同意這句話,所以我有申請科技部計畫,還做一個研究去發表。我後來到現場就發現說,其實感覺很假,但地上其實有這樣一個抬高的部分,讓你沒辦法站在不應該站的位子,就跟剛剛的金點是一樣的。其實會限制你的位子,不讓你去破壞視覺效果。在那邊就有做個圖像筆記啦,速寫,就覺得這件事不是一個沒親眼看到可以獲得的事情。所以我還是覺得速寫、跑去那邊都還是有價值的。因為它其實很怪。你到那邊就會覺得這怎麼那麼奇怪。你不會被他騙到。但當你受到它建築的暗示的時候,你被困在這走道時,看起來就好順。更不要說,它其實是設計給在中間的圖書館透過玻璃看的。其實從這邊看過去一點違和感都沒有。繞過去之後反而覺得怪怪的。我的題目那時候就是,西方人好喜歡用透視動手腳,讓你覺得空間很深,那光可不可以?

沒辦法做的原因就是因為光一直在變,我們沒辦法在那叫太陽不要動,做實驗。你沒辦法控制,後來就用數位的方式。我用心裡物理學的心理實驗法,這也是為什麼我會去IRB的原因,因為我都還是會做到這些東西。其實我那個時候都還不願意放棄廟的事情。廟的天井被拿走之後,就沒辦法透過日光產生明暗變化。你透過這樣算出來,明暗原本40的好像變成41點多啦,41.8之類的,就是變成一個科學上的證明的深度的差異。如果我們拿掉這個過程,你會開始覺得神很遠,然後慢慢突然覺得神好近,因為他之前有輝度對比檔在前面,讓你產生距離上的錯判。那宗教建築很喜歡讓你在距離上產生錯判,它不希望你完完全全理解這個空間的尺寸。

我後來有一條主軸還是喜歡做這些事情。那有的時候可能為了要驗證它,比如說我用這樣的光環境去模擬1950年的實驗,證明我的光環境跟1950年的光環境是一樣的,那代表我的數位環境是OK的,我一開始驗證這樣,後來人家不滿意,我只好真的做了一個木工模型,再比一次,然後加上雙眼視差,再加上Motion Parallax。

我沒有ig,我也沒用fb,但我都會看誰看了我的paper,就是如果有citation我都把他們當朋友,雖然我沒有見過他們。那我有時會有興趣知道,這基礎的輝度對比 是個景深線索的,會被人家用在哪邊。我稍微整理一下,有興趣知道研究怎麼往下走,像我還是比較喜歡做跟人文、建築、空間有關的事情,但是有些人就會直接把我的研究用在做視覺心理,後來我發現比較多人用在做虛擬世界的深度感知,比如VR,你要怎麼讓深度的判斷更精準。那你的輝度對比就會加到原本的景深線索的相對大小、熟悉大小這樣子。那設計部分也有。我會覺得比較有趣的是建築景深和醫學應用,它用在達文西手術的東西上。

他想在這樣的平面動手術下,更精準,被容許的失誤又更少。這樣它就有把輝度對比放進去 ,然後我就覺得,說不定有天我去動手術,然後我醒來就說護士,你們用達文西手術怎麼判斷,他會說先生你不用擔心我們加上輝度對比。原來這一聲就是這樣的輪迴,你做研究並不是為了要升等,不是為了養家活口,其實是為了未來救活自己一命。所以這些machine learning的應用你永遠不知道。那別人會怎麼用就隨緣。

像我很喜歡這個,因為我看不懂,看了覺得好過癮。突然看到漢字,強迫透視,我大概知道他引的應該是我那一篇我喜歡但是學校不喜歡、系上同事也都很討厭得毫無意義的研究。就是我不認為,影片說這邊是開的陽光會下來,我認為,陽光下來就會有影子,有了影子我們就會判斷它的幾何,就不會有錯覺了。所以我會認為是蓋完之後看到陽光下來,後悔了之後就把它補起來。所以我就花了好多時間,做了好複雜的模型,然後問哪邊進、哪邊遠,終於證明了開天井的話,那個影子其實會讓深度的感知又退回來。

後來我有興趣的就是像這樣的考古。李建良老師會找我來是因為上次開會的時候,我偷偷在做林家花園的模型。我再分享一下這個。

3. 林家花園

我去林家花園的時候,是帶學生去畫畫,跟他們說你怎麼去判斷它的幾何。林家花園很奇怪,它的幾何怪怪的。你們有去過林家花園嗎?你們有沒有注意到它有些亭子是奇形怪狀的?可是當你走到一個角度,它會有很不自然…然後它其實會有一些奇特的歪斜。我就會說,其實這樣的歪斜在西方也看過,但是西方歪斜的有它的目的,為了景深的變化。林家花園在蓋的時候,不可能是手殘,做壞了,一定有原因,後來我就有一個理論覺得說,像東方式立面平行線立體圖,這個是方鑑齋是一個舞台,有類似的形變,其實它可能是要營造一幅山水畫,就把東西壓扁。在這題目下,我就覺得其實透視投影可以用3D建模來做,我就把物理世界的模型建出來,找一個視點,把線全部拉過來,我手動作一個光影投影,這時候我就很希望AI可以幫我了,我那時候做這個模型做到快往生,因為那時疫情特別嚴重。我第一天到林家花園我以為我可以做模型作很快,結果我八角亭才做一點點。我可能要來這待10天我才做得完,我就很擔心疫情越來越嚴重,林家花園就關掉。我就每天早上開園就進去,出園再出來。

我就把模型做出來以後,就發現你可以看到,八角亭是正的,三角形是正的,這個叫蝶亭,它也是歪的。我最不能夠理解的是斜亭,它只歪9.7度,我會覺得不會只歪那麼少的。我那時站在那邊的時候,我又想起國家寶藏,這邊你往上看有個八卦跟太極,我會覺得有寶藏一定在正下方。有一本書是明朝的《園冶》,有一個人叫計成,是明朝的造園家。在中國的歷史上,談設計的其實只有這本書,其他都是工匠傳承。他是一個畫家,他是少數跟西方一樣畫家變成建築師。他就有一個對景的概念,所以我大概把裡面能夠停留的對景做一個投影,然後把林家花園模型建出來,還有假山。我睡覺都夢到我在做假山。我從八角亭看出去,我把每個投影都拉出來,這時候就超希望有AI,資工宅宅可能可以幫我,但沒時間找他們,所以我就是用手拉,慢慢拉。拉完以後我就做一個表,然後就會發現說,從八角亭往外看,每一個其他這五個亭都是漂漂亮亮的立面平行線立體圖,我就認為其實你在八角亭這邊整個花園的形體結構其實是一個環景的清明上河圖,然後看過去不會不協調,是漂亮的立面平行線立體圖,正立面,對著你的,三角亭也是。

我覺得,數位科技是在後面幫我做人文的研究,你的數位工具越強的話,你就可以做到以前還不可以做到的事情。我只會做簡單的APP,我覺得AI最強的就是可以幫我們處理很多的資料,然後做一些判斷,但還是要人給他那個想法。我也超希望我用嘴巴講,它幫我投影出來。可是我覺得無所謂,因為沒功勞也有苦勞,人家審稿的看你做這樣子想說不讓你講實在是有點過分,可能他也會讓我過。大概就會做到像這樣前置的題目。後面我又回到我的老本行,比較有興趣的。

林家花園的兩個橋都很小,這個橋又比它活生生小80%。我會認為它用了相對大小的概念,它讓你誤以為這兩個橋一樣大的情況下,你就會覺得這個空間變得比較深,我又想做感知實驗。然後我用一個方式是,我就會用對比景,有一個我在後漂,後來我覺得這對學生太困擾了,就是我要他們把影片中的你覺得一半的位置,但在實驗設計上面當他們看到的是老師,看了就覺得很厭惡就離得越遠越好,這樣實驗就不行了。後來我就找我的研究生,讓他往後飄,等於是你會看剛剛的實驗景,然後調動感知距離,因為文獻上是說不要調一樣遠,調到一半的位置,要有一些判斷。比如這個小妹妹,你現在把這個穿白色衣服的小妹妹移到你覺得剛剛你覺得一半的位置,然後來看他們會不會因為不同的環境,事實上距離是一樣的,可是環境不一樣。如果我能成功證明說,看這個的時候呢,學生會被拉到比較後面,就代表我的研究假設,就是這個橋有應用到相對對比的景深線索,讓空間感變比較深,小小一個林家花園充滿秘密。我後來在看它覺得其實並不輸韓國的皇宮跟沖繩的首里城 。

我覺得machine和AI一定有辦法來幫助我。所以數位科技究竟在哪部分切入,我覺得是看每個人對技術的掌握度,我還是覺得看你的興趣,其實我還是很喜歡量東西。所以大概就是疫情最嚴重的時候,我就把時間都耗在林家花園。反正social distance超遠的,沒關係。還是我先暫時到這邊,留時間給大家。謝謝。


問題與討論(敬稱省略)

李建良:

謝謝戴楠青老師非常精彩的演講。我相信大家會有另類的視野和收獲。有問題待會可以討論。我稍微跟大家講一下,戴楠青老師我之所以會請他來是因為他開會就坐我旁邊。想說奇怪他怎麼一直在畫畫。然後就開始聊,當時就有模擬的透視圖。

戴楠青:

老師看到的是我在做這個模型對嗎?這個假山?想到腿都軟掉了。就是慢慢在雕林家花園,其實根本不需要做到那麼細,可是手就停不下來。

何之行:

想請教一下,剛有提到達文西手臂…後來有好多東西設計仰賴人的視覺錯覺。其實我好奇的是說,我們在設計這種遠距的東西時,我們到底是要repeat保持住那個錯覺,還是其實希望技術AI可以把錯覺越少越好,讓精準度提高,我不太知道是哪個?因為會牽扯到,到底人在人際互動裡面,要不要介入去判斷,還是他完全就trust這個手臂?

戴楠青:

其實這問題很難回答。我舉個例子,我看個漫畫,原子小金剛,做他的人就講說原子小金剛其實是亂數,世界上某一個人的個性。所以他說這樣的亂數下來,原子小金剛其實就是一個人類。我覺得聽起來好像有點道理。雖然這是漫畫得到的資訊,但我覺得好像有點道理。他們在講說,機器犯錯誤才會像人類,因為人類不可能那麼精準,所以……不曉得。這好難好難的問題。

AI是人工智慧,它是要像人類還是不要像人類,人類一定會犯錯,人類不可能不犯錯,需不需要它犯錯。像…我有做過一個東西,我也不太曉得它是不是符合人工智慧。那時候其實是一個好玩的心情,我做了一個裝置,大概長這個樣子,我用雷切去切它以後,在這邊做了800個不同的表情符號,我把它放在一個地方,會希望很多人看到這表情符號就會一直看、一直看,可是當他想要把表情符號拍照上傳fb的時候,他會在縮小的手機銀幕裡面,就會看到佐伯克的眼睛在看他。我那時覺得說,可以變成一個研究,前提是必須要放在一個比較窄的地方,所以當你不可以看到很遠的樣子。然後你就會一直看,然後當你用手機拍的時候,才會看到我第二層的訊息。等於是說,我只想讓這個訊息給fb重度使用者看。後來我做完這個以後我跟學生分享,他們說可以用所謂的參數化設計去做,他就寫了一個程式,圖進去以後都可以做成這樣的東西。我就用他教我的方法做了另一個作品:一個蒙娜麗莎,這個蒙娜麗莎是立體的,有透視的角度,所以這個蒙娜麗莎必須要動來動去才看的到蒙娜麗莎。任何時候只要拿任何一個照片進去,他都有辦法做出這樣的雕塑。我那時覺得那個學生好厲害,他跟我的差距是說,我是用土法,他可以用演算法,我覺得再下一步是大量跟海量的資訊的時候,是不是就符合AI的概念,但是我不確定。所以,這是一個錯覺,我想要的是那個錯覺。你在羅浮宮的時候,你會動來動去看蒙娜麗莎有沒有在看你,可是這個你要動來動去才看的到蒙娜麗莎,都還是會有人的心理上的糾結。在這件事上我還是覺得是有趣的。所以我在數位科技的部分,都還是在別的地方著手。

李建良:

和戴楠青老師介紹一下,剛進來這位是我們資訊法中心的主任,邱文聰老師。我們繼續大家發問。

陳志遠:

老師剛提到某些景必須在特定的點才會…我只是想知道,建築學上我透過建築的設計,誘導人去到某個位子,或採取某些行動,是不是非常常見?

戴楠青:

會,就是一個暗示。動線什麼都會有一些暗示。我分享一下學生的研究可以嗎?我覺得他有機會用AI或大量的數據,這是一個我滿喜歡的題目,因為他有從古代的文獻開始,就是剛講《園冶》那本書。後來,他做的研究變成一個比較特別的條件式的AR。一般的AR是掃一個東西會告訴你資訊。通常都是很直覺的資訊,沒有辦法講到抽象的設計概念,就像剛提到的暗示。所以我們的題目就變成,先研究原野,找到林家花園的設計手法。我們先用另一個地方做練兵。這是台大的行政大樓,我以前覺得很巧妙,你可以看到台大校徽是發光的。其實是靠著這兩邊有玻璃的窗戶,這邊有很深的石牆,等於是很深的隧道,所以這邊變得很暗,後面變得很亮。台大的校徽就會被日光highlight出來。

這題目就會變成條件式AR,比如你從別棟走過來,你掃AR,只會跟你說玻璃磚,何時蓋的,可是如果你是從另一邊過來,這時候會得到動畫說明設計手法,等於是你從C到B它給你這個,從A到B它給你這個。我們就用這樣的一個prototype去做林家花園的原野設計手法。這牽涉到一個傳統的研究方法,就是做大量的文件分析,mapping,互動設計總是有些比較特別的技術可以做。有個研究方法叫做History and interpretation,最後有個narration,把你的研究用敘事的方式說出來。互動的部分,我們可以用一個很特別的方式作敘事。我們就是用這樣的AR在做敘事。其實到這,我還是很繼續再做,這部分是人的部分。AR的部分,還有另一個。

Credit: https://bit.ly/3nhRkoq

因為我很喜歡北門,我的手機,畫都是北門。這個男生就是還在玩寶可夢,背包也掛一個寶可夢。你們如果有玩過寶可夢的話…AR之前沒辦法做到遮蔽,大概在兩年前、一年半以前,蘋果released一個kit,讓你可以做遮蔽。一旦做遮蔽就不太一樣了。我那時其實只是簡單跟學生說,一般的digital heritage都是在被拆掉的古蹟上重建,但是很多時候它周遭的事情在幫它說故事。北門之所以有它的故事,是它之前被高架橋包起來,以前我們可以站在那邊抬頭看,看高架橋跟北門一線天,等於是我們可不可以把它重建回來。所以他在做的不是北門的重建,是北門周遭的重建。他就開始做切片,比如說他做5年前的北門周遭,10年前、15年前、20年前。可是你到那邊就可以看到所有事情。你知道的是都市發展的過程。北門能夠不會被改成北京供電室是因為它曾經要被拆掉,只是懶得拆,高價在這邊。慢慢民間文資保存意識回來了,它反而因禍得福,這樣的故事可以透過這樣去解釋,就不會只能介紹清朝故事等等,造型等等,就可以去談比較深的都市脈絡的東西。他就慢慢把題目做出來,這是校正過程,這是在現場拿手機可以看到的,真的很震撼。這跟你看照片是不一樣的。如果說Augmented Reality目的是這樣的話,主角不一定是主角。配角有時候比主角來的重要。這是很重要的配角。他也是做到這邊為止,如果我們有文史資料,我們可以切的更細,每一年都做出來。他可不可以混合AI,不確定,可是模型是從文資保存那邊抓下來的。還有另一種是用相機建模。我們很有興趣的是日本橋,要把它復原了。最近有個新聞說,日本橋是他們精神象徵,可是經濟起飛後蓋了高架橋,他們現在要花更大的代價把這個橋移開,讓日本橋重新回來。 我們應該在橋還沒拆的時候,用影像建模真的把真實模型掃下來,存到文資保存,未來可以重塑。就可以說,日本橋曾經有一段這樣的時間。十年後弄完,大家可能會淡忘這些事但是就可以找回來,這就是一個project。不見得不好看的東西就沒故事可以講。醜的人心裡可能是善良的。

可惜的是我們沒辦法看那麼遠,所以很多時候我在帶題目就收在一個比較可行的地方。

許慧瑩:

老師,分享一下我爸爸之前因為膽囊發炎,太嚴重,醫生建議我們用達文西手臂,因為肉眼沒辦法看到,膽囊非常小,可能會動到其他器官。如果像這樣用算的,結果是可以被取信的,是不是確認之後就可以用達文西手臂執行,而不會有人類誤判?

戴楠青:

我分兩次回答。那篇引用時我剛好去台大健檢,這內視鏡的時候我第一次發現原來人那麼容易被迷昏,我還在講的時候突然就睡著了。醒來的時候什麼都已經結束,一點痛苦都沒有。那幾天有人引用被我發現了,才會有那樣的聯想。

回到剛剛的問題,我在做HDR研究,都會遇到一些困境,很多設計其實不需要做到那一邊,因為有photo realism。有很長一段時間,我們的真實是訂的跟相片一樣真就好了,有好長一段時間3d建模,是為了做電影特效。譬如說星際大戰一開始用飛機爆破在做,後來用電腦CG在做了。你只要能夠在真實照片跟人之間,不讓人發現有違和感就OK了。他們不需要做到HDR。用到HDR的時候,失誤是不被容許的。所以我會覺得HDR和AI慢慢都會走到,當我們對一件事精準度要求的是更重要,可能就會請數位世界來幫忙。這會是我有點逃避型的答案。

許慧瑩:

老師還有另一個很有趣,您剛提到林家花園是數位與人文。以前沒有這些東西,是怎麼蓋的,比如說9點多度?

戴楠青:

因為林家花園曾經是一個住宅里,一個眷村。所以林家才會把它捐給市政府,讓里民遷走重建。所以我很擔心這個形變是重建的時候發生的,所以我那時候就會去Yahoo拍賣找舊照片。買了一大堆。那時Yahoo拍賣突然出現一個人狂掃林家花園舊照片,多少錢都押下去。我就可以確定其實從日據時代之前,它就是這樣的形變。我就比較安心,因為並不是重修之後產生的。但是在文獻上,一直沒找到日文文獻,談到隱藏的理由。所以我就先做一個假設,再去證明它。現在就想辦法去跟真的有在林家花園鑽研的幾位學者討論,去問他們我是不是胡說八道,或是真的有道理,因為我覺得沒有那麼巧的事。下次如果我們有機會去那裡,你就在八角亭,掃視過去,你會發現都沒有違和感。但如果是在其他地方,你會發現違和感都好重,因為你不是站在一個他要你站的地方去看這個建築物。

李建良:

你剛提到我心有所感的事,我們不要跟照相機比,照相機可以做的事就讓照相機做,我們做照相機不會做的。所以才會強調手繪,再怎麼樣都不可能被取代。所以剛才會問那個問題,手繪怎麼變成數位生產線。你做的東西也非常廣,包括林家花園你去證明當時的偏誤是有意的,還有橋的大小是要呈現空間感。有一個問題:你怎麼定位你的研究?它是科學還是藝術?

戴楠青:

我在淡江的時候別人覺得你在幹嘛,我到北科互動的時候別人也覺得你在幹嘛。其實我後來慢慢架構圖像語言,也胸無大志。我覺得技術會被淘汰,記憶可以跟著你老。我會覺得數位技術,今年學明年學,每天都在學。速寫的話,只有它不會背叛我。我不曉得這能不能回答老師的問題。

像這個,我做了一個行動的APP,把拆解過程做出來,和敘述之類的。這你們應該會喜歡,台南地方法院博物館。這是分析性速寫的過程,我從北門開始介紹它,我就用來做教學實踐的比較,我覺得我學會了APP我可以幫我自己介紹這個分析性速寫。到後來,我也不曉得我是在什麼領域,手繪的部分我還是想繼續做,然後這部分總是有些有趣的事可以找到。就讓學生比,哪個比較方便,幫助比較大。那時就發現有問題,我這樣拍這影片,我到底有沒有在北門之前,誰也不會知道。所以後來我就做了一個360的影片,代表你再看的時候可以往上滑可以下滑。後來我發現,我給學生看了以後,他們就調到我這邊拍我的鼻孔。我就發現有種360相機是180的,兩個,後來我就買那個,他們就看不到我的臉,就變成只有我眼睛看到的,立體透視。相對的它也可以放到Google Plus裡面,也有雙眼視差的景深。它是不是可以取代實地速寫,不知道,因為那是今年的教學實踐計畫,我還沒做。只是像這樣每個階段會發現新的問題,我可能會用數位的方式來幫助我解答。

陳志遠:

我剛聽老師的演講,我想到梁思成和林徽音,因為他們好像也是美術轉建築。看到廟宇我就有個問題,因為我以前在台南讀書,看到古廟,有四連景或三連景,我常會用結構去理解那個廟。可是不知道是不是在廟宇 興建的過程中,建築師都會考量到,視覺透視的問題?

戴楠青:

我是覺得會。

陳志遠:

第二點是,看了很多很fancy的一些covid-19、SARS的一些biological 的 image,我想說如果透過老師您建築或視覺設計的角度,看organic construction,或是看molecular binding的這些interaction,您會有什麼建議?因為現在好像很多這種圖片都已經很多,像這樣的organic construction和image的reconstruction,都會幫助我們做一些medical的judgement,或是legal judgement,不知道老師有沒有什麼comment。

戴楠青:

回到廟的部分,我覺得也有機會做AI或數位技術。…這是淡水,這是福佑宮這是龍山寺,龍山寺其實比較好,還在永樂市場裡面。福佑宮在老街上,香火鼎盛,被改得比較厲害。它就做了一個天井在這邊,怕淋雨的時候,你抬頭看的時候還可以看到天空,這個已經用屋遮把它遮下來了。它變暗之後加好多的燈,就已經沒辦法再界定空間的位置。這邊已經有屋頂了,我就覺得它跟有屋頂的地方是兩個不一樣的空間。所以,我在想辦法有沒有辦法做一個光照的典藏。覺得好像沒辦法把照明環境給保存下來。我想保存原始的照明環境。在第一個題目上比較麻煩的是,記錄我用HDR,什麼樣的景比較困擾,我回到心理學,有個標準視景。有另一個老派的方法behavior mapping,你到一個空間,這個人近來每五秒你點他的位置,直到他出去為止,就會有路線,看他做什麼。這我們是用手工做的,而這絕對可以用AI,後來有用了。

另一個學生做另一個題目,捷運站出來,大家都會寧可花很多時間等手扶梯也不願走樓梯。越早讓裡面的人離開是越好的,所以我們就做行為調查。我的假設是,因為我們在車上都會看手機,當我們出來這個行為還捨不得斷掉,我們會選擇一個對我們比較安全的方式。我們就用行為地圖法。但我們馬上發現我們只能追一個人,後來就用360相機,車子一到,所有人出來拍下來。同學回家一個個做。AI可以幫忙。我目前定調的就是大量資訊的時候,AI就可以了,我們等於是用數位技術幫我們記錄所有的人,回頭用人工一次次做行為調查。如果這件事情能用演算法來做會很輕鬆。

我要做的其實是復原,我就去找台北還有在做老蠟燭的人,一個阿嬤,很漂亮的老蠟燭。他還在用老方法做蠟燭,所以會有燭芯,會把蠟融掉,然後反覆,這是底,這是蠟塊,一次又一次套進去再拿起來,反覆的做,乾了再換一個,一直輪迴,直到蠟燭變得很粗。現在沒人在做,因為火太旺了。那個題目是,我希望他們能答應我,要開燈,用現代的和古代的蠟燭,看古代的蠟燭有多旺。那時候教學實踐在高雄,我就提早到台南,並不是每個廟都願意讓你做這件事情的,尤其是我沒辦法用台語解釋,人家不會讓我做。我那時只有一家廟願意讓我,我就跟他約好,我好希望再有第二家,遇到一個齊天大聖的廟,阿嬤聽不懂,就叫我擲茭,我就得到笑茭和聖茭,他就說可以做。但我還是希望把原本的照明當作文資保存的一部份,趁我們現再有這樣的技術,建築還沒被改壞的時候,復原照明,做光環境的紀錄。等於是他當初設計一定有他的初衷,照明的環境一定是蠟燭、油燈等等。現在已經沒辦法再看到了。我們是不是可以至少用數位典藏的方式保護。蠟燭這火很大,吹不息的,所以要壓熄,他們說不可以在神明面前吹蠟燭。很有趣。台南就是三步一廟、五步一寺,真的是人間天堂。

李建良:

今天的數位人文講堂,戴楠青老師只是一個開始,下次有機會請他帶我們去林家花園參觀。謝謝他今天的演講。