FIND研究員:李啟榮
2022年,一份由生成式人工智慧(Generative AI)技術所產出的畫作,獲得了美國科羅拉多州美術博覽會的第一名,一度震驚全世界;而AI生成式畫作之品質,精美到挑戰真人的審美觀和評價,造成了對藝術界和科技界的衝擊。
因此,AI工程師和美工設計師應共同探討AI如何解析、學習畫作並產生畫作,並藉由不斷反覆訓練,來找到AI如何評定畫作美感的方法和思維。使AI畫作在精進品質之餘,其審美觀更接近真實世界的觀點,並提高AI審美的客觀公正性。
【技術發展背景】
在AI自動繪圖、AI合成圖片進入成熟發展之際,人們開始對AI繪圖和合成圖片的品質加以重視,不但要確保圖片的原創性和真實性,還要分析AI圖片是否能達到品質上的需求和期望。
因此,AI工程師就嘗試以較為知名的精美畫作為訓練素材,讓AI資料集了解「這是一幅精美的畫作」,作為評價畫作是否具有美感的基準。例如像GPT類型的資料集,可藉由「微調(Fine-tuning)」的方式,讓資料集的訓練能夠專精化,再加上人工標註有哪些具有美感的圖案或關鍵字,讓圖像分析和解讀更為精準。
【技術介紹與應用現況】
以電腦視覺為基礎,並藉由AI演算法來「審美」的方式,有很多種不同的方法與相關研究,茲節錄如下:
OpenAI CLIP:利用人工標註圖片的方式來密集訓練資料,並將受測圖片與資料集加以比對,由資料集挑出較接近受測圖片描述的關鍵字結果;此一技術可進一步發展為圖片評分機制,藉由讓系統分析後打分數,來評定圖片的品質和美感(Suresh, 2023)。
圖1:OpenAI CLIP圖片評分機制與分數對照圖
資料來源:Suresh, 2023年
MUSIQ:由Google研究團隊所開發出來,針對畫質、美學含量(例:構圖、光影)、技術含量(例:是否出現模糊、雜訊)三種指標評分;該系統利用一張圖片,依據不同長寬比例加以分割(例如5*6、4*5、3*4比例),在將不同比例的子像素重疊比對,來評定圖片構圖、光影、雜訊是否達到應有的品質需求(Ke & Yang, 2022)。
圖2:MUSIQ圖片評分機制和分數對照圖
資料來源:Ke & Yang, 2022
ADSSFID-49:這個AI繪圖引擎由一支來自中國大陸和澳門的聯合研究團隊,於《自然》期刊所發表(Chen, Shao, Zheng, Zhang, & Yin, 2024)。ADSSFID-49是參考Stable Diffusion、DALL-E、Midjourney等坊間常見的AI繪圖引擎,同時自行訓練了針對室內設計專精化的AIDDM資料集而成;該繪圖引擎可輸入不同風格的關鍵字(例:北歐風、日式、中式、美式),以及不同的房間陳設布局(例:客廳、臥室、浴室),繪圖方式採用變更關鍵字的方式,相對於傳統AI繪圖引擎,減少了因為算圖成果不如預期,導致需要整個重新繪圖、砍掉重練的流程,並在滿意度方面也宣稱超越傳統AI繪圖引擎。
圖3:ADSSFID-19與傳統AI繪圖引擎之輸出對照
資料來源:Chen, Shao, Zheng, Zhang, & Yin, 2024年
圖4:ADSSFID-19與傳統AI繪圖引擎之算圖流程對照
資料來源:Chen, Shao, Zheng, Zhang, & Yin, 2024年
圖 5 ADSSFID-19與傳統AI繪圖引擎之滿意度比較
資料來源:Chen, Shao, Zheng, Zhang, & Yin, 2024年
未來展望/挑戰
AI在影像分析上有著卓越的效能和分析能力,可以用來進行科學性的掃描和判讀,適用於包含醫學、物理、化學、生物學、電子學等必須講求客觀且不容絲毫模糊空間的精準分析之領域。
但在講求相對標準及容許範圍較寬廣、美學見解較為主觀而複雜的「審美」概念中,AI可以藉由強大的學習和歸納能力,加上真人專家的細心投入深究,讓AI變成具有美感和科技感兼具的「工藝品」;正好工藝就是科學和藝術的綜合體,藉由整合科學性分析和創意美感的剖析,讓AI審美能成為協助真人評估美感的好幫手。
封面圖片來源: 123RF
參考資料來源:
1.Chen, J., Shao, Z., Zheng, X., Zhang, K., & Yin, Z. (2024, February 12). Integrating aesthetics and efficiency: AI-driven diffusion models for visually pleasing interior design generation. Retrieved from Nature: https://www.nature.com/articles/s41598-024-53318-3
2.Ke, J., & Yang, F. (2022, October 10). MUSIQ: Assessing Image Aesthetic and Technical Quality with Multi-scale Transformers. Retrieved from Google Research: https://blog.research.google/2022/10/musiq-assessing-image-aesthetic-and.html
3.Suresh, R. (2023, October 20). Image aesthetics quantification using OpenAI CLIP. Retrieved from Medium: https://medium.com/@sureshraghu0706/image-aesthetics-quantification-using-openai-clip-7bbb45e00147