FIND研究員：李啟榮 
AI生成式內容（AI-generative contents, AIGC）除了成為人類生活不可或缺的好幫手以外，也能被用作不當意圖，例如撰寫惡意程式碼、篡改和盜取對方機敏資訊等等，使AIGC變成一種新興的攻擊手段，降低攻擊門檻和攻擊成本，使資安專家窮於應付。
另外GPT系列資料集具有可客製化、微調（Fine-tuning）的特性，可以將原本樣樣通、樣樣鬆的傳統GPT模型，轉化為功能專精化、特定用途的客製化GPT；尤其駭客可以利用GPT模型來訓練惡意原始碼，不但可以快速產生惡意指令，還可以尋找並滲透漏洞，造成猝不及防的打擊、加強殺傷力。
技術發展背景
傳統GPT模型可藉由灌輸大量的資料反覆訓練，再加上人工標註訓練成果的正確性，來提升演算成果的準確率；而駭客也可以用這樣的方式，進行「資料下毒（Data poisoning）」，對GPT模型灌輸惡意指令，讓GPT模型自己吐出先前記憶的機敏資訊，或者產生出更危險的惡意程式碼，使GPT模型因為被駭客控制而陷入「中毒」狀態。
食髓知味的駭客也可利用GPT能夠客製化和微調的特性，將GPT變成滿腦子壞主意的「共犯」，而衍生出有利於駭客行動的客製化GPT，例如FraudGPT、WormGPT、WolfGPT、EvilGPT，加速了惡意程式的開發和散布，並且能散布更逼真的釣魚郵件引人上當。
技術介紹與應用現況
ChatGPT有系統預設的「道德限制」，並拒絕回答不合理、不合法的問題；但「惡意GPT」則被駭客強行解除了「道德限制」的系統封印，並藉由惡意GPT來產生惡意程式和釣魚信件。另外，惡意GPT也可以設計為惡意聊天機器人，以社交工程方式，從不知情的受害者透露出機敏資訊，並回傳給藏在幕後的駭客。
另外，惡意GPT也能給規模更大、更組織化的駭客集團，發動「進階持續性威脅（Advanced persistent threat, APT）」的攻擊模式，綜合社交工程、網路釣魚、惡意程式植入、漏洞窺探等不同攻擊模式和突破口，並在攻擊發起之後加劇破壞規模，進而提升防禦和復原的難度。
值得一提的是，惡意GPT的入手成本相對低，甚至還發展出商業模式，讓駭客躍躍欲試；例如FraudGPT月費200美元、年費1700美元，相對於需要動輒成千上萬美元建構的防護措施根本不成正比 (Columbus, 2023)。另外，善用AI也可以防禦駭客以AI發動的攻擊手段，以AI發現並修補漏洞的速度，比傳統IT團隊提早兩個半月完成，並減少300萬美元的損失 (Swan, 2023)。
圖 1 利用FraudGPT產生釣魚郵件
資料來源： Columbus, 2023
圖 2 利用FraudGPT產生惡意聊天機器人
資料來源： Columbus, 2023
未來展望/挑戰
所謂「道高一尺、魔高一丈」，人們在享受ChatGPT、Copilot等AI生成工具所帶來的便利和貢獻的同時，駭客也用相同的方式來改善他們的攻擊手段和效率，並在AI的協助下策畫天衣無縫、乾淨俐落的攻擊行動，讓駭客能夠在網路上來無影、去無蹤。
資安團隊在AIGC大趨勢下，對於防護手段的開發、防護觀念的建立也要與時俱進，比駭客搶先一步防堵漏洞、強化系統架構，並將AI控制在合理的使用範圍內，防止AI暴走成為脫韁野馬，被駭客利用成為其助力。
封面圖片來源: 123RF
參考資料：
1.Columbus, L. (2023, August 14). How FraudGPT presages the future of weaponized AI. Retrieved from VentureBeat: https://venturebeat.com/security/how-fraudgpt-presages-the-future-of-weaponized-ai/
2.Nachiappan, A. (2023, September 18). WormGPT: AI tool designed to help cybercriminals will let hackers develop attacks on large scale, experts warn. Retrieved from Sky News: https://news.sky.com/story/wormgpt-ai-tool-designed-to-help-cybercriminals-will-let-hackers-develop-attacks-on-large-scale-experts-warn-12964220
3.Swan, D. (2023, November 3). Meet hackers' favourite new tool: WormGPT. Retrieved from The Sydney Morning Herald: https://www.smh.com.au/technology/meet-hackers-favourite-new-tool-wormgpt-20231102-p5eh5l.html
