近年來，「AI 威脅」幾乎成為所有網絡安全討論的關鍵字。然而，相關論述往往走向兩個極端——一是過度誇大，將 AI 描繪成全面顛覆安全格局的超級武器；另一則是完全淡化，認為只是舊有攻擊手法的包裝升級 – 而事實往往介乎兩者之間。
要真正理解並妥善應對 AI 所帶來的安全風險，企業必須避免一刀切思維，亦不應寄望以單一技術或方案涵蓋所有風險場景，關鍵在於清晰分類（taxonomy）。只有將 AI 威脅分門別類，企業才能對症下藥，制定合適的防禦策略。Sophos 最近就分享他們自己的一套AI威脅分類方法，希望在MITRE ATLAS及NIST AI 100-2等框架上進一步梳理AI威脅。
AI 威脅兩大分類
根據 Sophos 的分析，AI 相關威脅可分為兩個核心方向，分別是惡意「使用」AI（Malicious Use of AI），以及惡意「針對」AI（Malicious Targeting of AI）。分成這兩大類別後，就可以更仔細的拆解相關手法、帶來的風險以及防範重點。
第一部份：惡意「使用」AI（Malicious Use of AI）
這個類別是談及「AI 威脅」時大多數人首先想到的 – 攻擊者濫用生成式 AI 工具。然而，實際情況遠比表面複雜。AI 在攻擊中的參與程度不同，所帶來的風險層級及相應防禦策略亦各有差異。
從自主程度來看，相關威脅可視為一條漸進光譜：由「AI 生成 (AI-generated)」由人類主導、到「AI 增強 (AI-augmented)」雙方負責各半、再到「AI 主導 (AI-orchestrated)」由AI全責執行的攻擊行動。隨著 AI 參與度提升，攻擊自動化程度與效率亦同步提高，特別是 AI 主導型攻擊，主要是大幅降低了技術門檻，使原本能力有限的攻擊者亦能運用更高階工具，擴大整體威脅面。
| 類型 | 例子 | 特性 |
| AI 生成 (AI-generated) | 利用生成式 AI 撰寫釣魚電郵、製作詐騙網站或生成惡意腳本 (Malicious Script)。 | 本質仍是傳統攻擊，但速度更快、相似度更高、數量更多。 |
| AI 增強 (AI-augmented) | AI 在攻擊過程中即時協助，例如利用大型語言模型（LLMs）提升偵察與開源情報（OSINT）收集的規模與深度，或自動化漏洞發掘及漏洞利用程式的開發、動態生成攻擊指令、進行語音模仿詐騙等 | 攻擊更具變化性，能作出更為複雜的規畫動作，增加安全軟件偵測難度 |
| AI 主導 (AI orchestrated) | AI自主設計整套攻擊流程及手法，在極少人為干預下自動執行滲透與橫向移動。 | 攻擊流程自動化，縮短從入侵到行動的時間，亦可更廣泛地發動攻擊。 |
惡意使用AI的防禦措施
這類威脅本質上仍然是傳統攻擊，只是在AI工具輔助下、不論在攻擊規模及速度上都幾何級上升，以傳統防護工具以及流程根本不足夠維持有效防護。而且因為成本變低，攻擊會變得更無孔不入，過往因成效有限或人力成本過高而被放棄的入侵途徑，亦可能因 AI 的加持而重新被納入攻擊策略之中，進一步擴大企業的暴露面。
面對此類AI威脅，企業要考慮的是提升偵測與回應效率以及安全措施能覆蓋的層面。各資安廠商大部份已經在其工具內加入AI技術提升效能，企業安全人員可以考慮廠商應用AI的方法加以選擇。並且透過而以下的安全工具可以說是AI時代的資料安全基本配備：
- 進階威脅偵測（EDR / NDR / XDR）
- 電郵安全與反釣魚及模仿詐騙技術
- 行為分析與異常偵測
- 威脅情報及外部攻擊面監察
- 自動化回應機制
除了選擇新的防護工具外，其實最重要的是重新檢視現有的防護覆蓋以及安全框架、事故嚮應流程等，以配合AI的攻擊速度。先前香港證監會就AI威脅向持牌機構發出的建議亦是關於這方面強化及檢討。
第二部份：惡意「針對」AI（Malicious Targeting of AI）
另一類風險，是 AI 本身成為攻擊目標，這亦可說是 AI 時代所衍生的真正「新威脅」。
各類新興 AI 工具不僅擴大了企業的攻擊面，其系統架構、訓練方式、供應鏈依賴及部署特性，亦可能成為潛在弱點或成為攻擊鏈中的一環。
隨著企業加快導入 AI 應用，攻擊者與防禦方同樣積極研究 AI 系統在安全設計上的缺憾與漏洞。因此，這一類針對 AI 本身的攻擊模式，值得企業管理層與安全團隊投入更深入的關注與理解。Sophos的研究整理出以下例子及防護措施：
1. 由 AI 代理觸發的供應鏈風險（Agent-Initiated Compromise）
隨著 Coding Agent（如 Claude Code、Cursor、Copilot 類工具）普及，AI 代理會自動下載套件或整合外部資源。若相關依賴項遭污染，惡意指令可能在缺乏人工審核下直接進入企業環境，而且植入的未必需要是惡意代碼，可能是透過AI代理的高權限做出的不法行為 (例如將所有電郵BCC一份至攻擊者的地址)，成為攻擊鏈的一環。
防禦重點：
- 強化權限與存取控制，特別是針對AI Agent亦應執行最小權限原則 (Least Privilege)
- 驗證套件來源與完整性，或限制只能於指定安全源頭取得套件
- 建立供應鏈風險管理機制
2. AI 工具假冒與惡意下載
攻擊者透過假網站、SEO 污染或惡意廣告，誘導用戶下載偽裝成 AI 工具的惡意程式。這類攻擊本質屬傳統社交工程，但借助 AI 熱潮提升成功率。
防禦重點：
- 加強整體員工的安全意識，定時進行培訓
- 部署進階端點防護 EDR / XDR
3. AI大模型投毒 (LLM Poisoning)
攻擊者可能污染模型訓練或檢索流程，影響模型輸出結果或行動。雖多屬研究階段，但企業仍應警惕 AI 回應中的可疑連結或指令。
防禦重點：
- 為AI 產出內容建立驗證機制
- 避免將未審核指令直接導入生產環境
4. 針對模型本身的攻擊
包括模型提取、訓練數據反推、對抗樣本及成員推斷等技術。這類攻擊往往難以從單一事件察覺，需透過長期行為分析與查詢模式監控才能識別。
惡意針對 AI的防禦措施
惡意針對 AI本質屬於信任與供應鏈風險，而非單純的攻擊效率問題。因此，防禦策略亦應有所區分。相比傳統威脅，此類風險更需要：
- Secure-by-Design 設計原則
- 明確的 AI 治理政策
- 權限與資料最小化原則
- 供應鏈透明度與監控
隨著企業將 AI 納入核心營運流程，若缺乏相應治理與安全架構，AI 可能成為新的風險放大器。
為何分類及定義AI威脅如此重要？
市場對 AI 威脅的討論日益泛濫，很客易跌入將「AI威脅」視為單一事項的陷阱。其實現有或可能出現的AI相關威脅在技術、成熟度與風險層級均截然不同，但若統稱為「AI 攻擊」，將無助企業制定有效策略。所以在AI風險前，企業決策者與 CISO 更需要冷靜分析，問正確的問題：
- 攻擊如何利用 AI？
- AI 是工具，還是目標？
- 風險來自規模、速度，還是信任與治理缺口？
只有在釐清真正的安全問題，明確區分「AI 被濫用」與「AI 被攻擊」，企業才能看到防守的弱點，針對性地部署有效的防護。真正的挑戰，不是 AI 本身，而是企業是否具備足夠的可視性、偵測能力與治理框架。在快速演變的威脅環境中，建立清晰的分類框架，是制定有效防禦策略的第一步。
