當 AI 學會自己做決定：我們如何為它設下可信任的邊界？

我們正處於一個歷史性的轉折點。人工智慧已不再只是回答問題的工具，它開始「自己採取行動」。而便利性大幅提升的背後，是一個全新的風險宇宙正在悄然成形。

想像一個場景：某家全球頂尖顧問公司的員工，在某個平凡的工作日上線，發現內部系統已被入侵。攻擊者不是躲在暗處的駭客，而是公司自己部署的AI代理（AI Agent）。這個原本用來提升效率的智能助理，在短短兩小時內，僅花費20美元的運算成本，就竊取了超過4,650萬則訊息與72.8萬份內部機密文件。這不是科幻小說的情節，而是真實發生在麥肯錫（McKinsey）系統上的安全事件，也是近年AI治理議題中最震撼人心的警示之一。

我們正處於一個歷史性的轉折點。人工智慧已不再只是回答問題的工具，它開始「自己採取行動」。這種被稱為「代理式 AI」或「AI 代理人」（AI Agent）的新型態，能夠自主規劃、執行任務、存取外部系統，甚至在無人監督的情況下連鎖呼叫其他 AI 工具。便利性大幅提升的背後，是一個全新的風險宇宙正在悄然成形。

從「回答問題」到「自己行動」

早期的生成式AI，例如大多數人熟悉的ChatGPT，本質上是一個「問答機器」—你問，它答，交互就此結束。但近年出現的AI Agent完全不同。它能設定目標、分解任務、決定步驟順序、呼叫外部工具（例如搜尋引擎、資料庫、程式碼執行環境），並且根據中途取得的資訊調整策略，直到完成任務為止。

更關鍵的是，這些代理人可以「串聯」運作。一個 AI 代理人可以扮演「協調者」，把子任務分派給多個專門的下屬代理人，整個系統形成一個自主運作的網絡。這種架構在企業端的應用前景令人振奮：它可以自動化繁瑣的法律文件審查、即時監控多國市場的供應鏈異常、甚至代替人類完成軟體工程的整個開發流程。Forrester 研究預測，到 2025 年，超過 25% 的企業將會在業務流程中全面部署代理式 AI 系統。

然而，自主性愈高，潛在的失控空間就愈大。問題不在於AI是否夠聰明，而在於它的「行動邊界」由誰來定義、誰來監控、誰來負責。

AI 代理人帶來的五大資安黑洞

麥肯錫的案例並非孤例。Meta 同樣發生過 AI 代理自主繞過人類審查程序、因權限設定過寬而導致敏感資料外洩長達兩小時的事故。更令人警惕的是香港工程公司 Arup 的遭遇：攻擊者利用AI 深偽技術（Deepfake）偽造高層視訊會議，讓一名財務人員在「確認」後匯出了2,500萬美元。AI工具本身成為詐騙的武器，而非防護的盾牌。

這些事件指向五個企業在導入代理式AI時常見卻易被忽視的風險維度。第一是身份識別與存取管理（IAM）的漏洞：當AI代理人以「員工身份」存取系統，傳統的帳號密碼管理機制完全失效，攻擊者只需取得AI的憑證便能滲透整個內部系統。

第二是「提示注入攻擊」（Prompt Injection）—惡意使用者透過精心設計的文字輸入，操控 AI 代理人偏離原定任務，執行未經授權的指令。第三個黑洞是「影子 AI」問題：員工私自使用未受企業監控的第三方 AI 服務處理工作，造成機密資料在企業管控範圍之外流通，形成難以追蹤的資安盲點。第四是 API 安全脆弱性—AI 代理人仰賴大量 API 介面與外部服務溝通，每一個連接節點都是潛在的攻擊入口，「東向流量」（AI 與 AI 之間的通訊）更常被忽略。

最後是治理層面的挑戰：AI代理人可能因訓練資料中的偏差做出不公正的決策，一旦發生意外，責任歸屬更是難以界定的法律迷霧。

AI Agent的極限不在於智力，而在於人為賦予的權限邊界與監管機制。技術愈強大，治理的必要性就愈迫切。

圖一 : AI Agent的極限不在於智力，而在於人為賦予的權限邊界與監管機制。

分層防禦：企業資安的新思維

面對上述挑戰，企業界逐漸形成一套「分層防禦」（Defense-in-Depth）的應對框架，其邏輯與城堡的同心圓防線如出一轍—每一層都是獨立的屏障，任一層被突破都不會導致整體崩潰。

最基礎的第一層是「影子代理揭出與身分建立」。企業必須先搞清楚自己的網路環境裡究竟跑著多少個 AI 代理人，其中有多少是未經授權的「影子代理」。透過持續的流量分析，識別異常行為，並為每一個合法的 AI 代理人賦予唯一識別碼（UID）和授權清單，讓每個 AI 都有明確的「數位身份證」。

第二層是落實「最小權限原則」（Principle of Least Privilege）：每個AI代理人只被賦予完成當前任務所需的最低限度權限，一旦任務完成，權限立即收回。搭配虛擬沙箱隔離環境，讓 AI 在受控空間內運行，即使遭到惡意攻擊，損害也難以擴散到核心系統。第三層則是針對高風險操作強制保留人類介入的「人機協作機制」，嚴禁全自動核准高風險決策，並建立對抗提示注入攻擊的防禦機制。

最頂層的第四道防線是全程稽核與緊急應變能力：完整記錄 AI 代理人的每一個決策步驟與存取行為，並建立「緊急停止開關」，能在異常發生時立即中斷 AI 的所有行動。這四層防線共同構成了一套可信賴的企業 AI 代理生態系統的技術基礎。

什麼是 AI TRISM？

AI TRiSM（AI Trust, Risk and Security Management，AI信任、風險與安全管理）是Gartner提出的治理框架，專門用來管理AI系統的可信任性、公平性、可靠性與資料保護。相較於傳統資安，它特別強調AI的「可解釋性」—當AI做出決策，人類必須能夠理解其推理過程，才能有效問責。研究顯示，企業若能系統性導入AI TRiSM，可實現高達171%的投資報酬率，同時大幅降低AI決策失誤帶來的商業損失。

全球四大治理框架：為 AI 建立「憲法」

技術層面的防禦只是起點，更宏觀的課題是：如何在全球範圍內為 AI 的行為建立共同認可的規範體系？就像一個民主社會需要憲法來界定公民的權利與義務，AI 的大規模普及也需要一套多層次的治理框架，兼顧倫理原則、操作政策、風險管理與法律強制力。目前，國際上形成了四大主要參照系。

倫理UNESCO AI 倫理建議書

聯合國教科文組織於 2021 年通過，193 個成員國一致採納。強調人的尊嚴、環境永續、多元包容等核心價值，是全球 AI 治理的道德羅盤，確立方向性原則。

政策 OECD AI 原則

由38個成員國政府正式採納，聚焦於 AI 系統的透明度、可解釋性、穩健性與問責機制。提供政府制定 AI 政策的具體操作指引，是從倫理走向政策實踐的橋樑。

風險NIST AI 風險管理框架

由美國國家標準技術研究院提出，以「管理流程」為核心，提供系統性識別、評估與降低 AI 風險的方法論，廣受企業採用，是最具操作性的技術框架。

法律 EU AI Act

歐盟於 2024 年正式生效的全球首部 AI 專項法律。依據風險高低分級監管，高風險 AI 應用（如醫療診斷、司法決策）須強制符合透明度、人類監督等嚴格要求，違規最高罰款達 3,500 萬歐元或全球營收的 7%。

這四個框架並非相互競爭，而是構成一個互補的同心圓：UNESCO 確立普世倫理方向，OECD 將其轉化為政策語言，NIST 進一步落實為企業可執行的風險管理操作手冊，EU AI Act 則作為最終的法律強制力保障，確保規範不淪為空文。

這四個框架並非相互競爭，而是構成一個互補的同心圓：UNESCO 確立普世倫理方向，OECD 將其轉化為政策語言，NIST 進一步落實為企業可執行的風險管理操作手冊，EU AI Act 則作為最終的法律強制力保障，確保規範不淪為空文。

治理架構的精密建築學

若把AI治理架構比喻為一棟精心設計的建築，它必須同時承受來自外部的衝擊（技術風險、惡意攻擊）與來自內部的壓力（偏見、錯誤決策、倫理爭議），並且對所有居住其中的使用者保持透明、公平與可及。

這棟建築的外牆由全球標準構成—UNESCO的倫理原則從道德層面環繞整個架構，EU 的法律規範提供硬性的結構支撐，OECD的政策框架如樑柱串接各個組件，NIST 的風險管理工具則是精密的工程圖紙。外部的威脅—無論是資料污染、提示注入、或是深偽攻擊—在觸及核心之前，必須先通過每一道層層相扣的過濾機制。

建築的核心是企業的商業價值與永續創新能力。治理框架的終極目的，從來不是阻止 AI 創新，而是確保創新的果實能長久保存，不因一次系統性失誤而灰飛煙滅。「賦能」與「約束」並非對立關係，而是共同守護同一個核心的兩根柱子—賦能讓企業敢於探索 AI 的邊疆，約束則確保探索不會釀成無法挽回的後果。@大標:零信任：重新想像信任的起點

在AI治理的實踐中，「零信任」（Zero Trust）架構正成為愈來愈多企業的核心安全哲學。傳統的網路安全模型建立在「邊界」的概念上：防火牆以內的一切都被默認為可信。但當AI代理人開始跨越系統邊界、自主與外部服務互動，這種信任模型就像一道只在大門口設防、屋內卻四處開窗的防線，徒勞無功。

零信任的核心理念是「永不預設信任，始終驗證身份」（Never Trust, Always Verify）。無論是人類員工、外部廠商，還是AI代理人，每一次存取行為都必須重新驗證身份、確認授權範圍，並記錄完整軌跡。這不是技術悲觀主義，而是一種務實的信任重建機制—信任不是一次性授予的特權，而是透過持續驗證不斷累積的關係。

對企業而言，導入零信任架構意味著一次深刻的組織文化轉變。技術團隊需要重新設計身份驗證流程，法律合規部門需要與工程師緊密協作制定 AI 行為準則，高層管理者需要理解為何某些AI自動化必須保留人類的「最終確認」步驟。這是一場橫跨技術、法律、倫理與管理的整合工程，其複雜度遠超過單純的 IT 建設。

可信任的AI，是一個必須主動選擇的承諾

回到文章開頭麥肯錫事件的震撼。那個 AI 代理人並非懷有惡意，它只是在執行被賦予的任務，而沒有人事先想清楚：它應該被允許做到什麼程度？出了問題，誰來負責？如何及時叫停？

這正是 AI 治理最本質的問題意識：不是「AI 會不會比人類聰明」，而是「我們有沒有做好準備，在 AI 愈來愈能幹的世界裡，依然保有清醒的判斷與必要的控制」。全球四大治理框架的建立，標誌著國際社會已逐漸形成共識：AI 的發展不能只由技術速度決定，還必須由倫理深度、法律強度與治理精度共同塑造。

可信任的AI，不會從天上掉下來，也不會隨著技術進步自然形成。它是一個主動設計的結果，需要工程師、政策制定者、企業領導者、法律學者與公民社會共同參與，在每一個系統設計的決策點上問一個問題：「這樣做，我們信任嗎？」

當 AI 學會自己做決定的這個時代，我們所需要建立的，是一個讓人類依然值得被信任的世界。而這，正是所有治理框架最終想要守護的事。

（本文論述僅為作者見解，不代表其任職單位之立場）

（本文作者芮嘉瑋博士為財團法人中技社科技暨工程研究中心主任）