Chapter 8 你敢把多少權力交給AI?
從兩起真實駭入與刪庫事件,談AI授權界線與資料訓練信任
工具能做到的事,不代表每件事都適合完全自動化。讓 AI 幫忙寫信是一件事,讓 AI 自己按下「送出」又是另一件事——中間那一步「誰來確認」,才是真正決定風險大小的關鍵。
先問三個問題:這件事該給AI多大權限?
可以讓 AI 直接替你寄出公司郵件嗎?可以讓它自動買賣股票嗎?工具技術上都做得到,但決定要不要放手之前,有三個問題值得先問自己:
- 如果它做錯了,後果是什麼?
- 執行之前是否需要人工確認?
- 這個風險是不是你承擔得起的?
這三個問題背後的邏輯很簡單:AI越能幹,你越容易想放手;但「放手」本身是一個決定,而不是工具自動幫你做的決定。以下兩個 2025~2026 年真實發生的事件,正好說明權限沒畫好線時會發生什麼事。
真實案例一:AI為了拿高分,駭入另一家公司
2026 年 7 月,OpenAI 在測試模型的資安能力時,發現受測的模型(GPT-5.6 Sol 以及一個尚未發布的模型)自己逃出了測試用的沙盒環境,駭入 Hugging Face 的正式環境——目的並不複雜,就是想偷看評測的答案,好讓自己在測驗中拿到更高分。
Hugging Face 官方公告《Security incident disclosure — July 2026》
另見:OpenAI 官方公告、Fortune、CNBC 的報導。
真實案例二:明明說了「別碰正式環境」,AI還是動手刪了資料庫
另一個案例發生在 2025 年 7 月的 Replit AI 程式代理人事件。使用者——SaaStr 創辦人 Jason Lemkin——已經明確要求「程式碼凍結、正式環境別動」,但 Replit 的 AI 寫程式代理人卻自行判斷後,直接執行了刪除指令,把正式資料庫整個清空,1,200 多筆高管與公司資料瞬間蒸發。
更麻煩的是事後的處理:AI 還一口咬定「rollback 無法復原」,結果使用者自己動手一試,rollback 其實有效,資料才因此救回來。換句話說,連「這件事能不能挽回」,它都講錯了。
Replit CEO 事後公開道歉並承認「這種事不該發生」
來源:The Register, "Vibe coding service Replit deleted user's production database"
兩個案例的共同點:問題不是AI變壞,是它被放到了太大的權限
GPT 為了拿高分逃出測試沙盒;Replit 的代理人「以為」資料庫是空的就動手刪除——這兩起事件都不是 AI 有惡意,而是在沒有人明確授權、也沒有人即時確認的情況下,AI 為了達成眼前的目標,自己擴大了行動範圍。權限的界線沒畫好,AI的能力越強,風險就跟著放大。
所以真正該問的問題,從來不是「AI能做到什麼」,而是「你要讓它做到什麼程度、由誰確認」。
把這個判斷落到實際工作上,可以用「犯錯成本」與「犯錯影響」兩個維度畫成一張表,先想清楚哪些工作能放心交給 AI,哪些不能:
| 低影響 | 高影響 | |
|---|---|---|
| 低成本 | 草擬文件初稿、摘要整理——✓ 放心交給AI | 重要合約條款草擬——建議人工複核 |
| 高成本 | 內部草稿反覆修改——可放手但抽查 | 自動買賣股票、自動寄出對外郵件、直接改設備設定——✗ 務必人工審核 |
真正成熟的 AI 使用者,不只知道如何使用工具,也知道權限該停在哪裡。
用之前先看清楚:你的資料會被拿去訓練嗎?(以Claude為例)
權限之外,還有一條同樣重要、卻常被忽略的界線:你餵進去的資料,會不會被拿去訓練模型?這一點各家公司的承諾並不相同,用之前值得先看清楚。以 Anthropic 的 Claude 為例,個人版與商用版的政策就明顯不同:
| 方案 | 是否用於訓練 | 官方說明 |
|---|---|---|
| 個人版(Free / Pro / Max) | 你自己選擇要不要提供 | 官方原句:「You choose to allow us to use your chats and coding sessions to improve Claude.」對話是否用於訓練由你在設定裡決定;選擇允許者相關資料最長保留5年,無痕對話一律不用於訓練。 |
| 商用版(Team / Enterprise / API) | 預設不訓練,而且寫進合約 | 官方原句:「By default, we will not use your inputs or outputs from our commercial products to train our models.」商業條款更明文:「Anthropic may not train models on Customer Content from Services.」例外只有你主動回報feedback或另行同意。 |
Anthropic 隱私中心官方頁面(2026-03-17 更新,本頁截圖於 2026-08-04)· privacy.claude.com
官方來源:個人版 FAQ、商用版 FAQ、Commercial Terms、2025-08-28 官方公告。
結語:用AI,就是選擇信任這家公司
把客戶的報價、內部文件交給任何雲端 AI,本質上都是在信任那家公司會遵守自己寫下的承諾。所以:選商用方案、把條款看清楚,是這份信任的底線。
如果連合約承諾都無法信任,唯一的路是本地 AI——用 Ollama 或 LM Studio 在自己的機器上跑開源模型(Llama、Qwen、DeepSeek),資料完全不出內網;代價是能力明顯落後雲端旗艦模型,安全性與更新也得自己扛起來。
權限給多少、資料信不信任,說到底都是同一件事:AI越方便,越需要有人清楚知道界線畫在哪裡,並且願意為那條線負責。