← 返回動態消息
消息

AI 開始會「動手」了:替人點按鈕、填表單的 AI 代理,現在做得到什麼?

編輯整理:愛無界協會執行長 徐國誌

想像一位教會幹事對電腦說:「幫我把這二十位報名的弟兄姊妹,一個一個填進營會的報名系統。」然後 AI 自己打開網頁、找到欄位、把姓名和電話填進去,最後停在「送出」前面,等幹事看過再按。

這就是近兩年科技公司投入很多的「AI 代理」(AI agent):AI 不只回答問題,還能替人操作電腦、瀏覽器和手機。以下用問答的方式,整理目前公開資料能看到的情況。

問:AI 代理和平常聊天用的 AI 有什麼不同?

聊天用的 AI 給您答案,事情還是您自己做;AI 代理會直接動手,例如開網頁、點按鈕、填表單、整理檔案。2025 年起,OpenAI、Google、Anthropic、微軟、Apple 都推出過或正在推出這類功能。

Google 在 2026 年 1 月為 Chrome 瀏覽器推出「自動瀏覽」,官方舉的例子包括在預算內買派對用品、用一份名單幫球隊報名填表、預約、整理報稅文件。這項功能目前限美國的付費訂閱者,而且購買要使用者自己按購買鈕、社群貼文要自己按發佈。

示意圖:聊天用的 AI 列出步驟,事情還是自己做;AI 代理自己打開報名系統填好姓名電話,停在「送出」前等人看過

問:它現在有多可靠?

短的測驗題,AI 已經做得不錯。學術界常用的 OSWorld 測驗,是一份讓 AI 在電腦上完成幾百項短任務的考卷,人類大約能完成七成二;多家廠商公布的成績已經接近或超過這個數字,不過各家的計算方式不完全相同。

換成接近真實上班的長任務,情況就不一樣了。2026 年 6 月公開的 OSWorld 2.0 研究,設計了 108 項真實工作,人類平均要花約一小時半;表現最好的 AI 完整做完的比例約兩成。研究者整理的失敗原因很像辦公室裡最怕的錯:忘了一開始交代的條件、漏看做到一半才出現的資訊、該問人的時候自己猜、做完沒有檢查。

放到教會的情境來看,依這份研究的結果,「一步一步、有人在旁邊看」的小事,例如查三家遊覽車的公開報價做成表格,比較接近 AI 目前做得到的範圍;「交代下去就不管」的長流程,例如自己排好整季的服事表再寄給所有同工,目前的表現還不穩定。

短任務 OSWorld 測驗:人類約 72%,多家廠商公布的 AI 成績接近或超過人類;長任務 OSWorld 2.0:108 項真實工作,表現最好的 AI 完整做完約兩成。查遊覽車報價做成表格比較接近做得到,自己排整季服事表再寄出目前還不穩定

問:有些代理會「看著螢幕點按鈕」,這樣好嗎?

這是業界目前討論最多的分歧。一種做法是 AI 截圖、看懂畫面,再模擬滑鼠去點;另一種是系統本身開好「專用窗口」(工程上叫 API 或連接器),AI 透過窗口直接辦事。

可以想成兩種請人幫忙的方式:前者像請一位臨時工看著畫面找按鈕,畫面一改就容易找錯;後者像辦公室本來就開了一個專用取件窗口,能拿什麼、要不要簽名都事先寫好。

兩種做法:看著螢幕點按鈕,像臨時工看畫面找按鈕,畫面一改就容易找錯;系統開好的專用窗口,像辦公室的取件窗口,能拿什麼事先寫好,2026 年各家多半往這邊靠攏

2026 年的公開資料顯示,各家多半往後者靠攏。Google 在 2026 年 5 月關閉了用截圖點按的實驗專案 Project Mariner,科技媒體 TechSpot 形容那種做法「慢、貴、容易出錯」。Anthropic 的說明頁寫明,它的代理會先用連接器、再用瀏覽器,直接點螢幕是最後手段。Apple 在 2026 年的開發者大會上,請 App 開發者自己宣告 App 能做哪些動作、什麼時候可以安全執行。微軟 Windows 的代理功能預設關閉,只有系統管理員能開啟。

中國的例子更直接:字節跳動的「豆包手機助手」用讀螢幕的方式操作其他 App,2025 年 12 月因操作微信引發帳號問題,隨後下線這項能力;2026 年 10 月公布,有 150 多款 App 明確拒絕被它自動操作。

問:最大的風險是什麼?

資安研究者最常提的是「提示注入」:在網頁、電子郵件或文件裡,藏一段寫給 AI 看的指令,AI 讀到後可能照做。

2025 年公開的「ShadowLeak」研究就是一個例子:研究人員寄出一封信,用極小的白字藏了指令,當使用者請 AI 代理「幫我研究信箱裡的信」,代理就照著指令,把信箱裡的姓名、地址送到研究人員指定的網址。這個漏洞在公開前已由廠商修補,報導中沒有發現實際遭到利用。

示意圖:一封看起來普通的信,裡面用極小的白字藏了寫給 AI 的指令;使用者請 AI 代理研究信箱,代理讀到指令後把姓名、地址送到指定網址。2025 年的 ShadowLeak 研究,公開前已修補

廠商也公布了防護的進展。Anthropic 2025 年的自測中,瀏覽器代理被這類攻擊騙到的比例,加上防護後從 23.6% 降到 11.2%;目前的說明頁寫在內部測試中已低於 0.08%,同時註明風險「不是零」。英國國家網路安全中心(NCSC)2025 年 12 月的文章則認為,提示注入可能永遠無法完全解決,只能從設計上降低影響。

獨立資安研究者 Simon Willison 提出一個好記的判斷方式:當一個 AI 同時能讀到私人資料、會接觸外來的內容、又能自己把資料送出去,三樣湊齊就特別危險。放到教會辦公室,就是一個能讀同工信箱、會讀外面寄來的信、又能自己寄信的 AI,可能被一封假的奉獻收據或假的報名信騙走會友名單;依他的說法,三樣拿掉一樣,例如只讓它擬草稿、不能自己寄出,風險就會降低很多。

三樣湊齊特別危險:讀得到私人資料、會接觸外來的內容、能自己把資料送出去;一封假的奉獻收據可能騙走會友名單。拿掉一樣風險就降低很多,例如只讓它擬草稿、不能自己寄出

問:政府機關給了什麼建議?

數位發展部資通安全署在 2026 年 3 月,針對開源 AI 代理工具提出「五項資安防護」,原則也適用於一般的 AI 代理:

  1. 環境隔離:裝在專用的電腦或虛擬環境,不要裝在存放敏感資料或日常工作的電腦。

  2. 專用帳號:給 AI 使用專用的電子郵件與帳號,不要用個人的帳號密碼。

  3. 高風險動作由人審核:寄信、存取帳密、執行系統指令之前,要人核准。

  4. 外掛先審查:安裝擴充功能前,先看清楚它會做什麼。

  5. 把安全規則寫清楚:例如「刪除信件前要經同仁核准」,並定期檢查。

數位發展部資通安全署的五項防護:環境隔離、專用帳號、高風險動作由人審核、外掛先審查、把安全規則寫清楚

美國、英國、加拿大、澳洲、紐西蘭的資安機關在 2026 年 5 月發布的聯合指引,方向類似:不要給代理廣泛或不受限的存取權限,先從低風險的小事開始,敏感動作要有人核准,並保留紀錄。

幾乎所有廠商都把「付款、發文、寄信、輸入密碼」留給人自己按。這也是目前公開資料中,人和 AI 之間最清楚的一條界線。

最後一步留給人按:AI 代理可以先開網頁、找資料、填表單、整理檔案、擬草稿;付款、發文、寄信、輸入密碼由人自己按

問:已經有教會這樣用了嗎?

目前找得到的非營利組織例子,大多是軟體廠商自己發布的,效益多半是預估值;公開資料中,還沒有看到教會讓 AI 代理直接操作後台系統的實際經驗分享。美國教會軟體公司 Pushpay 的高階主管在 2026 年 10 月撰文表示,AI 適合整合資料、處理行政,講道與牧養關係則應由人負責;這是廠商的立場。

本系列下一篇,會回到現在就能用的工具:教會辦公室用電腦上的 AI,可以先從哪些事情開始,哪些資料不適合交給 AI。

資料來源

  • 9to5Google〈Chrome rolling out Gemini 3-powered 'auto browse' with Google AI Pro〉,2026 年 1 月 28 日。原文連結

  • XLANG Lab〈OSWorld〉測驗說明頁。原文連結

  • 〈OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks〉,arXiv,2026 年 6 月。原文連結

  • TechSpot〈Project Mariner is dead, but Google's browser-controlling AI lives on〉,2026 年 5 月 7 日。原文連結

  • Claude Help Center〈Let Claude use your computer in Cowork〉、〈Use Claude in Chrome safely〉,2026 年。原文連結一、原文連結二

  • Apple Developer, WWDC26 Session 240〈Build intelligent Siri experiences with App Schemas〉,2026 年。原文連結

  • Microsoft Support〈Experimental Agentic Features〉,2025 年。原文連結

  • 澎湃新聞〈豆包回應「手機助手無法使用微信」〉,2025 年 12 月 3 日。原文連結

  • 新浪新聞〈微信淘寶都在列,150 多款應用拒絕豆包手機自動操作〉,2026 年 10 月 15 日。原文連結

  • Security Affairs〈ShadowLeak: Radware Uncovers Zero-Click Attack on ChatGPT〉,2025 年 9 月 18 日。原文連結

  • Anthropic〈Piloting Claude in Chrome〉,2025 年 8 月 25 日。原文連結

  • UK NCSC〈Prompt injection is not SQL injection (it may be worse)〉,2025 年 12 月 8 日。原文連結

  • Simon Willison〈The lethal trifecta for AI agents〉,2025 年 6 月 16 日。原文連結

  • 數位發展部資通安全署〈小心 AI 代理變資安破口 資安署提醒導入 OpenClaw 應落實五項資安防護〉,2026 年 3 月 25 日。原文連結

  • CISA〈CISA and Partners Release Guidance on Adopting Agentic AI Services〉,2026 年 5 月 1 日。原文連結

  • Pushpay〈Why I believe in AI for the Church, and where I draw the line〉,2026 年 10 月 8 日。原文連結

文中提到的產品只是用來說明做法,不代表推薦;多數 AI 代理功能目前限特定國家或英文使用,在台灣能否使用,以各廠商最新說明為準。

本文整理自公開的調查與報導,提供教會參考,不代表本會立場。