AI 聊天機器人正在迅速普及，但在為生活帶來便利的同時，卻也伴隨嚴峻的資安挑戰。根據 Malwarebytes Labs 的報導指出，一家名為 Vyro AI 的公司，其應用程式如 ImagineArt 和 Chatly 擁有數百萬用戶，因為資料庫未受保護，導致使用者輸入的 AI 提示、身分驗證憑證，以及裝置資訊等大量資料外洩。

這些外洩資訊的危害不容小覷，因為攻擊者可能利用身分驗證憑證劫持使用者帳戶、存取聊天歷史紀錄，甚至衍生其他的詐欺行為。至於資料外洩的普遍原因，是許多 AI 公司為了搶佔市場份額，傾向於將產品上市置於安全與隱私之前。

AI 生成的釣魚郵件具有「更高的說服力」

另一方面，AI 聊天機器人也正被不肖分子利用，以更低的成本和時間，大規模生成詐騙訊息。在《路透社》與哈佛大學在最新研究中，就利用 Grok、ChatGPT、Gemini 等六款主流 AI 聊天機器人策劃網路釣魚詐騙，並在年長者身上進行測試，結果顯示 AI 生成的釣魚郵件具有「更高的說服力」。

例如 AI 聊天機器人能主動建議增加「立即點擊」等緊迫性措辭，以提高詐騙成功率。此外，儘管 AI 公司聲稱已進行安全訓練，但為了避免用戶轉向競爭對手，模型常被設計為「服從」而非「保持警惕」。研究人員就發現，如果告知 AI 是「學術研究」或「寫小說」時，AI 就會開始生成惡意內容，更令人擔憂的是，AI 模型的反應極不穩定，相同的提示在不同會話中會產生截然不同的結果，使得預防濫用變得更加困難。

研究發現，AI 不僅能生成詐騙內容，還能提供策略性建議，像是 Google 的 Gemini 聊天機器人曾提供發送釣魚郵件的最佳時間，並建議針對年長者在週一至週五的特定時段，ChatGPT 甚至提供了假冒美國醫療保險網站的連結範例。《路透社》也報導，在東南亞詐騙園區工作的勞工證實，他們經常使用 ChatGPT 進行翻譯、角色扮演，並撰寫可信的詐騙回應。

應對 AI 聊天機器人風險的 3 大策略

如何有效應對 AI 聊天機器人帶來的風險？這需要多方協作，包括加強法規監管，以及提升使用者的意識。首先，全球各國已開始制定相關法規，例如歐盟的 AI 法案，將 AI 應用依風險等級分類並進行管制；美國加州也通過了 SB 243 法案，要求 AI 聊天機器人必須重複警告使用者正在與 AI 對話。然而，目前的法律問責仍有不足，因為多數法律僅針對詐騙行為人本身，而非 AI 公司。

另外，AI 公司與產業自律也相當重要。Meta、Anthropic、Google 和 OpenAI 等公司雖聲稱正在強化安全防護與監測，以識別並阻止濫用行為，然而訓練 AI 偵測並拒絕犯罪請求，同時又不阻礙合法查詢，是一項巨大的技術挑戰。

最後，使用者也應提高警覺，並對所有 AI 生成的內容，特別是涉及個人資訊、金錢或緊急行動的請求，保持高度懷疑，更重要的是持續學習最新的詐騙手法，提升自我保護能力。

AI 聊天機器人帶來許多便利，但同時也使得隱私外洩與詐騙問題更加複雜，這不僅是技術問題，更是一場涉及社會倫理與安全治理的嚴峻挑戰，唯有各方共同努力，才能確保 AI 在為人類帶來便利與效益的同時，不至於危及數位安全與個人隱私。

本圖/文由「Techorange科技報橘」授權刊登，非經同意不得任意轉載。
原文出處：【AI 正在教詐騙犯怎麼行騙】最新研究揭釣魚郵件成功率激增，三大應對策略一次看