周鸿祎警示人工智能安全风险:技术应用需防范数据安全隐患

问题——随着大模型从“对话工具”走向可调用系统权限、执行任务的“智能体”,面向个人和企业的自动化工具提升效率的同时,也带来新的安全隐患;周鸿祎指出,智能体一旦具备读写文件、调用命令、批量处理数据等能力,如果缺少明确可控的安全边界和验证机制,就可能出现误删文件、错误覆盖、越权访问等问题。针对网络讨论较多的“OpenClaw”等产品概念,他提醒,若在关键目录或系统盘执行错误指令,可能造成重要数据损失,必须高度警惕。 原因——业内人士认为,智能体风险通常由三上叠加造成:一是模型输出存在不确定性。在复杂任务中,模型可能出现“幻觉”式误判,一旦直接转成可执行操作,容易引发连锁错误。二是权限与隔离机制不足。部分工具为追求“好用”“一键完成”,默认授予较高权限,缺少分级授权、敏感操作二次确认、沙箱隔离和可回滚机制。三是落地过程“重展示、轻治理”。一些机构把大模型应用简单等同于“上线一个聊天界面”,忽视与业务流程、数据分类分级、审计追溯等配套建设,导致安全责任不清、处置链条不完整。 影响——对个人用户而言,照片、文档、视频等数据集中在终端和网盘,一旦误删或被恶意诱导执行操作,恢复成本高,损失可能不可逆。对企业来说,智能体进入办公网、研发环境和生产系统后,风险外溢更明显:其一,业务连续性可能受影响,关键文件被误处理会导致项目停摆;其二,合规压力上升,涉敏数据在自动化链路中被错误访问或外传,将带来监管与声誉风险;其三,安全对抗形态变化,攻击者可能通过提示注入、供应链投毒等方式影响智能体决策,放大传统网络攻击的破坏范围。 对策——周鸿祎建议,推进智能体应用应坚持“可控、可验、可追责”,把安全放到设计和部署前端。一是加强权限治理,落实最小权限和分级授权,对删除、覆盖、批量移动等高风险操作设置多重确认与审批;二是引入隔离与回滚机制,先在沙箱环境试运行,并建立快照备份、版本控制和一键恢复能力,减少“不可逆操作”;三是完善审计与监控,对指令来源、执行步骤、调用接口和执行结果全链路留痕,形成可追溯的责任闭环;四是强化数据分类分级与脱敏处理,明确哪些数据可调用、可外发、可用于训练与检索;五是补齐组织能力,企业需要既理解模型能力边界,又熟悉业务流程与安全治理的复合型人才,避免能力断层。 前景——业内普遍认为,智能体将成为大模型应用的重要方向,但大规模进入办公和生产场景,前提是安全与可靠。随着标准规范、测评体系和行业最佳实践逐步完善,智能体有望在可控范围内承担文档整理、知识检索、流程自动化等任务,减少重复劳动;同时,安全厂商与平台方也将围绕权限控制、对抗测试、内容与行为审计等能力加快迭代,推动从“能用”向“放心用”转变。

技术进步不等于风险自动消失;智能体把效率推向新高度,也让安全边界变得更复杂。只有把安全前置到设计、部署和运营全过程,做到权限可控、过程可审、结果可退,才能让新工具成为真正的生产力增量,而不是新的隐患来源。在智能化浪潮中,谨慎不是退缩,而是对数据资产与社会信任的负责。