近日,微信平台针对利用人工智能技术仿冒名人形象实施网络诈骗的违规行为展开集中治理,累计处置涉及的账号1200余个。这个数字背后,是人工智能技术从创新工具异化为诈骗手段的严峻现实。 据微信珊瑚安全团队披露,此次被处置的违规账号中,超过六成仿冒对象集中娱乐明星、财经领域意见领袖及健康专家等公众人物。不法分子通过技术手段合成这些人物的音容笑貌,在社交平台发布虚假宣传内容,诱导用户点击链接、购买商品甚至直接转账。在一起典型案例中,违规账号仿冒某知名医学教授推广所谓保健产品,致使数十名老年人上当受骗,涉案金额超过50万元。 技术门槛的大幅降低,是这类违法行为泛滥的重要原因。市场调查显示,当前电商平台上售卖的人工智能换脸与语音克隆工具包价格低至数百元,使用者仅需提供少量素材即可生成高度逼真的虚假视频。中国信息通信研究院发布的《人工智能安全白皮书》数据表明,人工智能生成内容的真实度评分已从2023年的78分提升至2025年的92分,普通公众难以凭借肉眼辨别真伪。 面对技术滥用带来的挑战,平台治理正在从被动应对转向主动防御。微信此次治理行动采用了多模态识别系统,通过分析视频中的微表情连贯性、声音频谱特征以及账号行为轨迹等多维度数据,实现对违规内容的精准识别。珊瑚安全团队透露,系统能够捕捉人工智能生成内容中存在的细微瑕疵,例如表情延迟、语音频段异常波动等技术特征。 然而,治理工作仍面临诸多困难。一上,人工智能技术的迭代速度远超监管手段更新节奏,今日有效的识别方法明日可能即被新算法突破。另一方面,部分违规账号采取在视频角落标注"合成内容"等方式规避监管,这种形式上的合规掩盖了实质上的欺诈意图,给平台判定带来困扰。 为此,微信平台正在建立更为完善的防御体系。针对高频被仿冒的公众人物建立数字身份数据库,一旦检测到相似特征内容即触发二次审核机制;同时与公安机关建立联动机制,对涉案账号实施黑名单管理,防止违规者更换身份后卷土重来。 从用户层面看,提升自我防护意识同样重要。专业人士建议,公众在接触疑似名人推荐的内容时,应首先核实账号是否具有平台官方认证标识,其次关注内容是否与该人物职业领域相符。此外,人工智能生成内容往往存在口型与语音不同步、背景环境模糊、情绪表达僵硬等技术缺陷,仔细观察可发现破绽。 业内专家指出,应对人工智能技术滥用需要构建多层次治理体系。在技术层面,应加快研发更为先进的内容溯源与真伪鉴别技术;在法律层面,需完善针对深度伪造行为的法律规范,明确责任主体与处罚标准;在社会层面,应加强公众数字素养教育,提升全民对新型网络风险的认知与防范能力。
技术应该造福社会而非助长欺骗。治理AI伪造乱象需要平台提升技术能力、完善法治环境和社会共同参与。只有让真实可验证、失信受惩戒，才能维护网络空间的信任基础，促进数字经济健康发展。