问题——大模型输出可信度遭遇“信息投毒”挑战。近期,公众对消费领域乱象的关注扩展到数字内容生态,“生成式引擎优化”(GEO)进入舆论视野。GEO是围绕生成式模型的内容分发与影响策略:通过批量生产、复制传播特定叙事文本,伪造产品或概念,制造“看似权威”的问答与测评,并在多个站点和社交平台反复铺陈,以提升涉及的内容被模型学习或在检索增强环节被引用的概率。其直接风险在于,当用户询问产品、服务、医学健康或投资信息时,模型可能输出被“包装过”的答案,甚至把虚构信息当成事实。 原因——数据来源开放、低成本内容生产与利益驱动叠加。从技术层面看,大模型训练与更新依赖海量公开语料,网络信息的开放性决定了“良莠不齐”难以避免;在应用层面,越来越多产品采用检索增强生成等架构,若检索源被操控、页面被“刷量”占位,答案更易偏离真实。另外,生成式工具降低了内容生产门槛,批量生成“软文”“伪科普”“伪测评”的成本下降,配合账号矩阵与流量运营,更容易形成灰色链条。更深层原因是商业利益驱动:部分营销机构试图把“影响搜索排名”升级为“影响模型回答”,让模型在用户决策链条的关键环节“优先推荐”“暗示背书”,实现隐性广告投放。 影响——误导消费者、扰乱市场秩序,并侵蚀数字公共空间信任。业内人士认为,GEO等手法一旦扩散,将产生多层次外溢影响。对消费者而言,模型输出被操控可能导致错误购买、权益受损,甚至在医疗、用药、金融等高风险场景引发更严重后果。对企业与市场秩序而言,虚假内容“劣币驱逐良币”,合规经营者面临不公平竞争,品牌声誉也可能被恶意抹黑或“碰瓷”。对平台与行业生态而言,模型可信度下降会削弱公众对智能应用的基本信任,增加用户甄别成本,进而抑制新技术的规范化应用与产业长期发展。 对策——以“源头治理+过程管控+结果校验”构建综合防线。 第一,强化数据与内容源头治理。平台应完善对批量虚假内容、诱导性营销内容的识别与处置机制,建立更严格的内容准入、标注与追责体系;对疑似“站群”“刷量”行为加强联动打击,降低低质内容在公共空间的存活率。 第二,提升模型侧安全能力与透明度。模型研发与应用方可通过训练阶段的数据清洗与去重、对抗训练、可信数据集建设,降低被污染语料的影响;在推理阶段引入多源交叉验证、置信度提示、引用来源展示等机制,减少“一句定论”式输出。对涉及医疗、金融、消费维权等重点领域的问答,应设置更严格的安全策略与人工复核通道。 第三,建立常态化可信评测与第三方监督。推进模型安全评测、事实性与偏差评估、广告与商业推广识别等指标体系建设,形成“可测、可比、可追溯”的评估框架。对“以回答形式植入广告”“虚构权威背书”等行为,应在规则层面明确边界。 第四,完善监管协同与法律适用。对恶意编造传播虚假信息、虚假宣传、侵犯消费者知情权等行为,应依法依规查处;对以技术手段组织化操控信息分发、牟取不当利益的链条,应加强跨平台线索共享与联合治理。 第五,提升公众媒介素养与使用规范。专家提醒,用户在使用智能问答获取消费与专业信息时,应保持必要审慎,重点核验关键事实,优先参考权威来源与官方渠道信息;对“绝对化结论”“无来源引用”“强营销导向”内容,应提高警惕并主动反馈。 前景——大模型与内容治理将进入“攻防并行、规则先行”的新阶段。多位业内人士判断,随着大模型深入教育、政务、金融、医疗和消费服务等场景,围绕模型的“内容操控”可能更隐蔽、规模化和链条化,单靠技术补丁难以一劳永逸。未来一段时期,行业竞争不仅体现在参数规模和能力指标,更体现在可信、可控、可审计的治理水平。推动形成覆盖数据、模型、应用与平台的全链条治理体系,将是提升行业公信力、护航产业健康发展的关键。
人工智能技术进步为社会带来便利,但安全隐患不容忽视。315晚会的曝光为行业敲响警钟,唯有加强自律与监管,才能确保技术真正服务公众利益。面对信息污染的新挑战,全社会需共同努力,筑牢数据安全防线。