315晚会曝光AI语料"投毒"乱象 专家呼吁构建权威信息生态

问题:从“搜得到”到“答给你”,虚假内容开始转向“操控答案” 在总台3·15晚会曝光大模型“投毒”现象后,有媒体进一步披露相关产业链:部分企业为追逐流量和转化,借助所谓生成式引擎优化服务,将虚构或夸大内容定向投放至大模型可能抓取的语料源,试图影响模型生成答案与推荐结果,使特定产品、品牌在问答中被主动提及。

与传统搜索场景中“把链接顶上去”不同,这类操作瞄准的是模型的理解与引用路径,直接作用于用户看到的“结论”,隐蔽性更强、误导性更大。

原因:利益驱动叠加技术缝隙,催生“投喂—引用—变现”的灰链条 一是商业竞争加剧。

大模型逐步成为信息入口,用户咨询餐饮、旅游、健康等问题时更倾向于直接获取整合式建议,品牌由此将“进入答案”视为新的流量高地。

二是语料生态复杂。

开放互联网信息良莠不齐,部分内容源审核不足,为虚假语料混入提供了空间。

三是检索增强等能力被滥用。

在一些应用场景中,模型通过外部检索补充知识,若缺乏可信白名单、来源权重与引用约束,容易被“高频投放”“矩阵铺设”等手段钻空子。

四是责任边界尚待明晰。

个别企业以“模型幻觉”或“技术中立”淡化治理义务,客观上放大了风险。

影响:误导消费与公共认知,冲击网络空间秩序与行业公信力 对个人而言,若医疗美容、保健食品等信息被包装成“权威建议”,可能诱发错误决策,损害消费者权益,甚至带来健康风险。

对行业而言,“答案被操控”将削弱公众对大模型服务的信任,影响新技术的规范应用与产业长期发展。

对社会治理而言,虚假信息一旦借助问答式传播快速扩散,将加剧信息不对称,抬高监管成本,并对网络生态造成“劣币驱逐良币”的挤压效应。

对策:以“可信来源+可追溯引用+严惩黑产”构建治理闭环 一要压实平台主体责任。

大模型服务提供者应完善数据治理与安全评估机制,建立高风险领域的内容安全策略,对医疗健康、金融投资等场景实施更严格的来源准入、证据展示与结果校验。

二要强化权威数据库与白名单机制。

推动模型检索与引用更多对接政府部门官方网站、权威机构数据库及具备公信力的主流媒体内容,并对引用来源进行显著标注,提升可核验性与可追溯性。

三要完善技术防护体系。

通过异常内容检测、对抗样本识别、引用权重控制、黑灰产特征库等手段,降低“投毒”成功率;对被证实的误导性推荐建立快速纠错与追溯处置机制。

四要加大执法与协同治理力度。

对组织实施“投毒”的机构、提供工具与代运营服务的团伙,以及借机牟利的相关主体依法依规查处,形成震慑;同时推动行业标准建设,明确服务边界与合规要求。

前景:传播逻辑重构在即,“权威”将成为稀缺资源与核心竞争力 随着技术迭代与监管完善,大模型在生成答案时将更倾向于引用可信、可验证、可追责的信息源。

对内容生产与传播而言,过去依赖情绪煽动、夸张营销的“流量打法”将面临边际效应递减;相反,具备权威性、专业性、规范表达与可核验依据的内容,将在新一轮信息分发中获得更高权重。

对媒体与公共机构而言,提升权威信息供给能力、加强结构化数据建设、完善公开透明的发布与纠错机制,将成为参与新型信息生态的重要抓手。