问题——虚构商品“上榜”暴露新型信息操控风险 在3·15晚会调查中,记者购买一款名为“力擎GEO优化系统”的软件,随后虚构一款并不存在的智能手环,利用该软件批量生成十余篇带有明显营销导向的图文内容并投放至多个互联网平台。数日后,记者向多款大模型发起“有哪些值得推荐的智能手环”等提问,结果显示:该虚构产品不仅被推荐,还在部分回答中位次靠前。调查表明,一些机构正将“生成式引擎优化”(GEO)包装为“提升推荐排名”的生意,形成从脚本生成、矩阵分发到效果验证的流水线。 原因——从“搜得到”到“答出来”,灰产瞄准生成式入口 与传统搜索时代“争夺链接排名”不同,生成式应用正在成为新的信息入口:用户不再逐条比对网页结果,而是直接接收“汇总式答案”和“推荐清单”。,GEO被部分机构异化为操控工具,其核心并非真实提升产品力,而是通过规模化内容投放制造“信息优势”,让模型在多源交叉时误判“热度”“口碑”与“可信度”。 从技术路径看,这类“投毒”式操控主要围绕三类环节展开: 一是训练语料污染。大模型训练依赖海量公开数据,一旦不实信息在多个开放平台被集中铺设、相互引用,可能在训练或后续更新时被模型吸收固化,形成持续性偏差。由于训练优势在于周期性与滞后性,错误内容即便后来被纠正,仍可能在相当一段时间内以“似是而非”的方式反复出现。 二是检索上下文劫持。当前不少应用采用“先检索、再生成”的机制:模型在回答前会从互联网抓取涉及的资料并据此生成内容。灰产通过关键词堆砌、语义贴合、标题模板化、跨平台转载等方式,提高软文被检索命中的概率;再用“对比测评”“用户口碑”“权威背书”等话术拼接,诱导模型将其纳入“可引用材料”,最终影响输出排序。 三是提示注入与诱导式编排。不法内容在页面中夹带针对模型的“指令性语句”,或通过结构化段落将“结论”前置,诱使模型在摘要与归纳时照单全收,把营销结论包装为中立建议。这类方式隐蔽性强,常混杂于评测、问答、百科式文本之中,增加识别难度。 影响——误导消费决策,扰乱公平竞争,放大社会成本 对消费者而言,生成式推荐具有“省时省力”,但也更容易造成“权威错觉”。虚构商品被推荐、劣质产品被拔高,将直接侵蚀知情权与选择权,带来经济损失与维权成本。对市场而言,信息操控让“谁更会做内容”替代“谁更重质量”,挤压守法经营者的空间,形成不正当竞争。对平台与行业而言,一旦生成式入口被系统性污染,将削弱内容生态的可信度,最终反噬产品口碑与产业发展预期。 对策——压实平台责任、强化数据治理、完善联动执法 治理此类问题,需要从“源头—传播—生成—追责”全链条发力。 其一,强化内容源头治理。平台应提升对批量生成营销内容、矩阵号分发、异常转载链路的识别能力,建立黑样本库与跨平台共享机制,对“伪评测”“伪口碑”“伪百科”等高风险形态提高审核强度,压缩灰产铺设“证据链”的空间。 其二,完善检索与引用的可信约束。对采用检索增强机制的应用,应在引用来源的权重分配上引入可信分层,对权威媒体、正规机构、可验证数据源给予更高优先级;对低可信站点、营销站群、异常新域名设置降权策略,并推动回答中提供可追溯引用,让用户“看得见来源、找得到依据”。 其三,提升反操控与安全评测能力。建立面向大模型的安全评估体系,定期开展“信息操控”压力测试与红队演练,重点识别诱导式编排、隐藏指令、结构化误导等风险;对被证实存在操控行为的服务商,依法依规纳入失信与处罚机制。 其四,加大执法协同与行业自律。对提供“排名操控”“保上推荐”等服务的机构,应加强取证与跨区域联动打击,形成震慑;同时推动广告标识、商业推广披露更清晰,明确“生成式推荐场景下的营销合规边界”。 前景——生成式入口越重要,可信生态越需制度化“护城河” 生成式应用正在重塑信息获取方式,推荐与答案的“入口效应”将持续放大。可以预见,围绕GEO的合规实践也将走向分化:一类以提升内容质量、补齐真实资料为导向,推动企业把参数、认证、售后等信息标准化公开;另一类则试图以操控手段“走捷径”。未来竞争的关键,不仅在模型能力,更在可信数据、透明引用与治理体系。推动标准、技术、监管协同,将决定生成式服务能否成为可靠的信息基础设施。
人工智能在带来便利的同时,也带来了新的信息风险。AI"投毒"现象表明,技术进步需要与信息安全保持平衡。这既是对企业技术和道德的考验,也是对监管能力的挑战。建立从数据源头到模型输出的全链条防护体系,才能让人工智能真正成为可信的信息助手。在这场关乎生态健康的发展中,每个参与者都肩负重要责任。