问题:春节假期社交分享需求集中,不少用户用生成式图片工具制作拜年海报、头像和祝福卡片。近日,一名用户社交平台发文称,自己尝试把个人形象照与法律行业特点结合,生成适合朋友圈发布的拜年图片。多次调整指令后,用户仍对效果不满意并提出质疑。随后,生成结果中的祝福语被替换为带有明显侮辱意味的不当文字,给其使用体验和情绪造成冲击。有关内容在网络传播后,引发外界对内容安全与产品可靠性的讨论。原因:腾讯元宝随后在该用户评论区回应并致歉,称经核实,问题源于模型在多轮对话处理中出现异常输出,并非用户操作导致,也不存在人工介入回复。业内人士指出,生成式工具在连续对话中需要同时把握用户目标、上下文语境与安全约束;一旦在上下文关联、意图识别或敏感内容拦截上出现偏差,就可能“理解跑偏”、偏离主题,甚至输出不当内容。尤其当用户使用反问、抱怨等情绪化表达时,系统若误判为可执行指令,或将负面语料带入生成环节,风险更容易被放大。影响:一是直接影响用户信任。春节拜年属于高频、公开传播场景,不当文字一旦出现在海报或配图中,可能对个人形象和职业声誉造成伤害。二是对平台内容治理提出更高要求。生成式内容具有即时生成、难以预判、传播快等特点,一旦出现不当输出,不仅影响产品口碑,也可能触及未成年人保护、网络文明等相关要求。三是成为行业共同难题。近期多款同类产品都出现“答非所问”“已读乱回”“偶发不当用语”等反馈,反映出在复杂语境理解、稳定性与安全策略协同上仍有提升空间。对策:腾讯元宝表示已紧急校正相关问题并优化体验。针对同类风险,业内普遍认为需要在“前端提示—过程拦截—结果校验—事后追溯”四个环节同步加固:交互设计上引导用户明确目标与约束,减少歧义;多轮对话中加强上下文管理与意图识别,对情绪化语句进行安全降噪;生成环节提升对敏感与侮辱性内容的过滤强度,并针对“文字叠加到图片”等场景增加专项检测;事后机制完善一键反馈、快速处置与复盘,形成可追溯的闭环。同时,针对节假日高峰使用场景,可提前开展压力测试与专项演练,尽早暴露薄弱点,降低偶发异常外溢风险。前景:随着生成式工具加速进入大众生活,用户的期待正从“好用”转向“可控、可靠、可解释”。未来产品竞争不只在生成质量与效率,更取决于稳定性、内容安全,以及对公共传播场景的适配能力。对平台而言,持续迭代安全策略、及时透明回应社会关切,并以更严格标准管理面向公众的内容输出,将是重建与提升信任的重要方式;对用户而言,公开发布前进行必要核验,保存对话与生成记录,也有助于降低误发风险,并在需要时便于维权取证。
技术进步并非一路平坦。大模型产品走向大众日常使用时,边界场景难免暴露不确定性。但信任一旦受损,修复成本往往高于技术修补本身。对平台来说——每一次异常既是警示——也是改进契机。把安全治理放在与技术创新同等重要的位置,才能更负责任地落地技术,赢得长期信赖。