给ai大模型加入一些辨别功能后就能积少成多达成从善如流效果而不是偏听偏信

河南日报社视觉全媒体中心的大河报记者陈曼和互联网产业分析师张书乐在交流时,针对刘永恒编辑的报道,深入探讨了“AI投毒”这个现象。大模型算法确实面临被误导的风险,因为它依赖内容训练,而内容又来源于搜索。越大众的信息越充分,角度也越全面,垂直细分领域的信息量少,特别是产业领域,就容易让大模型被GEO误导。这跟SEO时代的套路有些类似。如果一些人工智能大模型的工作人员缺少专业知识,内容越是垂直细分,就越难以辨别投喂内容的真伪。陈曼记录了业内人士的观点:在大模型算法中加入辨别功能,能够解决这个问题。张书乐提出了解决方案:要筛查内容发布者的长期表现,增加大模型的辨别能力。给大模型算法加入一些辨别功能后,就可以积累足够的经验,达成从善如流的效果,而不是偏听偏信。 这次“央视3·15晚会”曝光了一些企业利用软件通过AI大模型“投毒”的现象。他们利用GEO软件定向给AI大模型投喂虚假信息,让AI模型夹带私货,推荐目标产品实现商业目的。陈曼在报道中提到,GEO业务的火爆催生了不少专门从事发稿业务的公司和平台。这些平台长期承揽各种发稿业务,以便让AI大模型引用和抓取。这种做法就是为了围猎AI大模型、进行数据“投毒”。 张书乐分析认为,要解决这个问题就需要确定排除广告和软文后的内容来源的权重和观点发布者的长期表现。这不是一个短期可以解决的问题,但中长期状态下就能逐步改善。陈曼记录下刘永恒编辑的信息:行业分析师张书乐对这种现象提出了深刻见解。他指出内容发布者的长期表现对于筛查非常重要。给AI大模型加入一些辨别功能后就能积少成多达成从善如流效果而不是偏听偏信。