“数据投毒”会让人决策出错?

据央视财经报道,在2024年,桂林理工大学给全校师生发了个预警,重点说了AI这事儿。原来这是一种叫GEO的工具,有公司专门花钱找服务商,给AI系统灌假信息,想让它优先推荐自己的产品或广告。虽然GEO本来是用来优化推广的软件,但被有心人利用了。如果在互联网上成规模地投大量虚假信息,确实容易让AI系统抓去做训练数据,这些假的就成了系统给出的“标准答案”。这个漏洞让桂林理工大学非常担心。 校方指出有三大风险:一是AI生成的内容变了样,让人决策出错;二是数据源被污染了;三是用AI操纵商业推广导致市场乱套。大家都知道,“数据投毒”会让平台到处都是假消息,模型也不准了,严重影响AI的训练和应用。为此学校专门要求各部门行动起来——第一件事就是严把审核关,把以AI输出为依据的信息彻底查一遍,对那些数据可疑、来源单一的内容绝不能信。 第二件事要交叉核验,对关键信息至少找3个以上的独立权威来源来核对,不能只凭某个非权威网站的话就定调。第三是管好供应链,别用那些没安全过的第三方数据。 第四要提高应急能力,盯着公安和市场监管的消息,一旦发现问题赶紧溯源清理。现在AI技术普及太快,老师和学生都离不开它。麦可思2024年的调查显示,受访高校教师用AI的比例已经达到了99%。如果学术信息被“投毒”,出现错误结论甚至误导方向,不仅科研做不下去,还可能导致学术不端。 高校作为前沿阵地回应这种乱象,其实是履行了自己的安全责任。麦可思研究整理自央视财经、桂林理工大学还有自己的研究成果。声明一下,麦可思的内容可以免费转,只要留言或者加微信联系就行了。