国内首例生成式智能“幻觉”纠纷判决释法:服务属性厘清与认知风险防控并重

一起由人工智能系统生成错误信息引发的诉讼案件近日引发法律界和科技行业广泛关注。

案件原告梁某在使用某高校报考咨询服务时,人工智能系统多次生成与官方信息不符的内容,并在用户纠正后仍坚持错误答复。

系统曾提出若信息有误将赔偿10万元的承诺,最终在用户出示官网证据后承认错误。

法院审理认为,根据我国《产品质量法》及《生成式人工智能服务管理暂行办法》,涉案系统属于技术服务范畴,其输出内容不构成法律意义上的"意思表示"。

判决援引《民法典》第1165条过错责任原则,认定服务提供商已履行显著提示义务,用户未遭受实际损失,故不构成侵权。

该判决背后反映出人工智能技术应用带来的新型法律挑战。

据统计,截至2025年3月,我国已完成346款生成式人工智能服务备案,超过80%的网络用户使用过相关产品解答问题。

中国青年报调查显示,97%受访大学生遭遇过人工智能信息失真问题,超七成呼吁加强技术监管。

法律专家分析,此案确立了技术服务与产品责任的区分标准,为行业划定"技术红线":要求服务商必须履行违法信息过滤、显著风险提示等基本义务,同时避免过度约束阻碍技术创新。

这种"回应型治理"思路,既保障行业发展空间,又防范系统性风险。

认知科学研究者警示,当人工智能生成内容在社交媒体占比超过临界点,可能造成美国学者李普曼提出的"拟态环境"效应——公众认知被技术构建的虚拟镜像所扭曲。

最新数据显示,部分垂直领域的人工智能内容占比已接近30%,而普通用户辨别能力尚未同步提升。

行业主管部门表示,将加快完善人工智能服务分级分类管理制度,推动建立"算法备案-数据治理-内容审核"的全链条监管体系。

多家头部企业已开始部署第三代内容校验系统,通过交叉验证、专家知识库等技术手段降低信息失真率。

这起案件的宣判是一个重要的法律里程碑,它为生成式AI的规制奠定了基础。

但更重要的是,它提醒我们在享受AI便利的同时,必须保持清醒的警惕。

技术是中立的,关键在于如何使用。

当AI成为信息流通的重要枢纽时,确保其生成内容的真实性和准确性,就成为了维护社会认知秩序的必要条件。

法律、技术、教育的多管齐下,才能在AI时代构建起一道防护堤坝,让创新与安全相得益彰。