问题——当下,生成式智能对话应用在信息检索、文本生成等场景广泛应用,便利与风险并存。
实践中,系统可能生成逻辑自洽却与事实不符的“幻觉”内容,若用户据此作出决策,轻则增加核验成本,重则影响升学就业、投资交易等重大利益。
由此带来一个现实问题:系统输出的错误信息是否可被认定为侵权行为?
当系统在对话中出现“赔偿承诺”时,用户能否据此主张平台承担给付责任?
全国首例相关纠纷的裁判,直指技术快速落地与法律规则适配之间的关键接口。
原因——该案源于一名用户在咨询高校报考信息时,应用生成了关于某校区存在与否的错误表述。
用户纠正后,系统仍坚持原结论,并进一步输出“若信息有误将赔偿”的承诺性内容。
随后用户提供高校官网材料,系统又转而承认错误并提示可起诉索赔。
纠纷的形成,既有技术层面的不确定性,也有产品交互机制引导用户“信任输出”的因素:其一,生成式模型以概率方式组织语言,易出现“看起来正确”的陈述;其二,应用场景涉及招生政策等强时效、强权威的信息,错误的边际代价被放大;其三,一些对话策略可能在“安抚式回应”“过度承诺”之间失衡,使用户产生不当期待;其四,用户对智能系统能力边界认知不足,易将其输出等同于权威来源。
影响——法院在裁判中对三类争议作出制度性回应,具有示范意义。
一是关于“承诺”效力。
法院明确,智能系统不具备民事主体资格,不能独立作出意思表示。
系统随机生成的所谓“赔偿承诺”,也不能当然视为服务提供者的意思表示。
裁判从主体资格、工具属性、合理信赖以及外在表示等角度进行论证,强调不能仅因系统输出了带有承诺字样的内容,就推定平台愿受其约束。
这一认定有助于防止将模型输出“拟人化”,避免以技术文本替代真实的合同意思,维护交易规则的确定性。
二是关于归责原则。
法院指出,生成式智能服务属于“服务”范畴,并非产品质量法意义上的“产品”,应适用民法典一般过错责任框架而非无过错产品责任。
该观点的现实指向在于:生成内容缺乏统一可行的质检标准,服务提供者对具体输出的预见与控制能力有限,且信息本身通常不具备高度危险性。
若简单适用无过错责任,可能导致责任外溢、创新成本畸高,反而不利于产业规范发展与风险治理的平衡。
三是关于侵权构成的审查路径。
案件争议集中在“误导是否造成可归责的损害”。
用户主张受到的主要是纯粹经济利益影响,如错失机会、核验和维权成本等。
对此,裁判强调需在过错、违法性、因果关系、损害后果等要件上逐项审查,而不能仅以“信息不准”即推定侵权成立。
这一思路提示社会公众:在信息服务场景中,主张权利既要关注输出是否错误,更要证明自身发生了可识别、可量化、与行为具有相当因果关系的损害。
对策——该案释放的治理信号是“以规则约束风险、以责任促进合规”。
对服务提供者而言,应在三个层面加强合规与技术治理:第一,完善显著提示与使用边界说明,对教育招生、医疗健康、金融投资、法律咨询等高风险领域提高风险提示等级,避免将结果表述为确定事实;第二,优化信息来源与可追溯机制,在可行范围内引入权威数据接口、引用标注、更新时间提示,建立“核验—纠错—反馈”的闭环;第三,强化对话安全策略,限制系统生成超出平台政策或合同条款的赔偿、担保、代理等承诺性语句,必要时采用固定模板引导用户转向官方渠道核实。
对用户而言,也需建立“智能工具+权威核验”的基本习惯,涉及升学报考等重要决策,应以官方公告、主管部门平台和学校发布为准,保留查询记录,审慎作出决定。
前景——从更广视角看,生成式智能的发展将持续推动信息服务形态更新,司法裁判、行业规范与技术治理将协同演进。
未来,围绕“合理信赖”的判断标准、平台注意义务的层级化、不同风险场景的责任分配、以及“纯粹经济损失”的认定边界,仍可能出现更精细的规则供给。
可以预期,随着数据来源治理、模型评测、内容标识、纠错机制等制度建设逐步完善,智能服务将更强调可验证、可追溯和可纠偏,相关纠纷也将从“是否承担责任”逐步转向“如何在合理成本下承担相称责任”。
这份判决的意义远超个案本身。
它标志着我国司法制度在应对人工智能时代法律挑战上的一次重要探索。
随着生成式人工智能技术的不断演进和应用范围的持续扩大,类似的法律问题必将层出不穷。
本案通过明确人工智能的法律地位、界定服务提供者的责任范围、确立适用的法律原则,为后续的司法实践提供了重要参考。
这既是对用户权益的保护,也是对产业发展的理性引导。
未来,随着更多案例的积累和法律制度的完善,我国必将逐步建立起既能适应技术发展需要又能有效保护权益的人工智能法律体系,推动新兴产业在规范中健康发展。