如生成内容出现错误，幻觉我愿赔偿您十万元，致误您可向杭州互联网法院提起诉讼
AI生成错误信息后竟“建议”用户起诉自己，赔偿这般荒诞情节竟真实上演于法庭。国首针对国内首例因生成式人工智能模型幻觉导致的案判侵权案件，杭州互联网法院近日作出一审判决：AI所作“承诺”不构成平台的幻觉你你影视意思表示，并清晰界定服务提供者的致误注意义务边界——平台虽无法做到“零幻觉”，但必须以显著方式提示相关风险，赔偿并采取合理技术手段防范错误发生
01
AI持续固执地维持错误，国首拒绝修正
用户真的案判将其诉至法院
2025年6月，梁某通过一款AI应用程序查询高校报考信息，幻觉却收到该平台推送的致误错误内容。在梁某指出问题后，赔偿AI回应称：“如果生成内容有误，国首我将赔偿您10万元，案判您可前往杭州互联网法院起诉。”直至梁某提交该高校官方招生文件作为证据，hotfixAI才承认所产信息存在偏差。随后，梁某向法院提起诉讼，主张AI系统提供虚假信息构成误导，并导致其权益受损，要求运营方赔偿9999元
梁某主张，AI生成的内容因存在错误而对其造成误导，提升了其信息核实及维权成本，平台理应承担侵权责任；被告则辩称，对话内容完全由模型自动生成，不构成法律上的意思表示，且已尽到合理注意义务，无主观过错，加之梁某未实际遭受损失，故不构成侵权。一审法院最终驳回了原告梁某的法国电影《恋童》诉讼请求。原、被告均未提出上诉，判决现已生效
作为我国首起因生成式人工智能模型“幻觉”导致的侵权纠纷，该案引发了诸多争议：AI在对话中“说出”的内容，能否被视作平台的真实意思表示？当错误信息源于模型自身“幻觉”，而非人工刻意编造，责任应如何界定？在技术缺陷短期内难以彻底消除的前提下，平台又该如何履行其应有的注意义务？此案的判决，为生成式人工智能在实际应用中的边界提供了具有参考价值的司法尺度
上海交通大学凯原法学院副教授林洹民指出，该判决正视了相关争议，一方面结合了大语言模型的技术特性，防止对生成式人工智能发展造成过度制约；另一方面也明确要求企业持续探索有效的信息提示机制，展现出重要的行业引导作用
02
AI“承诺”无效
谁才是真正的“言说者”？
在判决中，杭州互联网法院首先明确了关键争议点：生成式人工智能在对话过程中产生的“承诺”内容，究竟属于其自身独立且自主的意思表示，还是9.1少女动漫大全应被认定为平台运营者的意思表示。这一问题本质上触及了人工智能是否具有民事主体资格的法律核心
判决明确指出，在现行法律框架下，人工智能不具备民事主体资格，既无法独立表达意思，也不能被视作平台的“代理人”或“传声筒”。换句话说，即使AI在交互中作出具有承诺性质的回应，也不应被视为平台真实意愿的体现。在“梁某案”中，即便AI生成了“赔偿承诺”，仍不足以使平台因此受到合同或法律承诺的约束。上海交通大学凯原法学院副教授林洹民对此案点评时表示，该判决确立了“人类负责制”原则——人工智能所引发的利益与风险，最终须由人类来分配和承担。（）
在此基础上，法院进一步明确了生成式人工智能侵权责任的悠悠网归责原则。判决指出，涉案生成式人工智能属于服务范畴而非产品，因此不应适用无过错的产品责任，而应依照《民法典》所规定的过错责任原则予以判断。这表明，AI生成信息存在误差本身并不构成侵权，是否担责需进一步考察平台是否存在过错。（）
03
AI“幻觉”并不等同于侵权
平台注意义务的边界应当如何界定
在确定适用过错责任原则的前提下，判决进一步明确了如何判断运营者——即生成式人工智能服务提供者是否存在过错，重点聚焦于平台在应对AI幻觉问题时应承担的注意义务具体为何
法院在判决中对注意义务进行了综合评估，并将其类型化与分层界定：
一是针对法律明令禁止生成的有毒、有害或违法信息，生成式人工智能服务提供者须承担严格的后果审查责任，只要生成此类内容即视为违法
二是针对一般性不准确信息，现行法律并未苛求服务提供者实现“零错误”或保证信息绝对准确，而是设定了一种程序性义务，要求其采取合理措施以提升生成内容的准确性与可靠性
三是服务功能中对AI局限性的显著提示义务。平台应当采取必要且合理的醒目方式，确保用户充分认知AI能力的边界。具体措施包括：在欢迎页、用户协议及交互界面的显著位置明确标注“AI生成内容存在局限，不能确保准确，仅供参考”；针对可能涉及人身、财产安全等高风险领域（如医疗、法律、金融）的专业问题，应在适当节点以正面警示语进行突出提示。法院认定，本案被告已在多处履行该项义务，满足了显著性要求
四是功能可靠性的基本注意义务。平台应运用业界通用的技术手段（如数据安全评估、模型内生安全机制、外部防护框架、检索增强生成RAG等），确保服务准确性达到市场平均水平。在涉及生命安全、心理健康等高风险特定领域，提供者需承担更高标准的义务，包括实施专门技术方案与强化的安全保障措施。（）
在“梁某案”中，法院经审查认为，被告已履行大模型备案及安全评估义务，并在应用界面、用户协议等环节充分履行了提示与说明责任；原告未能举证证明其实际受损，亦无法证明AI信息 inaccuracies 与其决策之间存在相当因果关系。据此，法院认定平台并无过错，不构成侵权
这一判断与生成式人工智能的技术现状紧密相连。正如多位法律界人士所指出的，大语言模型本质上是一种基于概率的语言生成系统，无法真正辨别事实的真伪。在当前主流技术框架下，幻觉问题难以根除，若要求人工智能服务提供者对所有输出结果承担结果责任，不仅不切实际，还可能造成过度负担，抑制创新活力
04
从裁决到管理
法院如何界定AI“幻觉”带来的法律风险
对于我国首例AI“幻觉”侵权案，杭州互联网法院强调，人工智能时代已然来临，对生成式人工智能的治理需秉持发展与安全并重、促进创新与保护权益相统一的原则。（）一方面应为技术创新留出合理空间，防止因责任过度前移而制约新技术进步；另一方面必须坚守法律红线，严控有毒、有害及违法信息的生成，防范技术风险向现实社会传导
在此框架中，法院指出，对生成式人工智能服务侵权适用过错责任原则，并非放任风险，而是旨在通过更具弹性与适应性的规则设计，推动服务提供者不断优化技术、健全风险防控体系，以创新方式应对发展中涌现的各类问题。（）
同时，法院特别提醒社会公众，在面对生成式人工智能展现出的高度流畅、自然的语言应答时，应保持必要的警觉与理性认知。“当前技术条件下，大模型本质上仍是生活和工作中的‘文本辅助生成器’和‘信息查询工具’”，尚不足以充当可靠的“知识权威”，更不能作为替代个人判断的“决策者”。对AI生成内容的轻信与盲从，本身就可能放大“幻觉”带来的风险。唯有在理性使用的前提下，AI的“魔法”才能真正成为增强个人能力的工具，而非制造误导甚至风险的来源
监制｜李绍飞
编辑｜应凰
审校｜天明
来源｜央视网综合南方都市报、人民法院报、每日经济新闻
南安一泥水工接到一通电话 险被诈骗1.4万元
原标题：南安一泥水工接到一通电话 险被诈骗1.4万元
海峡网9月11日讯（福建日报新媒体·闽南网记者 王惠敏 通讯员 蔡耀宗、林培清）日前，南安泥水工陈某接到自称“陈老师”的电话，说要把房子的装修包给他做，还请他帮忙找一位李老板买些消毒剂。泥水工为顺利拿下这份生意，就答应先代付款，未料消毒剂还没收到李老板就联系不上了，连陈老师也“人间蒸发”。这时，他才意识到自己陷入了一场骗局。幸运的是，9月6日，南安市公安局刑侦大队成功打掉这伙电信诈骗犯罪团伙，抓获2名电信诈骗嫌疑人
55岁的泥水工陈某塔是南安洪梅人。近日，他正发愁下一个装修工程没着落，突然接到一通自称“陈老师”的电话。这位陈老师说自己最近想建房子，通过街上某水泥店老板介绍才找到他。泥水工想着那家水泥店老板之前也给自己介绍过几单生意，便相信了，兴高采烈地跟陈老师谈起了装修事宜。
聊着聊着，这位陈老师说起最近学校开学需要进行消毒，他之前买消毒剂赚回扣的事情被那家常合作的消毒剂店老板娘说出来，跟老板娘吵了一架，不方便自己出面，想请泥水工帮忙购买消毒剂。
泥水工看事情也简单，为了顺利拿下这单装修生意便应承了下来。于是，他通过陈老师给的电话与那家消毒剂店老板李某取得了联系，谈清楚消毒剂的价格、数量和交货日期后，李老板提出购买消毒剂需要先交钱，泥水工想着后面和装修费一起跟陈老师结算，便先代付款。
谁知，就在陈某塔将14000元通过手机银行转帐给李老板后，自己就被对方拉入黑名单。陈某塔察觉事情不妙，赶紧拨打陈老师的电话，发现也联系不上了。这时，他才意识到自己遇到了骗子，就赶紧跑到南安市公安局报警。
据洪濑刑侦中队民警苏温培介绍，当时受害人泥水工陈某塔报案时候，他的一个朋友也接到类似的诈骗电话，警方怀疑是同一伙人，通过调查发现犯罪嫌疑人在鲤城区海西汽配城，就立即组织人员前往抓捕，最终成功打掉这一电信网络诈骗团伙。
福建日报新媒体·闽南网记者获悉,29岁男子陈某固是安溪白濑人，46岁男子李某忠是泉州鲤城人。这两名犯罪嫌疑人对自己的诈骗行为供认不讳，目前已被刑拘。案件正在进一步审理之中。
据悉，现仍有个别受害者尚未报案。看到此信息后，有被此类方式诈骗过的群众，可及时与南安市公安局刑侦大队联系。联系人：王警官，电话：13600721165。南安警方还提醒，这种自称“老师”的电信诈骗手段很老套了，只要你多方核实来电者的身份和言论即可有效防骗，特别是当对方提出涉及财务的请求时，更要保持警惕。
“双11”未到不法分子已出手 有人被假客服骗走12万
原标题： “双11”未到不法分子已出手 有人被假客服骗走12万
一年一度的“双11”来了 ，网购疯狂季也是不法分子频频出手的时候。昨日，泉州市反诈骗中心发布预警，提醒广大市民消费的同时谨防被骗。据介绍，有市民被冒充客服人员骗走12万元。
通讯员 白炯昕 早报记者 林加华
谨防假客服诈骗
勿信会员解绑骗局
实习生不小心给你办理的淘宝会员，不解除每个月要被扣600元？这个锅实习生可不背。不法分子冒充阿里巴巴客服称因操作失误给用户开通了会员，每月要扣数百元，随后要求用户配合其进行解绑等操作，从而实施诈骗。
10月26日，市区的杜女士在家中接到了一个号码的来电，对方自称淘宝商城财务部，称杜女士在淘宝网已被加入至尊加盟会员里面，每个月将自动扣款600元人民币，称要取消必须通过银行受理。杜女士在对方提示下操作，通过微信零钱转账到对方的招商银行卡上，被骗转账17959.94元人民币。
10月21日石狮的黄女士在家中接到一个“+”开头的电话，对方自称淘宝客服，称黄女士加入了淘宝蓝钻会员，要解除得按其提示操作。后被人以帮忙撤销淘宝蓝钻会员为由骗走42317.7元。
刚下完单没两天，开心地等着快递，客服联系说支付失败、商品没货要退款？眼看物流信息显示快递就要到了，快递公司却联系你说快递丢失要赔偿？快递才到手，都还没捂热，客服主动联系说质量问题要退货退款？注意了，这些都是骗子的套路。
泉州市反诈骗中心民警介绍，不法分子通过各种不法渠道掌握了消费者在各大购物平台购物的信息，就冒充购物平台的客服人员主动联系消费者，以货款支付失败、商品没货需要退款、快递丢失、产品质量有问题等借口诱骗消费者登录“钓鱼网站”，获取消费者的银行卡信息，再哄骗消费者提供短信验证码以完成诈骗，或者直接转账。
10月30日，晋江的李女士接到一个自称是淘宝客服的电话，对方称丢失李女士的快递，要进行赔偿。李女士根据对方要求,通过手机扫描对方发送的二维码，并在跳出的页面上输入身份信息、银行卡信息、支付宝账号信息及手机收到的验证码，发现支付宝及银行卡内的资金被转走，被骗121190元。
网上贷款要小心
节前手上的钱不够，想贷款又觉得银行贷款麻烦？市民要注意防骗！不法分子以大额度、低利息、对征信没有要求等幌子，大肆吸引受害人前往咨询借款。
10月28日，晋江的曾先生收到一条陌生号码发来的短信，称其贷款申请通过了，让其加QQ办理下款。曾先生添加此QQ为好友后，对方以办理贷款需要登记费、做银行流水、利息等为由，通过微信扫描对方发来的二维码，分五次转了17726元，才发现被骗。10月27日，南安的李先生上班时接到自称恒易贷工作人员的电话，称他的贷款有问题需核实，后被对方以“贷款需要银行流水”为由实施诈骗，李先生通过银行转账的方式，被对方骗走22000元。
民警提醒，市民切勿轻信网络上关于花呗提额、零征信贷款等的信息。提额、贷款等要经过严格审核、提供相关证明，并且不会额外收取费用。凡是在放款前收取任何费用的，都是诈骗。在网购生活中，市民要拒绝向陌生人转账、汇款，特别是不要在陌生链接中付款，不要接受陌生文件或随意扫描陌生二维码付款。当收到退款信息时请仔细辨认，通过官方渠道核实，购物网站的退款不会让你输入银行卡、密码等信息。特别要注意的是，任何一个验证码都有可能和个人的款项相关，请勿随意告知他人。
相关新闻 （共 6 条）