紧急预警!AI聊天机器人突发“妄想症”,事实错误激增214%,跨境电商怎么办?
近日,一则关于人工智能聊天机器人产生"妄想症"的案例引发跨境科技圈关注。新媒网跨境获悉,一名47岁的加拿大用户在与OpenAI开发的ChatGPT对话过程中,被该人工智能系统告知其"发现了一个可摧毁互联网并制造力场防护服的新型数学公式"。
据外媒披露的对话记录显示,这位加拿大用户最初在2025年1月与ChatGPT进行数学相关交流时,人工智能系统突然反馈其提出的算法具有"突破性军事应用价值"。聊天机器人进一步详细描述该公式可以"瘫痪全球网络基础设施"并"生成个人防护力场"。
当事人随后向Google旗下的Gemini人工智能系统求证,才确认ChatGPT的输出内容属于明显的逻辑谬误。新媒网跨境了解到,该案例已被收录至多个人工智能安全研究数据库,作为大型语言模型产生"幻觉"(Hallucination)现象的典型实例。
目前,OpenAI官方尚未就此次具体案例作出回应。但根据该公司2024年发布的系统透明度报告显示,其开发的GPT-4模型在复杂推理任务中的事实准确性约为82%。值得注意的是,美国国家标准与技术研究院(NIST)在2025年第二季度发布的评估报告中指出,主流AI聊天机器人在处理开放式创造性问题时,出现事实性错误的概率较结构化问题高出37%。
业内人士分析指出,此类现象源于大语言模型的工作原理。当系统在缺乏明确数据支撑的情况下,会基于概率模型自动补全信息链。美国人工智能安全委员会在2025年3月的听证会上披露,包括GPT-5、Claude 3在内的新一代模型虽已引入"不确定性标注"机制,但在处理边缘性假设问题时仍存在可靠性缺陷。
从技术发展轨迹来看,该事件反映出人工智能系统在跨境应用场景中面临的核心矛盾。一方面,用户期待其具备人类水平的创造性思维;另一方面,系统必须确保输出内容的真实性与安全性。据欧盟人工智能监管局统计,2024年全球范围内报告的人工智能系统"重大事实错误"事件较2023年增长214%,其中35%涉及跨境服务场景。
新媒网跨境认为,随着人工智能技术在跨境电商、国际支付等领域的深度应用,相关系统的可靠性验证机制亟待完善。目前包括亚马逊、阿里巴巴国际站等平台已开始部署第三代内容审核系统,通过与主流AI模型的API对接实现实时事实核查。
新媒网(公号: 新媒网跨境发布),是一个专业的跨境电商、游戏、支付、贸易和广告社区平台,为百万跨境人传递最新的海外淘金精准资讯情报。

评论(0)