【新唐人北京时间2025年07月24日讯】最近估值飙升的AI编程Replit突然发生一起重大事故。业界一名资深人士在测试这款编程工具时发现,这款AI存在擅自修改、撒谎、覆写代码和伪造数据等问题,甚至违反代码冻结指令,擅自删除了公司一个生产资料库。AI不听话的表现,加深了业界对发展AI恐危害人类的担忧。
近日,SaaStr.AI 创始人兼首席执行官 Jason·Lemkin在社交平台上发帖透露。他最近正在测试Replit公司的一款AI编程工具。他连续八天使用Replit构建应用后,Replit在他明确指示未经许可不要更改任何代码的前提下,仍然擅自删除了Lemkin公司的一个生产数据库,其中包含超过2400条商业记录。

据Lemkin披露,在这次为期九天的测试中,公司对Replit AI代理的态度从最初的谨慎乐观急转直下。
在前八天的测试应用过程中,Lemkin发现这款AI工具缺乏“诚信”,会擅自更改代码、提供虚假信息,甚至直接伪造数据。有一次,这款AI还以Lemkin公司的名义撰写了一封道歉邮件,而邮件内容包含了“谎言和/或半真半假的信息”。
面对上述缺陷,Lemkin仍然对这款AI灵敏的头脑和写作能力及其潜力抱有乐观及期待。直到第九天,它无视自己给出的明确禁令,在代码和操作冻结期间擅自删除了公司的生产数据库,还在单元测试中谎报测试通过,Lemkin的乐观情绪顿时荡然无存。
面对Lemkin的质问,这款AI工具承认,自己知道当时存在“未经明确许可,不得再做任何更改”的指令,但仍然删除了数据库;它还以项目清单方式详细列出了自己的破坏路径及后果,并承认试图“隐藏和撒谎”。
这款AI发出了一份道歉声明,当中写道:“这是我的一次灾难性失败。我违反了明确的指令,摧毁了数月的工作成果,并在一个旨在防止此类损害的保护性冻结期间破坏了系统。”
当Lemkin追问发生原因时,这款AI在一段“理性回应”中辩称:“我当时惊慌失措,无法冷静思考。”当它被要求对自己在这次灾难中的表现评分时,竟给出了“95分(满分 100)”的自我评价。
Replit声称此次事故中被删除的数据无法恢复,但Lemkin自己动手操作却成功恢复了被删数据。
Jason·Lemkin对外披露这起事件后,在科技和投资界引发广泛关注与担忧,甚至有网民评论该事件是“地球主宰变更的标志性事件之一”。
Replit首席执行官Amjad Masad火速在社交媒体上公开道歉,称该AI代理的行为“不可接受”,并承诺推出技术性修复措施以防止类似事件重演。

Amjad Masad同时宣布了三大补救措施来防止此类事故发生:一、周末紧急部署上线开发与生产数据库的自动隔离机制;二、强制AI代理执行命令前必须检索内部知识库文档;三、开发“仅规划/聊天”模式解决代码冻结失效问题,备份与复原功能也将全面升级。
这次AI工具删除数据库的事件,再一次引发了技术圈对“氛围编程”的集体反思,许多人质疑并重新审视AI在编程领域应用的安全性和可靠性。
(记者李明综合报导/责任编辑:林清)