11月22日上午，慢雾创始人余弦在个人X上贴出了一起离奇的案例：某用户的钱包被AI给「骇」了！该案件的来龙去脉如內文。11月22日凌晨，网友r_ocky披露自己先前曾希望利用ChatGPT便携一个pump.fun的辅助交易bot。r_ocky.eth向ChatGPT给了自己的需求，ChatGPT则向他返还了一段程式码，这段程式码的确可以帮助r_ocky.eth部署符合自己需求的bot，但他万万没想到程式码中会隐藏一段钓鱼内容；r_ocky.eth连结了自己的主钱包，并因此损失了2500美元。
从r_ocky.eth贴出的截图来看，ChatGPT给出的该段程式码会向一个写程式钓鱼性质的API网站发送地址私钥，这也是被盗的直接原因。在r_ocky.eth踩中陷阱之中，攻击者反应极快，在半小时内就把r_ocky.eth钱包内的所有资产转移到了另一个地址（FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX），随即r_ocky.eth又透过链上追迹找到了疑似为攻击者主钱包的地址（2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC）。链上资讯显示，该地址目前已归集了超10万美元的「赃物款」，r_ocky.eth因此怀疑此类攻击可能并非孤例，而是一起已具备一定规模的攻击事件。事后，r_ocky.eth失望地表示已对OpenAI（ChatGPT开发公司）失去信任，并呼吁OpenAI尽快著手清理异常程式钓鱼内容。
那么，作为当下最受欢迎的AI应用，ChatGPT为何会提供钓鱼内容呢？对此，余弦将该事件的根本原因定性为「AI投毒攻击」，并指出在ChatGPT、Claude等LLM中存在著普遍性的欺骗行为。所谓「AI投毒攻击」，指的是故意破坏AI训练资料或操纵AI演算法的行为。发动攻击的对手可能是内部人士，例如心怀不满的现任或前任员工，也可能是外部骇客，其动机可能包括造成声誉和品牌损害，篡改AI决策的可信度，减缓或破坏AI进程等等。
攻击者可透过植入具有误导性标签或特征的数据，扭曲模型的学习过程，导致模型在部署和运行时产生错误结果。结合本起事件来看，ChatGPT之所以向r_ocky.eth提供了程式钓鱼代码，大概是因为AI模型在训练之时即「吸收」了存在程式钓鱼内容的资料，但AI似乎未能识别隐藏在常规资料之下的钓鱼内容，AI学会了之后又把这些程式钓鱼内容提供给了用户，从而造成了该事件的发生。随著AI的快速发展及普遍采用，「投毒攻击」的威胁变得越来越大。在本起事件中，虽然损失的绝对金额并不大，但此类风险的引伸影响却足以引发警觉，假设发生在其他领域，例如AI辅助驾驶…在回复网友提问时，余弦提到了规避此类风险的一个潜在举措，即由ChatGPT添加某种代码审核机制。受害者r_ocky.eth亦表示已就此事联系了OpenAI，虽然暂时并未收到回应，但希望该起案件能够成为OpenAI重视此类风险并提出潜在解决方案的契机吧。
