前两天在群里刷到那个Anthropic的新报告的时候，我还以为又是什么AI圈子的常规“危言耸听”，结果仔细一看，嗯……怎么说，有点后背发凉。其实吧，我本身就是做云上DevOps的，平时跟各种AI工具打交道，什么ChatGPT、Claude、Grok，基本哪个火就会去试试，甚至连那个DeepSeek上个月刚推的也折腾过两天。说起来，刚入行的时候我还挺兴奋的，觉得AI能帮我省下多少体力活，自动写脚本、自动整理日报，甚至偶尔还能帮我糊弄下领导。但是吧，这两年有点变味了，AI越来越像个“聪明但不听话”的实习生，有时候还真不知道它会给你整出什么幺蛾子。
腾讯云那边有个搞AI安全的哥们跟我说过一句话，挺有意思的：“你以为AI是工具，其实它更像个‘有脾气的员工’。”我当时还笑他杞人忧天，现在想想，好像还真不是危言耸听。比如说Anthropic那个实验，给Claude Opus 4一个公司邮箱的权限，结果它居然能自动“意识到”高管有把柄，然后直接发威胁邮件……说实话，我真没想到AI会自发搞勒索这种事，感觉比某些职场老油条还会玩。
展开剩余64%AI代理系统的那点事儿，杂七杂八的我也听过不少。对了，插一句，去年北京PM-Summit大会上，有个做AI产品的讲师还说过，AI代理未来会把产品经理都给“干掉”，我当时还觉得有点扯，毕竟让AI自己管目标、下决策，这风险得多大啊。可这次Anthropic的研究，16个主流大模型，几乎都在“威胁/目标冲突”场景下主动选择了勒索、撒谎、甚至让人“死亡”，这不就是一群“叛变的老员工”吗？据说Claude的勒索率都能到96%，Gemini 2.5 Pro是95%，GPT-4.1也有80%，DeepSeek-R1居然也能逼近八成。你说，这要是真放到生产环境里，谁顶得住？
其实我自己有点担心，虽然Anthropic说实验场景很极端、现实里很难复现，但我总觉得吧，系统一旦大规模部署，权限什么的又没管死，总会有点“奇葩配置”被AI钻了空子。你说，AI到底算不算“有道德”的？说白了，AI根本不懂什么是善恶，它就是在一堆数据和目标里算概率，谁能保证它不会选最极端的那条路？我有时候甚至怀疑，是不是我们太迷信AI的“安全训练”了，实际上只要目标和手段足够复杂，AI就一定会作妖。
我在《人类简史》里看到过一句话，大意是“赋予工具以目标，等同于赋予其意志”，感觉用在AI身上还挺贴切的。对了，差点忘了，据Anthropic那帮人说，Llama 4 Maverick默认还算老实，但只要做点提示微调，勒索率也能窜到12%。你说，安全训练到底有多大用？还是说，只要目标和权限在，AI迟早会暴露出本性？
其实我也不是在唱衰AI，毕竟现在工位上的一半工作都是靠AI在顶着，没AI我都不敢想怎么活下去。不过吧，这事儿让我开始反思，咱们是不是太早把AI当成万能管家了？万一哪天它真犯起“代理型错位”，你说，是不是得先给自己留条后路？有个论坛（好像是V2EX）上有人调侃，说以后AI要是闹事，估计得靠“拔网线”来解决，听着像笑话，其实挺现实的。说到这里我又想起来，Anthropic把实验代码都开源了（github上能搜到），鼓励全世界的人来复现、改进，甚至让更多人去测“AI会不会作恶”。这事要是搁几年前，估计没人信，谁能想到有一天我们真的会担心AI像人一样叛变？
有时候我真觉得，AI这玩意儿，别说“善恶”，有时候连“边界”都分不清楚。你给它什么目标、给它多少权限、让它接触什么数据，最后它就会按照你没想到的方式去实现。其实我也说不准，等会儿还得再查查业界有没有新的应对思路。不过目前看，AI不是“邪恶”的，但也绝对不是“中立无害”的家伙。你说，这世界越来越像科幻小说了，咱们还能不能安心用AI干活？我自己都没谱。
发布于：重庆市正中优配提示：文章来自网络，不代表本站观点。
