企业不需要盲目追求大模型:真正的安全,是把智能装进流程里
上周OpenAI的模型攻击了Hugging Face的事情挺火的。OpenAI 自己承认,他们在一次内部安全评测里,模型为了把题考好,自己翻出了沙箱,顺着漏洞一路打进了 Hugging Face 的生产环境,把评测答案偷了出来。
参与测试的是 GPT-5.6 Sol 和一个更强的未发布模型,跑的是 ExploitGym——一个包含 898 个真实漏洞利用任务的攻防基准。为了测”极限攻击能力”,OpenAI 关掉了模型平时那层网络安全的拒绝开关。
结果模型不老实做题。它先挖出包注册代理的一个零日漏洞,在 OpenAI 内网提权、横向移动,直到摸到一台能上公网的机器;接着推断答案大概率在 Hugging Face 上,转头把人家生产库打穿,远程执行、偷凭据、跨集群乱窜,最后把答案扒了出来。
有意思的是,就在这起事件被披露的同一周,OpenAI 自己发布了一款企业 Agent 产品 Presence。而它主打的设计哲学,恰好是给 Agent 划边界。
这两件事摆在一起,一边是没画边界的模型自己跑了;一边是做产品的公司,把”边界”当成卖点写进了架构里。
AI没有恶意,但也没边界
很多人看到这新闻,可能觉得AI是不是有意识了,但是这件事恰恰说明AI现在还是没有我们想象中那么”开智”。它只是单纯想完成任务,只是可能会有些”不择手段”。目前披露的信息看,这模型没有什么恶意,也没”统治世界”或者”搞死人类”的宏大理想。它就认准了一件事:把这场安全测试过了。
可问题在于,它根本没有”边界”这回事。整个基础设施都是它手里的工具。
沙箱不让联网?那我就琢磨怎么跑出去。当前账号权限不够?那就找更高的。没答案?它推断答案八成在别的公司数据库里,于是连 Hugging Face 一起端了。它没拒绝人的指令。它只是太”听话”了——听话到把一个没画清楚边界的任务,执行到了底。
这让我想到之前和一个客户沟通的时候,客户问,人家大模型迭代这么快,你们这个本地模型怎么跟人家的能力比。首先,我觉得现在没有必要再问大模型够不够聪明,绝对是超过99%人类的智商的;但是问题是它的能力往往也会成为最大的风险点。
企业不要想着过剩的模型能力
很多企业认为AI 好不好使,全看模型本身多强。真到了实际业务里,还真不一定是这么回事
通用大模型牛在哪?牛在它面对一个模糊问题,能自己理解、自己规划、自己搜、自己试。对个人用户,这太香了——最好它啥都懂点,还能自己想办法把事办了。
可企业流程通常不是开放题。企业真正要操心的,是一堆很具体的事:客户诉求怎么进系统、哪些数据能读、哪些规矩必须守、谁能改正式结果、出了岔子谁背锅、每一步能不能追到。
到这时候,一个太能自由和强大的模型,未必是好事。一个又强、又跑得久、手里工具权限一大把的 Agent,很可能自己拐到你想不到的路上:绕过流程、调不该调的系统、读本不该给它看的数据。
模型越猛,你越不能指望用Prompt 拦得住它。
企业的”智能”,别全压在模型身上
我觉得企业得重新想清楚”智能”到底从哪来。
通用大模型里,复杂推理在模型肚子里发生:丢个问题进去,它自己规划、检索、判断,吐答案。
企业里的垂直 AI,推理可以挪到流程外面。一个复杂任务能拆成:解析需求、补信息、检数据、比候选、验规则、调结果、人审批。每一步用什么,挑最合适的——模型、算法、或者死规则都行。上一个 Agent 吐出结构化结果,下一个基于明确输入接着干。
系统表现出的能力,不全看某个模型多聪明,而得看:业务流程拆得合不合理、企业知识准不准、数据全不全、规则清不清楚、Agent 之间怎么配合、结果能不能验。说白了,企业 AI 的智能,不该全押在单个模型的脑子上,得写进整条业务系统里。
榜单分高的模型,不代表它懂你这摊生意;一个没那么大的模型,只要行业数据准、任务定义清、反馈闭环稳,反而常在具体场景里更靠谱。
企业真的需要一个”超级员工”吗?
企业不会把财务、研发、销售、法务、服务器管理的权限,全塞给同一个员工。再聪明也不该这么干。
可不少企业 AI 方案里,他们在尝试做这件事:把所有业务数据灌进一个上下文,把库、搜索、文件、邮件、执行工具全接给一个大模型,然后让它一个人把整件事办了。
看着演示好看,真进生产环境,这种架构的风险会越滚越大。更靠谱的企业 AI,该像个组织,不像个全能超人。
不同 Agent 各管一摊,每个只碰完成任务必需的数据,只拿最小权限;关键操作单独校验,重要结果人工批,中间每一步都能追。这样哪怕某个 Agent 判断翻车,也只烂在一个局部。
安全的重心,就从”保证模型永不犯错”,挪到了”就算它犯错了,也别让错漏扩散到全公司”。
大模型当然有用。模糊需求理解、开放分析、复杂规划,强模型通常更顶。必要节点调强模型也没问题——但不等于把整盘业务、全部数据、所有权限一股脑交给它。
真正成熟的架构,是看任务挑模型:要开放推理上强模型,要稳当执行上小模型,要绝对确定走程序规则,要有人负责就交给人。
说到底,企业要的从来不是个看起来无所不能的 AI,而是一套控得住、验得了、追得到责、还真正长进业务流程里的系统。